Аренда GPU для машинного обучения
Сервер для обучения ИИ это карты с HBM и NVLink: A100, H100, H200. Аренда GPU для машинного обучения дешевле покупки кластера на прогоны в недели и месяцы.
Ниже цены за час. Дообучение готовой модели часто влезает в 24 ГБ, это другая подборка.
Сравните цены на аренду видеокарт у 34 провайдеров России, Беларуси и Казахстана
A100
Средние модели, 40–80 ГБ HBM
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
40 ГБHBM2 | от 39,85 ₽/час | ≈ 29 091 ₽ | 17 предложений → | ||
80 ГБHBM2e | от 185,00 ₽/час | ≈ 135 050 ₽ | 50 предложений → |
L40S и RTX 6000
48–96 ГБ GDDR, LoRA и небольшие модели
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
48 ГБGDDR6 | от 97,00 ₽/час | ≈ 70 810 ₽ | 10 предложений → | ||
48 ГБGDDR6 | от 106,25 ₽/час vGPU от 12,46 ₽/час | ≈ 77 563 ₽ | 18 предложений → | ||
96 ГБGDDR7 | от 134,75 ₽/час | ≈ 98 368 ₽ | 38 предложений → |
Флагманы
Обучение с нуля, NVLink, большой HBM
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
80 ГБHBM3 | от 242,00 ₽/час | ≈ 176 660 ₽ | 42 предложения → | ||
94 ГБHBM3 | от 364,74 ₽/час | ≈ 266 257 ₽ | 4 предложения → | ||
141 ГБHBM3e | от 375,00 ₽/час | ≈ 273 750 ₽ | 23 предложения → | ||
141 ГБHBM3e | от 569,59 ₽/час | ≈ 415 801 ₽ | 2 предложения → | ||
180 ГБHBM3e | от 842,16 ₽/час | ≈ 614 777 ₽ | 3 предложения → | ||
288 ГБHBM3e | от 1 100,42 ₽/час | ≈ 803 307 ₽ | 4 предложения → |
H100, H200 и A100 80GB. A100 40GB для моделей меньше 70B.
Сколько VRAM для обучения
70B в FP16 это примерно 140 ГБ суммарно. Одна A100 80GB или H100 тянет меньше. Большие LLM с нуля учат на нескольких картах через NVLink.
Обучение и дообучение
Обучение с нуля гоняет все веса и долго занимает сервер. LoRA влезает в 24 ГБ и дешевле по времени. Готовую модель дообучают на странице дообучения LLM.