Аренда GPU для дообучения LLM
Дообучение LLM (LoRA, QLoRA) это не обучение с нуля. Адаптеры влезают в 24 ГБ. Полный проход по весам 70B+ требует 80 ГБ HBM.
Ниже карты под LoRA и под полный fine-tune. Цены за час.
Сравните цены на аренду видеокарт у 34 провайдеров России, Беларуси и Казахстана
LoRA и QLoRA
Дообучение 7–13B на 24–48 ГБ
RTX 4090
24 ГБGDDR6X
от 17,99 ₽/час
≈ 13 134 ₽ / мес
173 предложения →
RTX A5000
24 ГБGDDR6
от 24,26 ₽/час
≈ 17 710 ₽ / мес
67 предложений →
RTX 5090
32 ГБGDDR7
от 24,84 ₽/час
≈ 18 133 ₽ / мес
171 предложение →
RTX 3090
24 ГБGDDR6X
от 29,17 ₽/час
≈ 21 294 ₽ / мес
31 предложение →
RTX A6000
48 ГБGDDR6
от 97,00 ₽/час
≈ 70 810 ₽ / мес
10 предложений →
L40S
48 ГБGDDR6
от 106,25 ₽/час
vGPU от 12,46 ₽/час
≈ 77 563 ₽ / мес
18 предложений →
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
24 ГБGDDR6X | от 17,99 ₽/час | ≈ 13 134 ₽ | 173 предложения → | ||
24 ГБGDDR6 | от 24,26 ₽/час | ≈ 17 710 ₽ | 67 предложений → | ||
32 ГБGDDR7 | от 24,84 ₽/час | ≈ 18 133 ₽ | 171 предложение → | ||
24 ГБGDDR6X | от 29,17 ₽/час | ≈ 21 294 ₽ | 31 предложение → | ||
48 ГБGDDR6 | от 97,00 ₽/час | ≈ 70 810 ₽ | 10 предложений → | ||
48 ГБGDDR6 | от 106,25 ₽/час vGPU от 12,46 ₽/час | ≈ 77 563 ₽ | 18 предложений → |
Полный fine-tune
70B+ и полный проход по весам
A100
40 ГБHBM2
от 39,85 ₽/час
≈ 29 091 ₽ / мес
17 предложений →
A100
80 ГБHBM2e
от 185,00 ₽/час
≈ 135 050 ₽ / мес
50 предложений →
H100
80 ГБHBM3
от 242,00 ₽/час
≈ 176 660 ₽ / мес
42 предложения →
H200
141 ГБHBM3e
от 375,00 ₽/час
≈ 273 750 ₽ / мес
23 предложения →
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
40 ГБHBM2 | от 39,85 ₽/час | ≈ 29 091 ₽ | 17 предложений → | ||
80 ГБHBM2e | от 185,00 ₽/час | ≈ 135 050 ₽ | 50 предложений → | ||
80 ГБHBM3 | от 242,00 ₽/час | ≈ 176 660 ₽ | 42 предложения → | ||
141 ГБHBM3e | от 375,00 ₽/час | ≈ 273 750 ₽ | 23 предложения → |
QLoRA 7-13B: RTX 4090. Полный fine-tune 70B+: A100 80 ГБ или H100.
LoRA на RTX 4090
Для 7-13B хватает 24 ГБ. 70B в QLoRA лучше с 48 ГБ: L40S или A6000. Полный проход по весам: A100 или H100.
LoRA и QLoRA
LoRA дообучает небольшие адаптеры, веса модели заморожены. QLoRA квантует базу и экономит память. Оба способа дешевле полного fine-tune.