Выделенный сервер с 2×NVIDIA L40S

2 карты L40S, это 96 ГБ суммарного VRAM с ускорением FP8: связка, которая закрывает инференс и дообучение 30–34B-класса в FP16. L40S, усиленная версия L40 для ИИ, и две такие карты дают серьёзный вычислительный пул без флагманского ценника. В каталоге конфигурацию на 2 карты предлагают Reg.Cloud, SpaceWeb, 1Dedic, от 199 000 ₽/мес. В Dedicated-режиме обе карты целиком ваши.

У L40S нет NVLink: карты общаются по шине PCIe. Две карты всё равно работают как multi-GPU, модель распределяется через tensor parallelism, но обмен данными идёт по PCIe, что медленнее выделенного межкарточного канала. Суммарные 96 ГБ складываются в общий пул, но масштабирование эффективнее в инференсе, чем в интенсивном обучении. Для инференса и дообучения на двух картах это рабочий сценарий, просто без аппаратного ускорения обмена.

96 ГБ суммарного VRAM, инференс и дообучение моделей 30–34B в FP16 и до 70B в 4-битной квантизации. С ускорением FP8 L40S особенно хорош в инференсе и файнтюнинге современных LLM. Одна карта (48 ГБ) держит 34B в FP16 впритык, а связка из двух добавляет запас под батч и контекст.

Если 48 ГБ достаточно, одна L40S (от 131 300 ₽/мес) дешевле и проще. Две карты берут, когда модель не влезает в одну или нужен запас под батч. Сравнение: 2×L40S (от 199 000 ₽/мес) против 2×L40 (190 900 ₽/мес), L40S быстрее в ИИ-задачах за счёт FP8, L40 дешевле и достаточно для рендера. Обе без NVLink: для объёма памяти и инференса это не мешает, для интенсивного обучения смотрите NVLink-ускорители.