Выделенный сервер с 2×NVIDIA H100

Пара H100, это точка входа в multi-GPU без переплаты за 4–8 карт: 160 ГБ суммарного VRAM закрывают инференс моделей 70B в 4-битной квантизации и полный файнтюнинг до 34B в FP16. Когда одной карте тесно, а 4-карточная машина избыточна, две H100 дают ровно тот класс задач, который «не влез» в 80 ГБ. В Dedicated-режиме обе карты работают только на вас: длинные обучения и продакшн-инференс не замедляются соседями по vGPU. Конфигурацию 2×80 ГБ предлагают 1Dedic, Reg.Cloud от 522 300 ₽/мес.

2×80 ГБ, это не карта на 160 ГБ: такой карты не существует, сумма складывается из двух ускорителей. Если карты связаны NVLink, они работают как единая связка: tensor parallelism распределяет веса по обеим картам, а обмен идёт по быстрому межкарточному каналу (до 900 ГБ/с у H100 SXM), а не по PCIe. Если связь только по PCIe, суммарные 160 ГБ всё равно складываются в общий пул, но обмен данными медленнее. Поэтому прирост у пары — в первую очередь по объёму памяти, а скорость масштабирования зависит от того, как карты связаны у конкретного провайдера.

В 160 ГБ суммарного VRAM помещается инференс моделей класса 70B в 4-битной квантизации и полный файнтюнинг до 34B в FP16, с запасом под батч и контекст. Для сервинга можно держать пару средних моделей одновременно. Это конфигурация, где 70B становится достижим без перехода в ценник 4-карточных машин: память позволяет не резать веса ниже 4-бит, а файнтюнинг 34B-класса идёт в полной точности.

Если модель помещается в 80 ГБ, одной H100 достаточно: это от 217 280 ₽/мес у HOSTER.BY, заметно дешевле. Пара карт нужна, когда задача не влезает в одну: 70B в 4-бит или файнтюнинг 34B-класса в FP16. Сравнение с соседями: 4×H100 (320 ГБ) стоят от 986 100 ₽/мес и открывают полный FP16 70B-класса, если нужен именно он, берите 4 карты. Тот же суммарный объём 160 ГБ есть у 2×A100 80GB за 538 400 ₽/мес, но H100 быстрее в современных форматах вычислений. vGPU дешевле, но делит карту с соседями.