GPU для llm

Open 2.8T MoE от Moonshot: vision + 1M контекст

DeepSeek-V3 / R1 671B MoE: зачем берут 8×H100

Llama 3.1 405B: плотная frontier на 4–8 картах

Llama 4 Maverick: MoE ~400B на 2–4×H100

Qwen3 235B-A22B: MoE на 2–4×H100

R1-Distill-Llama-70B: reasoning на одной карте 80 ГБ

Llama 4 Scout: MoE 109B, одна карта 80 ГБ

Llama 3.3 70B: чат, код, RAG на одной H100

Qwen2.5 72B: открытая 72B, сильный русский и код

GLM-4 32B / Air: открытая модель Zhipu

RU LLM 32B, T-Bank (t-tech)

Qwen2.5 / Qwen3 Coder: код на своей карте

Gemma 3 27B: Google, как раз на 24 ГБ

RU 13B, SberDevices / AI Forever

Открытая reasoning-модель класса o1

Открытая семья LLM от Alibaba: от 0.5B до 671B

RU LLM 7B, T-Bank (t-tech)

Открытая русскоязычная LLM 7B от Vikhrmodels

Квантизованный инференс LLM на CPU и GPU

Локальный запуск LLM одной командой

Веб-чат к Ollama и vLLM, как у ChatGPT