Перейти к основному содержимому

Для чистой Markdown-версии этой страницы добавьте .md к этому URL. Полный индекс документации см. в https://docs.nvidia.com/dynamo/llms.txt. Полное содержимое, включая справочник API и примеры SDK, см. в https://docs.nvidia.com/dynamo/llms-full.txt.

Матрица поддержки

См. также: Артефакты релиза для образов контейнеров, wheels, Helm charts и crates | Матрица функций для поддержки функций backend'ов

Краткий обзор​

Последний стабильный релиз: v1.2.0 -- SGLang 0.5.11 (NIXL 1.0.1) | TensorRT-LLM 1.3.0rc14 (NIXL 0.10.1) | vLLM 0.20.1 (NIXL 0.10.1)

Экспериментальный релиз: v1.2.0-deepseek-v4-dev.3 (DeepSeek-V4-Flash / V4-Pro на Blackwell, только контейнеры vLLM + SGLang) -- vLLM 0.20.1 | upstream-предпросмотр SGLang deepseek-v4-blackwell | NIXL 0.10.1

ТребованиеПоддержка
GPUNVIDIA Ampere, Ada Lovelace, Hopper, Blackwell
OSUbuntu 22.04, Ubuntu 24.04, CentOS Stream 9 (экспериментально)
Archx86_64, ARM64 (для ARM64 требуется Ubuntu 24.04)
CUDA 12Образы контейнеров для SGLang и vLLM (CUDA 12.9)
CUDA 13Образы контейнеров для TensorRT-LLM (CUDA 13.1), SGLang и vLLM (CUDA 13.0)

На этой странице: Зависимости backend'ов | CUDA и драйверы | Оборудование | Платформа | Облако | Поддержка сборки

Зависимости backend'ов​

Требования к драйверам различаются в зависимости от backend'а — см. ниже CUDA и требования к драйверам.

В следующей таблице показаны версии backend-фреймворков, входящие в каждый релиз Dynamo:

DynamoSGLangTensorRT-LLMvLLMNIXL
main (ToT)0.5.111.3.0rc160.21.00.10.1 (TRT-LLM); 1.1.0 (vLLM); 1.0.1 (SGLang)
v1.2.00.5.111.3.0rc140.20.10.10.1 (TRT-LLM, vLLM); 1.0.1 (SGLang)
v1.2.0-deepseek-v4-dev.3 (experimental, partial)upstream DSv4 preview—0.20.10.10.1
v1.2.0-deepseek-v4-dev.2 (experimental, partial)upstream DSv4 preview—0.20.00.10.1
v1.1.10.5.10.post11.3.0rc110.19.00.10.1 (TRT-LLM, vLLM); 1.0.1 (SGLang)
v1.1.00.5.10.post11.3.0rc110.19.00.10.1 (TRT-LLM, vLLM); 1.0.1 (SGLang)
v1.1.0-dev.3 (experimental, partial)0.5.10.post11.3.0rc110.19.00.10.1
v1.1.0-dev.2 (experimental, partial)0.5.91.3.0rc90.19.00.10.1
v1.1.0-dev.1 (experimental)0.5.91.3.0rc5.post10.17.10.10.1
v1.0.20.5.91.3.0rc5.post10.16.00.10.1
v1.0.10.5.91.3.0rc5.post10.16.00.10.1
v1.0.00.5.91.3.0rc5.post10.16.00.10.1
v0.9.10.5.81.3.0rc30.14.10.9.0
v0.9.00.5.81.3.0rc10.14.10.9.0
v0.8.1.post30.5.6.post21.2.0rc6.post30.12.00.8.0
v0.8.1.post20.5.6.post21.2.0rc6.post20.12.00.8.0
v0.8.1.post10.5.6.post21.2.0rc6.post10.12.00.8.0
v0.8.10.5.6.post21.2.0rc6.post10.12.00.8.0
v0.8.00.5.6.post21.2.0rc6.post10.12.00.8.0
v0.7.10.5.4.post31.2.0rc30.11.00.8.0
v0.7.0.post10.5.4.post31.2.0rc30.11.00.8.0
v0.7.00.5.4.post31.2.0rc20.11.00.8.0
v0.6.1.post10.5.3.post21.1.0rc50.11.00.6.0
v0.6.10.5.3.post21.1.0rc50.11.00.6.0
v0.6.00.5.3.post21.1.0rc50.11.00.6.0

Для v1.1.0-dev.2, v1.1.0-dev.3, v1.2.0-deepseek-v4-dev.2 и v1.2.0-deepseek-v4-dev.3 ячейки выше соответствуют container/context.yaml в соответствующей ветке релиза (pins, использованные для сборки образов). Эти строки — частичные релизы: не для каждого backend'а опубликован контейнер Dynamo runtime для этого тега. Что именно было выпущено, см. в Pre-Release Artifacts. Контейнеры SGLang для v1.2.0-deepseek-v4-dev.2 и v1.2.0-deepseek-v4-dev.3 собраны на основе upstream preview-образа lmsysorg/sglang:deepseek-v4-blackwell, а не tagged-релиза SGLang; TensorRT-LLM в эти dev-релизы не входит.

Обозначения версий​

  • 1.3.0 (main / ToT) отражает текущую ветку разработки.
  • Релизы, помеченные (experimental, partial), являются предварительными: таблица показывает pins сборки ветки, и для этого dev-тега еще может не быть NGC-образов для всех backend'ов.
  • Релизы, помеченные (in progress) или (planned), показывают целевые версии, которые могут измениться до финального выпуска.

Совместимость версий​

  • Перечисленные версии backend'ов — единственные версии, протестированные и поддерживаемые для каждого релиза.
  • TensorRT-LLM не поддерживает Python 3.11; установка wheel ai-dynamo[trtllm] завершится ошибкой на Python 3.11.

Требования к CUDA и драйверам​

Образы контейнеров Dynamo включают библиотеки CUDA toolkit. На хостовой машине должен быть установлен совместимый драйвер NVIDIA GPU.

Версия DynamoBackendCUDA ToolkitМинимальный драйверПримечания
1.2.0SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
1.1.1SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
1.1.0SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
1.0.2SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
1.0.1SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
1.0.0SGLang12.9575.xx+
13.0580.xx+
TensorRT-LLM13.1580.xx+
vLLM12.9575.xx+
13.0580.xx+
0.9.1SGLang12.9575.xx+
TensorRT-LLM13.0580.xx+
vLLM12.9575.xx+
0.9.0SGLang12.9575.xx+
TensorRT-LLM13.0580.xx+
vLLM12.9575.xx+
0.8.1SGLang12.9575.xx+
13.0580.xx+Экспериментально
TensorRT-LLM13.0580.xx+
vLLM12.9575.xx+
13.0580.xx+Экспериментально
0.8.0SGLang12.9575.xx+
13.0580.xx+Экспериментально
TensorRT-LLM13.0580.xx+
vLLM12.9575.xx+
13.0580.xx+Экспериментально
0.7.1SGLang12.8570.xx+
TensorRT-LLM13.0580.xx+
vLLM12.9575.xx+
0.7.0SGLang12.9575.xx+
TensorRT-LLM13.0580.xx+
vLLM12.8570.xx+

Patch-версии (например, v0.8.1.post1, v0.7.0.post1) имеют ту же поддержку CUDA, что и базовая версия.

Экспериментальные образы v1.1.0-dev.* следуют той же матрице CUDA, что и v1.0.2. Контейнер vLLM для v1.2.0-deepseek-v4-dev.3 является multi-arch для CUDA 13.0; контейнеры SGLang разделены по архитектурам (CUDA 12.9 на amd64, CUDA 13.0 на arm64).

Экспериментальные образы CUDA 13 опубликованы не для всех версий. Наличие см. в Release Artifacts.

Подробные версии артефактов и ссылки NGC, включая container images, Python wheels, Helm charts и Rust crates, см. на странице Release Artifacts.

Ресурсы по совместимости CUDA​

Подробную информацию о совместимости драйверов CUDA, forward compatibility и устранении неполадок см. здесь:

Для расширенной совместимости драйверов сверх минимальных версий, перечисленных выше, рассмотрите использование пакетов cuda-compat на хосте. Подробности см. в Forward Compatibility.

Совместимость оборудования​

Архитектура CPUСтатус
x86_64Поддерживается
ARM64Поддерживается

Dynamo предоставляет multi-arch container images, поддерживающие архитектуры AMD64 (x86_64) и ARM64. Доступные образы см. в Release Artifacts.

Совместимость GPU​

Если вы используете GPU, поддерживаются следующие модели и архитектуры:

GPU ArchitectureStatus
NVIDIA Blackwell ArchitectureПоддерживается
NVIDIA Hopper ArchitectureПоддерживается
NVIDIA Ada Lovelace ArchitectureПоддерживается
NVIDIA Ampere ArchitectureПоддерживается

Совместимость архитектуры платформы​

Dynamo совместим со следующими платформами:

Operating SystemVersionArchitectureStatus
Ubuntu22.04x86_64Поддерживается
Ubuntu24.04x86_64Поддерживается
Ubuntu24.04ARM64Поддерживается
CentOS Stream9x86_64Экспериментально

Wheels собираются в окружении, совместимом с manylinux_2_28, и проверяются на CentOS Stream 9 и Ubuntu (22.04, 24.04). Совместимость с другими дистрибутивами Linux ожидается, но официально не подтверждена.

Совместимость с облачными провайдерами​

AWS​

Host Operating SystemVersionArchitectureStatus
Amazon Linux2023x86_64Поддерживается

Ограничение AL2023 для TensorRT-LLM: Известна проблема с TensorRT-LLM при локальном запуске контейнера AL2023 с docker run --network host ... из-за ошибки в mpi4py. Чтобы обойти ее, замените флаг --network host на более точную сетевую конфигурацию, пробрасывая только необходимые порты (например, 4222 для nats, 2379/2380 для etcd, 8000 для frontend).

Поддержка сборки​

Подробности по артефактам для конкретных версий, команды установки и историю релизов см. в Release Artifacts.

Dynamo сейчас предоставляет поддержку сборки следующими способами:

После того как вы подтвердили совместимость платформы и архитектуры, можно установить Dynamo, следуя Быстрому старту на локальной машине в README.