For clean Markdown content of this page, append .md to this URL. For the complete documentation index, see https://docs.nvidia.com/dynamo/llms.txt. For full content including API reference and SDK examples, see https://docs.nvidia.com/dynamo/llms-full.txt.
Рассуждения
Некоторые модели выводят reasoning или thinking отдельно от финального
ответа. Dynamo может разделить этот вывод на reasoning_content и
обычный контент ассистента, если настроить парсер reasoning.
В Dynamo есть два способа парсинга reasoning, в зависимости от того,
находится ли парсер в собственном registry Dynamo или во фронтенде
upstream-движка (vllm serve, sglang serve или trtllm-serve).
Выберите путь парсинга
| Путь | Когда использовать | Страница |
|---|---|---|
| Dynamo | Dynamo поставляет независимый от фреймворка Rust-парсер для формата reasoning модели. Это путь по умолчанию. | Парсинг reasoning (Dynamo) |
| Резервный путь движка | Используйте реализацию парсера фреймворка (сегодня это vLLM или SGLang; TRTLLM в работе) для pre/post-processing, включая парсинг tool call и reasoning, чтобы сохранить поведение фреймворка. | Парсинг reasoning (резервный путь движка) |
Начинайте с пути Dynamo. Возвращайтесь к пути движка только тогда, когда в registry Dynamo для вашей модели нет парсера.
Зачем Dynamo реализует парсеры tool call и reasoning
В vllm serve, sglang serve и trtllm-serve парсинг tool call и
reasoning выполняется во frontend-сервере движка, и у каждого из них есть
тонкие поведенческие различия. Ради производительности Dynamo управляет
маршрутизацией и токенизацией, передаёт токены напрямую каждому LLM-движку
и обходит OpenAI API frontend каждого движка, чтобы избежать дублирования
работы на каждый запрос.
Поэтому Dynamo реализует парсинг tool call и reasoning во frontend как независимый от фреймворка Rust-слой. Это даёт Dynamo один проверенный OpenAI-совместимый контракт для vLLM, SGLang, TRTLLM и других worker'ов, при этом сохраняет высокую параллельность и масштабируемость горячего пути serving и избегает узких мест Python GIL.
См. также
- Вызовы инструментов -- извлечение вызовов инструментов из вывода модели. Для некоторых моделей нужно одновременно настроить и парсер reasoning, и парсер tool-call.
- Справочник по конфигурации Frontend -- полный справочник CLI-флагов.