Чтобы получить чистую Markdown-версию этой страницы, добавьте .md к этому URL. Полный индекс документации см. в https://docs.nvidia.com/dynamo/llms.txt. Полное содержимое, включая справочник API и примеры SDK, см. в https://docs.nvidia.com/dynamo/llms-full.txt.

Разбор tool call (резервный путь движка)

Когда registry Dynamo не содержит parser для tool call вашей model, переключайтесь на parser upstream engine через замену chat-processor; при этом сохраняются tokenization frontend и KV routing.

Для Dynamo-native parser см. Tool Call Parsing (Dynamo). Для аналогичного fallback для reasoning см. Reasoning Parsing (Engine Fallback).

Известная проблема: parsing tool call через engine-fallback сейчас не работает с disaggregated serving (поддержка скоро появится). Для disaggregated deployments сейчас используйте Dynamo-native tool call parser.

Конфигурации

	Флаги frontend	Флаги worker'а	KV routing	Примечания
vLLM chat processor	--dyn-chat-processor vllm --tool-call-parser <name>	(нет)	Да	Разбор выполняется в Python preprocessor'е vLLM. См. vLLM Chat Processor.
SGLang chat processor	--dyn-chat-processor sglang --tool-call-parser <name>	(нет)	Да	Разбор выполняется в Python preprocessor'е SGLang. См. SGLang Chat Processor.
TRTLLM chat processor	(в работе)	(в работе)	--	Поддержка engine-fallback для TRTLLM находится в разработке. Сегодня используйте Dynamo-native tool call parser для TRTLLM.

--dyn-tool-call-parser выбирает путь parser Dynamo-native, а --tool-call-parser выбирает путь parser engine fallback (vLLM или SGLang). Допустимые значения для каждого флага берутся из разных registry и могут незначительно отличаться в зависимости от определений конкретного framework (например, deepseekv3 в SGLang и deepseek_v3 в Dynamo).

Примеры

# vLLM chat processor
python -m dynamo.vllm ...
python -m dynamo.frontend --dyn-chat-processor vllm --tool-call-parser hermes

# SGLang chat processor
python -m dynamo.sglang ...
python -m dynamo.frontend --dyn-chat-processor sglang --tool-call-parser kimi_k2

Если tool call возвращается неверно, добавьте "logprobs": true в один repro request и поделитесь response. См. Troubleshooting Tool Calls о том, что нужно захватить и включить при сообщении о проблеме.

См. также

• Troubleshooting Tool Calls -- захватите raw model output с logprobs, чтобы локализовать проблемы с tool-call
• Tool Call Parsing (Dynamo) -- Dynamo-native parser'ы и примеры запросов
• Reasoning Parsing (Engine Fallback) -- Аналогичный fallback для reasoning
• vLLM Chat Processor -- подробности vLLM chat-processor
• SGLang Chat Processor -- подробности SGLang chat-processor
• Frontend Configuration Reference -- полный справочник CLI flags