TOOLDEC: автоматизация правильного вызова внешних инструментов для больших языковых моделей

Существующие методы интеграции внешних инструментов с LLM приводят к ошибкам синтаксиса и галлюцинациям названий инструментов, требуют тонкой настройки или документации, что ограничивает их масштабируемость и обобщение на новые инструменты.

TOOLDEC — алгоритм машинного декодирования с конечным автоматом, который обеспечивает синтаксически правильное использование инструментов, автоматическое создание автоматов на основе API и документации, а также обобщение на невидимые инструменты без необходимости тонкой настройки или документации.

FSM (конечный автомат), API документация, LLMs

Построение конечного автомата на основе API и документации инструмента. Интеграция FSM с LLM для ограничения генерации допустимых токенов. Декодирование вызовов инструментов через автомат, переходя между состояниями по мере выполнения. Гарантированное синтаксически правильное вызов инструментов без галлюцинаций. Обобщение на новые инструменты за счет автоматического создания автоматов из API без дополнительного обучения.