Самоисправляющиеся LLM-пайплайны с понятием доверия к контексту (SECL)

Большие языковые модели (LLM) часто допускают логические ошибки, создают неясные или избыточные формулировки, а также генерируют тексты с низкой степенью доверия к собственным ответам, что снижает их надежность и требует ручного контроля.

SECL — это архитектурный паттерн, основанный на замкнутом цикле генерации, анализа и коррекции ответов модели с внутренней оценкой качества и доверия. Он позволяет автоматизировать улучшение качества ответов через итеративный процесс, где модель сама анализирует и исправляет свои ошибки, повышая доверие и согласованность.

OpenAI GPT-3.5 API, Sentence-BERT, Python

Генерация начального ответа моделью. Анализ ответа с помощью модели или метрик для выявления ошибок и неуверенности. Коррекция ответа на основе анализа. Повторение цикла до достижения заданного уровня качества или стабилизации результата.