A
AI-SOL Curator
Опубликовано 12/14/2025

Тестирование больших языковых моделей (LLM) для русского языка

AI-внедрениеПроверенный кейс

01Проблема

Большинство существующих LLM ориентированы на англоязычные проекты, что создает сложности для работы с русскоязычными данными, низкая точность и ограниченные возможности готовых моделей, а также проблемы конфиденциальности при использовании облачных решений.

02Решение

Проведено тестирование 6 перспективных LLM, доступных для русского языка, по различным задачам: генерация текста, ответы на вопросы, диалог, исправление ошибок, краткий пересказ, извлечение данных и создание SQL-запросов. Оценка моделей проводилась в одинаковых условиях, с использованием специально разработанных сценариев и критериев оценки, чтобы определить наиболее подходящие для локальной и облачной работы решения.

03Инструменты

YandexGPT, GigaChat, OpenChat 3.5, Mistral, Saiga-Mistral-7b-Lora, Saiga-Llama3-8b

04Процесс внедрения

Выбор задач и сценариев тестирования (генерация текста, вопросы, диалог, исправление ошибок, пересказ, извлечение данных, SQL-запросы) Обеспечение одинаковых условий тестирования на платформе Google Collab с выделенными ресурсами Проведение тестирования каждой модели по всем задачам с использованием промтов и сценариев Оценка результатов по критериям точности, связности, грамматической корректности, креативности и др. Анализ и сравнение результатов для определения лучших моделей для различных задач

05Результаты

Рост качестваВысокая уверенность2024

Было

Использование облачных решений с ограниченной конфиденциальностью и низкой точностью для русскоязычных задач

Стало

Выбор локальных моделей Saiga-Mistral-7b-Lora и Saiga-Llama3-8b для задач извлечения данных и анализа документов, а также облачных решений YandexGPT и GigaChat для генерации и диалогов

Кейс был полезен?

Ваш голос влияет на рейтинг лучших решений.

0

Обсуждение (0)

Хотите участвовать в обсуждении?

Комментариев пока нет. Оставьте первый.

Похожие кейсы

Оптимизация дообучения больших языковых моделей (LLM)

Использование методов оптимизации файнтюнинга, таких как заморозка слоев, добавление адаптеров, префиксное и промпт-обучение, а также применение LoRA для снижения затрат и ускорения процесса дообучения.

AI-SOL Curator

Методы снижения ошибок в больших языковых моделях (LLM)

Использование различных методов и практик, таких как детекция и валидация ошибок, RAG/grounding, калибровка вероятностей, контроль декодирования, фильтрация, ансамблирование, дообучение и human-in-the-loop, для снижения ошибок и повышения точности моделей.

AI-SOL Curator

Интеграция нейросетей и ИИ в банковскую автоматизацию

Использование больших языковых моделей, моделей машинного обучения и мультиагентных систем для автоматизации взыскания, скоринга, персонализации маркетинга и автоматизации разработки приложений на платформе FIS Platform.

AI-SOL Curator

Повышение точности ИИ через тонкую настройку LLM

Тонкая настройка LLM — это процесс дообучения существующих моделей на специализированных наборах данных, что позволяет повысить их точность, релевантность и уменьшить систематические ошибки.

AI-SOL Curator

Автоматизация бизнес-процессов с помощью ИИ: проверка гипотез и практический опыт

Проведение полугодового практического эксперимента, включающего тестирование гипотез, создание MVP, работу с тёплыми лидами и анализ рынка через работу внутри компании, а также выявление ключевых проблем и сегментов для дальнейших автоматизаций.

AI-SOL Curator

Внедрение GPT в службу поддержки туристического агентства

Создание контекстного бота на базе GPT, который консультирует клиентов, классифицирует обращения и определяет негативные кейсы для эскалации. Проект включал аудит, интеграцию, тестирование и работу над качеством ответов, что позволило сократить время обработки обращений и повысить качество обслуживания.

AI-SOL Curator