Как улучшить работу нейросети под свои задачи?

Прежде чем думать про дообучение модели, почти всегда стоит начать с более дешевых шагов, которые дают до 80 процентов эффекта.

Первый шаг — системный промпт. Большинство готовых нейросетей позволяют задать постоянную инструкцию с описанием вашего продукта, типичных вопросов клиентов и тона ответа. Если сейчас модель работает «из коробки» без такой настройки, это самое узкое место.

Второй шаг — база знаний рядом с моделью, а не внутри нее. Технология называется RAG: модель перед ответом подтягивает актуальные документы о вашей продукции, инструкции и часто задаваемые вопросы, а не пытается вспомнить это из общего обучения. Это дешевле полноценного дообучения и легче обновляется, когда меняется ассортимент или цены.

Третий шаг, уже сложнее, — дообучение модели на реальных примерах хороших ответов ваших сотрудников на типичные обращения. Это оправдано, когда накопилось хотя бы несколько сотен качественных примеров переписки и когда первые два шага уже исчерпали себя.

Порядок действий на практике такой:

• соберите десяток примеров плохих ответов модели и разберите, чего именно ей не хватило — контекста о продукте или четкости в инструкции;
• перепишите системный промпт с учетом этих пробелов;
• подключите базу знаний по вашей продукции, если сервис это поддерживает;
• только после этого рассматривайте дообучение или переход на более дорогой тариф с расширенными возможностями.

Обычно до дообучения дело даже не доходит — большинство проблем с «неточными» ответами решается на уровне промпта и базы знаний.