Русский RAG-сплиттер с семантической нарезкой: модель T-lite-it-2.1 возвращает индексы границ
Разработчик представил русскоязычный RAG-сплиттер, который определяет семантически осмысленные границы фрагментов текста, возвращая системе индексы для нарезки исходного документа, что повышает качество работы поисково-генеративных систем.
В RAG для русскоязычных текстов появился новый сплиттер. Он не нарезает документ по фиксированному числу символов или токенов, а находит семантически осмысленные границы фрагментов. Ключевое отличие: модель возвращает системе не переписанный текст, а индексы для разделения исходного документа.
Этот подход, основанный на адаптированной модели, повышает качество и релевантность фрагментов, что улучшает эффективность поиска и генерации в RAG-конвейере.
Идея заимствована у датской библиотеки `context-aware-splitter`, но полностью переработана для русского языка. За основу взята модель `T-lite-it-2.1`, архитектура вывода изменена. Модель учили предсказывать оптимальные точки разрыва, сохраняя смысловую целостность фрагментов.
Для обучения использовали 3956 примеров. Процесс занял 3 эпохи с размером батча 23 и длиной контекста модели в 8 токенов. Качество работы оценивали по метрикам точности и полноты. Это решает проблему потери контекста при некорректном членении, которая часто приводит к низкому качеству ответов в RAG.
Возврат индексов границ вместо текста дает практические преимущества. Хост-система работает с оригинальным, неизмененным текстом. Это важно для корпоративных и юридических сценариев, где целостность источника критична. Упрощается постобработка и индексирование, так как система получает четкие координаты для нарезки. Сплиттер становится более универсальным и независимым от последующих шагов в пайплайне.
Модель обрабатывает документы объемом до 668907 символов, находя в них семантические границы. Это позволяет работать с длинными техническими документами, научными статьями и юридическими текстами на русском языке, где важно сохранять логические блоки.
Для разработчиков RAG-систем это возможность улучшить пользовательский опыт за счет более точных ответов. Внедряющие чат-ботов с базой знаний или системы поддержки получат более надежный инструмент для обработки документации. Распространение семантических сплиттеров может сместить фокус с простой токенизации на осмысленное структурирование информации при предобработке текстов для RAG. Это прямой путь к повышению качества извлечения фактов и снижению числа галлюцинаций в ответах нейросети, поскольку система работает с логически завершенными кусками текста, а не случайными отрывками.
