Vault Audit AI: как два индекса и RAG превращают Obsidian в систему для глубокого анализа личных знаний
Разработчик создал для Obsidian расширенный инструмент Vault Audit AI с двойным индексом, семантическим поиском и RAG-механикой, чтобы систематизировать и анализировать личное хранилище заметок, выявляя скрытые связи и дубликаты.
Инструмент для заметок Obsidian получил расширение для аудита и анализа знаний под названием Vault Audit AI. Его задача - находить смысловые связи и скрытые дубликаты в данных пользователя.
В основе работы лежат два индекса. Первый - векторный, кодирующий смысл заметок. Второй - "обратный индекс", который учитывает связи между заметками, упоминания и теги. Их комбинация реализует функции поиска семантически близких записей (Similar Notes) и выявления смысловых дубликатов (semantic duplicates). Для обработки запросов применяется RAG-механика: система извлекает релевантные фрагменты и передает их в языковую модель для генерации ответа. Это позволяет задавать вопросы на естественном языке.
Разработка такого инструмента сопряжена со сложностями. Например, 700 тестов не гарантируют отсутствия проблем при работе с реальными, хаотичными данными. Пришлось решать задачи обработки разнородного контента и оптимизации производительности. Инструмент способен анализировать хранилища объемом в 299312 токенов и выявлять как точные, так и смысловые совпадения. В ходе проверки он может найти 0 точных дубликатов, но выделить 2 семантических среди 38 заметок.
Появление подобных расширений влияет на системы управления личными знаниями (PKM). Следующей эволюционной ступенью могут стать автономные ИИ-агенты, которые будут не только отвечать на вопросы, но и предлагать новые связи между концепциями. Для пользователей это означает сдвиг от ручного структурирования информации к взаимодействию с ИИ, где машина берет на себя анализ и синтез данных. Vault Audit AI демонстрирует, как технологии искусственного интеллекта интегрируются в повседневные рабочие процессы, беря на себя рутинную аналитическую работу. Это позволяет пользователю сосредоточиться на содержательной деятельности, в то время как система обеспечивает порядок и находит скрытые взаимосвязи в накопленных знаниях.
