Как улучшить RAG? Сравнение способов обработки текста и план гибридного поиска для Obsidian

Автоматическое саммари по записи стрима: - "Умное" разделение документов на части, которое учитывает структуру текста, работает лучше в системах RAG, чем простое деление по размеру. - Проверка эффективности RAG на больших данных дорогая, поэтому важно сохранять результаты обработки текста (эмбеддинги) для быстрой разработки. - Чтобы улучшить RAG-систему, одного поиска по смыслу (векторного) недостаточно; нужно использовать смешанный подход, который объединяет поиск по смыслу и по словам. - Среди продвинутых методов улучшения RAG: использование реранкеров для лучшей сортировки результатов, добавление к частям текста кратких содержаний всего документа и создание разных вариантов запроса с помощью ИИ. - Правильная подготовка и проверка данных для тестов RAG очень важна, потому что неточные или неполные данные для обработки текста (эмбеддинги) сделают все результаты тестов бесполезными. Плейлист: https://www.youtube.com/playlist?list=PLPWIEpU1jfB4Tj3qZy7mIblYkkjyq8As8 Чат вайбкодеров: https://t.me/+Fy4565yTVW83ZmIy Twitch: https://www.twitch.tv/pfrankov VK Видео: https://vkvideo.ru/@5pfrankov/lives Донаты: https://www.donationalerts.com/r/pfrankov О стримере: https://github.com/pfrankov TG-канал "Нейрон очка": https://t.me/neuronochka Музыка на фоне: https://www.youtube.com/watch?v=kn95mnqdv_M 00:00:00 — Вступление и технические неполадки 00:03:25 — Итоги прошлого стрима: невалидные данные бенчмарка 00:04:20 — Оценка объема данных и стоимости эмбеддингов 00:08:30 — Сравнение подходов к нарезке текста: Fixed vs Smart 00:10:00 — Анализ результатов: "умный" чанкинг показывает себя лучше 00:15:40 — Реальная стоимость и время выполнения бенчмарков 00:22:20 — Обсуждение проблем со стримом и производительности Mac 00:39:45 — Мозговой штурм: как дальше улучшать качество RAG 00:59:30 — Способ №1: Реранкер и гибридный (полнотекстовый) поиск 01:05:55 — Способ №2: Добавление саммари документа (оценка стоимости) 01:13:00 — Способ №3: Переформулирование запроса через LLM 01:17:00 — План на следующий стрим: добавим полнотекстовый поиск 01:18:45 — Завершение