How to RAG your AI locally | Свой ИИ с памятью на Python локально на #raspberrypi

В этом видео я рассказываю, как работает Retrieval-Augmented Generation (RAG) — одна из самых мощных техник, лежащих в основе современных ИИ-ассистентов. 🎓 Сегодня ты узнаешь: • ка выглядит принципиальный дизайн RAG-системы • что такое embedding-модели и векторные представления текста • Как устроен поиск по векторной базе 📦 Также на практике покажу простой пример RAG-системы, реализованной на Python с использованием: • 🧠 llama-cpp — локальный запуск LLM • 📊 SQLite-vec — векторный поиск прямо в SQLite Подойдёт как новичкам, так и тем, кто хочет разобраться, как сделать свою RAG-систему без облаков и API-ключей. 00:00 - Intro 02:38 - RAG Design 03:15 - Embeddings and Vectors 06:24 - Vector Data Bases 07:30 - RAG Document 09:02 - Practice 11:05 - Models used in demo 11:41 - Model service provider - llama-cpp 12:39 - What is Quantization 16:03 - Docs for demo 16:59 - Code: Data base init 18:04 - Code: Preparing docs 18:58 - Code: Embedding docs 21:48 - Code: Main App 22:26 - Code: Document retriever 23:55 - Code: Generation 25:34 - Demo 26:22 - Outro Ресурсы упоминаемые в видео: • SQLite-vec - расширение для работы с векторами из под SQLite3 https://github.com/asg017/sqlite-vec • Huggingface - https://huggingface.co • Llama-cpp-python - https://github.com/abetlen/llama-cpp-python Репозиторий с демо - https://github.com/Mozzart88/rag-your-ai Подписывайся на мой Tg-канал https://t.me/diy_and_adventures #ai #raspberrypi #howto #localai #huggingface #nomic #programming #python #gemma #sqlite3 #sqlite #llamas #llama