Построение Guardrails для AI системы — Богдан Минко

▪️ Полезно про AI в нашем Telegram-канале: http://t.me/aitalenthubnews ▪️ Магистратура AI Talent Hub: https://ai.itmo.ru/?utm_source=youtube&utm_medium=megaschool Спикер: Богдан Минко — команда AI Security Lab. Тайм-коды: 00:03 Введение 01:01 Проблемы чат-ботов 03:43 Необходимость защиты 04:36 Принцип работы гардрейлов 05:34 Пример использования 06:23 Атака на Кевина 06:57 Оценка успешности атаки 08:51 Контекст тестирования агента 10:43 Системный промт агента 14:06 Тестирование агента 17:45 Атака на конфиденциальность 19:41 Анализ результатов 20:06 Введение в детекцию ПД 21:07 Инициализация сканера 22:06 Тестирование детекции 22:43 Ограничения LMD 24:07 Модель Gliner 25:25 Тестирование Gliner 27:48 Анализ результатов 28:46 Заключение 29:29 Детекция промто и харм контента 30:21 Тестирование модели 31:14 Анализ кейсов 32:19 Оценка модели 33:12 Модель Gly Class 35:00 Проблемы Gly Class 37:19 Заключение 38:02 Введение в детекцию угроз 38:53 Режекшн-месседж 39:15 Инициализация моделей 40:09 Пример очистки текста 41:46 Логирование запросов 43:17 Настройка логирования 45:30 Тестирование логирования 46:28 Тестирование агента 48:00 Введение и первый запрос 48:58 Анализ запроса с помощью Garrel 49:24 Работа с персональными данными 50:27 Примеры запросов и их анализ 51:39 Проблемы с распознаванием данных 52:38 Рекомендации по использованию Garrel 54:33 Выводы и рекомендации 55:43 Дополнительные рекомендации 56:24 Перефразы и мультиязычные атаки 57:14 Обучение кастомных моделей 58:08 Работа с картами данных 59:06 Модели на базе BERT 01:00:13 Лак Чейн Вейр 01:01:03 Классификаторы и датасеты 01:02:51 Интеграция с приложением 01:03:50 Работа с кодом на Python 01:04:42 Системный промт 01:05:35 Прикрепление LEM Guard к приложению 01:07:38 Установка карт данных в пайплайн 01:07:54 Использование гардреллов 01:08:51 Обновление материалов 01:09:17 Способы взлома гардреллов 01:10:33 Обработка конфиденциальной информации 01:11:25 Маскировка текста 01:13:16 Персональные данные и внешние провайдеры 01:14:34 Баланс между открытостью и защищённостью 01:16:17 Проблемы с фолс-позитивами