Виртуальные руки: как большие мультимодальные модели управляют компьютером через GUI

Спикер: Дмитрий Балиев Главный эксперт по технологиям. Research Lead проекта Computer Operator. Мы привыкли работать за компьютером, использовать различные программы, взаимодействовать с разными пользовательскими интерфейсами. А как все это сделать с помощью большой мультимодальной модели? Можно ли на нее спихнуть скучную рутину? Какие плюсы это дает в автоматизации? Что за технологические вызовы стоят перед нами в решении этой задачи? Сколько подводных камней мы встретим при оценке качества таких моделей? Об этом поговорим в этом докладе. Подробнее про AI R&D Сбера: https://developers.sber.ru/kak-v-sbere/teams/machine_learning