У вопроса «заменит ли ИИ человека» в работе с разговорами скучный ответ: часть дела он забирает целиком, а часть не трогает совсем.
Целиком машина забирает объём. Послушать четыреста звонков за неделю человек не может, а разобрать их по одному шаблону алгоритму вполне посильно.
Где человек остаётся, видно по замеру 2023 года. Сильная модель, поставленная судьёй чужих ответов, совпала с мнением людей больше чем в восьми случаях из десяти. Ровно настолько же между собой совпадают сами люди. Красивая цифра, и в ней же ответ: судья ошибается там же, где ошибается человек, только увереннее и молча.
Как у нас. Мы держим правило: зелёная проверка не значит «работает», и рядом с любым «всё хорошо» пишем, чего эта проверка не видит. Поэтому выборку записей слушаем ушами даже тогда, когда система считает разбор удачным.
Сколько разговоров в неделю вы слушаете сами, не заглядывая в оценку?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
На «Бренд года» мы разыграли пять месяцев работы Анфисы и задали победителям один вопрос: что вы ожидаете увидеть?
Первый ответ: проверка качества общения сотрудников с клиентами.
Второй: «Мы предполагаем, что это решение позволит нам собрать качественную статистику», и дальше про то, как ведёт себя отдел продаж и что людям на том конце нравится.
Обе формулировки записаны 12 августа. Через месяц вернёмся к тем же людям и спросим, что они на самом деле у себя увидели. Ожидание и результат почти никогда не совпадают, и интересно именно расхождение.
Субтитры расшифровала Анфиса.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Знания модели лежат в весах, тех самых числах, которые настроили на обучении. Отдельной ячейки с вашим прайсом внутри нет, знание размазано по всей таблице сразу.
Поэтому «дообучим под вас» означает работу с примерами. Для запуска обучения хватает десяти размеченных примеров, заметная разница начинается с пятидесяти-ста, и готовит их человек, который понимает ваше дело.
Как у нас. Мы держим эталон из 26 звонков, размеченных руками, и каждое изменение инструкции прогоняем по нему: в последний раз совпали 17 ответов из 21. Веса моделей мы не трогаем, ценность лежит в разметке.
Что спросить, когда обещают дообучение: кто размечает примеры, сколько их будет и кому принадлежит разметка, когда вы уйдёте к другому подрядчику.
А у вас есть хоть один размеченный пример хорошего разговора?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
На «Бренд года» меня попросили объяснить, как это устроено. Объяснил на ходу, без слайдов.
У компании, которая занимается продажами, обычно есть АТС, своя или облачная, и записи разговоров лежат где-то на сервере. Наша программа забирает их и расшифровывает, а дальше второй ИИ читает расшифровку и показывает, где менеджер сработал сильно, где слабо, и по каким признакам. То же самое происходит с письмами и заявками с сайта.
Смысл в том, что слушать вручную больше не нужно. В компаниях для этого держат отдельных людей, и это редко работает: на сорока звонках в день человек успевает послушать два.
Субтитры расшифровала Анфиса.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Пятнадцать секунд со сцены «Бренд года», короткий ответ на вопрос, что мы вообще делаем.
Анфиса слушает все звонки компании, читает все письма, а вечером рассказывает собственнику, что там было.
Мы не CRM и не телефония. Мы уши компании.
Сделки ведите там, где вели, и оператора связи менять не нужно. Мы отвечаем за другое: чтобы к вечеру вы знали, о чём ваши люди сегодня говорили с клиентами.
Субтитры расшифровала Анфиса.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Тринадцать секунд с «Бренд года».
Вопрос был такой: клиент позвонит и скажет, что ему нахамили по телефону. Как вы это проверите?
Ответ: «Только доверяя своим опытным руководителям».
Винить тут не за что: другого способа у него просто нет. Записи звонков лежат в телефонии, но найти нужный разговор среди сотен и послушать его целиком мало кто станет.
Анфиса разбирает каждый разговор в день, когда он состоялся. Жалоба клиента после этого проверяется за минуту: находите разговор и слушаете, что было на самом деле.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
«Поставить у себя или взять облако» звучит как вопрос про деньги, а решают его две другие вещи: ваш поток звонков и то, где по договору лежат записи.
Про объём. В облаке потолок ставит поставщик модели: он выдаёт лимит на минуту, и в него всё упирается. У нас один звонок это почти шесть тысяч токенов запроса, а лимит вдвое больше, отсюда два или три разбора за минуту. Отделу продаж этого хватает, очередь копится и расходится за час. Колл-центру с тысячами звонков в день уже нет.
На своей карте потолок другой, и он не только про мощность. Мы подняли скорость разбора в два с половиной раза одной настройкой, не меняя железа. В работе 2023 года это показали замерами: пропускная способность одного и того же железа меняется в разы от того, как устроена раздача запросов.
Сколько разговоров в день у вас и где по договору лежат записи?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
«Обучим модель на ваших данных» звучит одинаково у всех, а означает три разные работы. Сроки у них отличаются в десятки раз.
Первая: модели пишут инструкцию под вашу отрасль, где названы номенклатура, критерии и типичные ошибки. Делается за дни, меняется за час, результат виден сразу.
Вторая: рядом с моделью ставят поиск по вашим документам. Модель заглядывает в прайс и регламенты, но остаётся прежней. Про этот способ у нас был отдельный выпуск.
Третья: модель действительно дообучают на ваших примерах, и вот это долго. Переучивать все веса дорого настолько, что в 2021 году придумали способ дообучать малую часть: обучаемых чисел стало в тысячи раз меньше. Данные всё равно нужны ваши и размеченные, а при смене модели работу повторяют.
Мы делаем первое, умеем второе и за третье не берёмся. Размеченная выборка остаётся активом компании, инструкция такой ценности не имеет.
Когда вам обещают обучение на ваших данных, какую из трёх работ имеют в виду?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Модель это большая таблица чисел, и каждое из них занимает место в памяти видеокарты. Чтобы она влезла в карту подешевле, значения огрубляют: вместо длинного хранят короткое. Это и называют сжатием, по-инженерному квантизацией. Модель становится легче и быстрее, но отвечает уже немного по-другому.
Насколько по-другому, решает способ сжатия. В работе 2022 года это разобрали на 35 000 опытов: две модели занимают в памяти одинаково, а отвечают неодинаково, потому что ужаты они по-разному.
Как у нас. Мы прогнали одну модель в двух сжатиях на 179 записях эталона. Первое выдало 120 разборов в минуту, но потеряло три с лишним пункта точности, и два звонка не разобрались совсем. Второе считало вдвое медленнее и держалось выше, без единого срыва. В прод пошло второе: скорость без качества не считается.
Поэтому «у нас та же модель, что у них» само по себе ничего не значит. В каком сжатии она работает у вашего подрядчика и что он на этом потерял?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Свой сервер под ИИ считают обычно по картам. А счёт приходит из трёх строк, и вторая с третьей появляются позже.
Первая строка, железо. Тут всё понятно: карта, сервер, диски.
Вторая, электричество. Четыре карты верхнего класса, по шестьсот ватт каждая, дают два с половиной киловатта на одних только картах и около трёх на узел. У класса попроще расход двести ватт, и те же четыре штуки укладываются в восемьсот. От этой разницы зависит, встанет сервер в вашу стойку или потребует отдельного ввода и охлаждения, а это уже стройка, а не закупка.
Третья, человек. Несколько карт в работе требуют того, кто их администрирует и дежурит. По нашему расчёту за три года эта строка выходит дороже самого железа.
Масштаб явления видно и снаружи: по данным энергетического агентства, дата-центры съели полтора процента мирового электричества за 2024 год и прибавляют по двенадцать процентов в год.
Ваша смета на свой сервер состоит из одной строки или из трёх?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Разговор с генеральным директором на «Бренд года».
Спросили: когда вы последний раз слышали, как в вашей компании разговаривают с клиентом? Ответ: в офисе. То есть слышно то, что происходит рядом, за соседним столом.
Дальше выяснилось, что звонков у них от пятидесяти в день.
Пятьдесят разговоров, из которых руководитель случайно слышит два или три, и то краем уха. Записи есть, но слушать их некому: это часы времени каждый день.
Ровно это и делает Анфиса. Разбирает все разговоры и письма, а вечером присылает сводку: где назвали цену, где обещали перезвонить, где клиент ушёл молча.
Субтитры расшифровала Анфиса.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Подрядчик показывает экран: проверка прошла, всё зелёное. Стоит спросить, что именно она проверила.
Правило старше любого ИИ: проверка показывает, что ошибка есть, а доказать отсутствие ошибок она не может. Записал это Эдсгер Дейкстра в 1970 году.
Наш случай. Мы проверяли, переживёт ли разбор звонков отказ поставщика модели: подсунули заведомо битый ключ и увидели, что запасной путь жив. Только вот готовая строка лежала в кэше на диске, в сеть за ней никто не ходил, и проверка отработала вхолостую, оставаясь при этом зелёной.
На приёмке просите показать сам сбой: пусть подрядчик при вас выдернет то, что должно упасть.
А вам на демо давали выбрать записи самому?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Один и тот же вопрос, заданный модели дважды, даёт два разных ответа. Модель считает вероятности: у каждого следующего слова свой вес, и есть ручка, которая решает, всегда ли брать самое тяжёлое или иногда второе. Её называют температурой: ниже ставишь, ровнее ответы и однообразнее формулировки.
Полностью разброс не убирает даже ноль. В 2024 году пять моделей настроили на повторяемость и прогнали восемь задач по десять раз: точность гуляла между прогонами до 15 пунктов, и ни одна из них не повторила свой результат на всех восьми.
Как у нас. Две попытки одной проверки на 179 записях эталона разошлись на процент с небольшим. Обиднее другое: порог приёмки мы назначили по удачному прогону, и его не взяла та же конфигурация, по которой он поставлен.
Отсюда практический вывод: цифру в приёмке имеет смысл писать вместе с числом прогонов и разбросом. Ваш подрядчик показывал точность одним числом или несколькими прогонами?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Вот полностью то, что я сказал со сцены на «Бренд года».
Начал с вопроса: кто на этой неделе слышал, как его менеджер разговаривает с клиентом? Дальше арифметика. Сорок звонков в день, руководитель слушает два, а про остальные тридцать восемь в компании никто ничего не знает.
Анфиса разбирает все звонки и все письма, а вечером присылает собственнику короткую сводку: кто назвал цену, кому забыли перезвонить, какая заявка ушла молча.
Мы не CRM и не телефония. Мы уши компании.
Пять сертификатов разыграли там же, на сцене, и через месяц расскажем, что победители у себя нашли.
Субтитры расшифровала Анфиса, тем же движком, которым она разбирает звонки.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Модель не настраивают ползунками. Ей пишут инструкцию обычными словами (её называют промптом), и она ведёт себя как программа: поменяли формулировку, поменялся результат у всех будущих ответов. Разница одна, и она неприятная: ошибку тут никто не подчеркнёт красным, работа просто пойдёт чуть иначе.
Насколько чуть, померили в 2023 году. Задание модели оставляли тем же, а меняли только оформление: разделители, пробелы, порядок примеров. На одной открытой модели разброс точности дошёл до 76 пунктов.
Как у нас. Решающее поле ответа мы держим в схеме первым. Опустите его ниже, и модель цепляется за раннее решение, а всё остальное подгоняет под него. Про то, как пример из инструкции возвращается готовым ответом, мы разбирали отдельно.
Отсюда простое требование при приёмке: инструкция хранится с историей правок, а после каждой из них прогоняется набор примеров с известным ответом.
А кто у вашего подрядчика правит инструкцию модели и кто это проверяет?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Восемнадцать секунд с «Бренд года».
Спросили человека из маркетинга: прослушиваются ли у вас звонки? Ответ: всё абсолютно на ручном управлении, максимум конспектируем встречи встроенными сервисами.
Получается, переговоры в календаре компания расшифровывает, а полсотни телефонных разговоров за день не слышит никто.
А у вас это как устроено?
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Единого гудка «занято» в мире нет. В каждой стране он звучит по-своему.
В России это 425 герц, звук и пауза почти по полсекунды. В Британии тон ниже, 400 герц, и щёлкает он заметно чаще. В США вместо одного тона звучат сразу два, 480 и 620 герц.
Причина скучная. Каждая страна строила телефонную сеть сама и выбирала звук на свой вкус. До шестидесятых годов гудок отличался даже у соседних узлов одной сети: тон зависел от того, чем именно его вырабатывали в конкретном здании.
В Америке единый набор сигналов появился в 1965 году вместе с первой электронной станцией. Международная рекомендация пришла позже и просто записала то, что уже сложилось, переделывать никого не стали. Так гудок «занято» стал местным акцентом связи.
А ещё это готовый ответ компании тому, кто до неё не дозвонился. Слышит его только он.
Счёт за ИИ считают в токенах. Токен это кусок текста, на которые модель режет речь перед чтением: иногда целое слово, чаще часть слова или даже пара букв.
В английском на токен приходится около четырёх знаков. В русском их меньше: на своих же фразах мы намерили 2,9. Одна и та же мысль по-русски обходится примерно в полтора раза дороже английской, хотя на вид она такой же длины.
Как у нас. Инструкция на разбор одного разговора занимает почти шесть тысяч токенов, и скорость упирается именно в неё: при лимите двенадцать тысяч в минуту выходит два или три звонка. Мощность железа тут ни при чём.
Что спросить, когда называют цену: считает ли подрядчик в запросах или в токенах, входит ли в счёт ответ модели вместе с вопросом.
А вы знаете, за что именно вам выставляют счёт?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Заявка приходит письмом чаще, чем кажется по отчётам, и в сам отчёт она обычно не попадает.
Звонок в отделе продаж слышно: он звенит, его берут, о нём говорят до вечера. Письмо приходит тихо, ложится в общий ящик и живёт ровно до тех пор, пока его держит в голове человек, который его открыл. Через неделю эти цифры уже не восстановить: сколько писем пришло, на какие ответили, какая доля была запросом цены.
Проверить это можно руками за один вечер. Выгрузите входящие за две недели и разложите их на четыре стопки: заявка, запрос цены, переписка по текущей сделке, всё остальное. Потом посмотрите, у скольких писем из первых двух стопок нет вашего ответа. Обычно неожиданной оказывается именно эта цифра.
Разбирать переписку к тому же дешевле: расшифровывать нечего, и одно письмо обходится в пять-десять раз меньше телефонного разговора.
Анфиса читает почту так же, как звонки, ничего в ящике не трогает и показывает, на что не ответили: @anfisa_phone
В восемь вечера вам приходит одно сообщение. Сколько было обращений, сколько целевых, сколько горячих и кто как отработал.
И одна строка о том, что стоит поправить завтра.
Читается за минуту, а если захотите проверить любой пункт, там же лежит запись разговора и разбор, так что верить мне на слово не придётся.
А что вы знаете о сегодняшнем дне отдела прямо сейчас?