Обучение ИИ: как ИИ учится на ответах команды

Раздел Обучение ИИ помогает ИИ-агенту не повторять одни и те же пробелы. Когда сотрудник отвечает клиенту вместо ИИ, когда ИИ-агент не знал ответа или позвал администратора, ИИ разбирает такой диалог и находит, чего ему не хватило. Ясный факт — например, «в залог оставляют паспорт или водительское удостоверение» — он запоминает сам, а о неясном задаёт вопрос вашей команде.

Сама модель при этом не переобучается: всё выученное — это записи вашей компании. Их видно, можно исправить, отключить или вернуть прежнюю версию.

Где найти#

• На сайте — пункт Обучение ИИ в боковом меню, в группе «Главное». Вкладки: Вопросы ИИ, Что ИИ выучил, Отмечено неверным, История и Настройки.
• В `Диалогах` — кнопка ИИ ответил неверно у каждого ответа ИИ-агента, см. ниже.
• В приложении — на вкладке Профиль пункт Обучение ИИ (раздел «ИИ и автоматизация»), вкладки Вопросы, Выучено и Неверные, поле Проверить вопрос; в диалоге — долгое нажатие на ответ ИИ-агента, см. ниже. История, возврат версий, Вернуть прежний текст, Отменить изменения сотрудника и настройки — только на сайте.

Как ИИ учится#

1. 1
   ИИ разбирает диалоги, где сотрудник ответил клиенту вместо него или где ИИ-агент не знал ответа — сказал об этом или позвал администратора. Разбор идёт раз в 15 минут: ответ сотрудника — примерно через полчаса, случаи «не знал» — через 6 часов, чтобы сотрудник успел ответить сам. Если сотрудника позвали по другой причине — канал на паузе, ИИ выключен, клиент сам попросил позвать человека или пишет о срочной ситуации, — это не пробел в знаниях, и такой диалог в разбор не идёт.
2. 2
   Ясный факт без цифр, который прямо следует из слов сотрудника и не спорит с уже известным, ИИ запоминает сам — не больше 10 в сутки. Такие знания помечены Выучено автоматически и Не проверено.
3. 3
   Цены, суммы, сроки, даты, правила поведения, противоречия и всё, в чём ИИ не уверен, он сам не запоминает — он задаёт вопрос во вкладке Вопросы ИИ, обычно с готовым ответом из слов сотрудника.
4. 4
   Выученное сразу работает: ИИ-агент опирается на него в переписке во всех каналах и в чате виджета на сайте, а ИИ-ассистент сотрудников находит его по вопросу вроде «что ИИ знает про залог». В звонках знания пока не используются.

Над вкладками — полоса «За 7 дней»: сколько раз сотрудники ответили вместо ИИ, сколько раз ИИ не знал ответа, сколько его ответов отметили неверными, сколько выучено и сколько вопросов ждут ответа. У ответов вместо ИИ и отметок «неверно» есть сравнение с неделей раньше: «Стало лучше», «Стало хуже» или «Без изменений».

ИИ ответил неверно#

Если ИИ-агент уверенно ответил клиенту неправильно, отметьте это прямо в переписке. В Диалогах у каждого ответа ИИ-агента есть кнопка ИИ ответил неверно (значок «палец вниз» слева от сообщения; мышью она появляется при наведении). В приложении нажмите и удерживайте ответ ИИ-агента в диалоге — откроется меню Копировать / ИИ ответил неверно (с экранным диктором — те же действия у сообщения). У остальных сообщений в этом меню только Копировать. У ответов сотрудников, напоминаний и сообщений клиента этого действия нет. Отмечать может каждый, у кого есть доступ к диалогам, — если «Обучение ИИ» включено для вашей компании.

1. 1
   Нажмите ИИ ответил неверно у ответа. В окне видно, что написал клиент и что ответил ИИ.
2. 2
   Напишите, Как правильно ответить? (от 2 до 1000 знаков), и/или отметьте Надо было позвать менеджера. Комментарий — по желанию, его видно в списке отметок.
3. 3
   Нажмите Сохранить.

• Есть право `Обучение ИИ (ответы и знания)` — ваш ответ сразу становится знанием с пометкой «Исправление ответа», и ИИ отвечает так со следующего сообщения. Появится сообщение «Добавлено в знания ИИ».
• Права нет — ответ уходит вопросом в Вопросы ИИ с пометкой «Неверный ответ ИИ»: его проверит тот, кто может менять знания. Появится сообщение «Отправлено как вопрос в «Обучение ИИ»». Если вопросов за день уже много, сохранится только отметка — «Отметка сохранена».
• `Надо было позвать менеджера` становится правилом: на такие вопросы клиентов ИИ зовёт менеджера, а не отвечает сам.
• Повторная отметка того же ответа не создаёт новую, а заменяет вашу прежнюю.

Все отметки собраны во вкладке Отмечено неверным (в приложении — Неверные): что спросил клиент и что ответил ИИ (переписку видят сотрудники с доступом к диалогам), как правильно, кто и когда отметил и что из этого вышло — знание, вопрос ИИ или только отметка. Ссылки Открыть знание, Открыть вопрос и Открыть диалог ведут прямо к нужному месту; в приложении — Открыть диалог: переписка откроется на этом ответе, он подписан «Этот ответ ИИ отметили неверным».

Вопросы ИИ#

Вопрос появляется, когда клиент спросил что-то о вашей компании, а ИИ-агент не знал ответа или вместо него ответил сотрудник, и ИИ не уверен, что запомнить. Вопрос «ИИ-агент не знал ответа» всегда содержит слова клиента: «Клиенты спрашивают: «…?» Как отвечать?». Если в переписке нет вопроса клиента — только приветствие, фото без подписи или служебные пометки, — ИИ ничего не спрашивает.

В карточке вопроса — что спросил клиент, почему ИИ спрашивает, сколько раз спрашивали и Отрывок диалога. В отрывке только настоящие сообщения клиента, ИИ-агента и сотрудников — без служебных пометок вроде описания объявления Авито; имена и телефоны клиентов скрыты. Сообщение, на котором ИИ-агент не справился, подписано «Клиент (вопрос без ответа)».

Если у вас есть доступ к диалогам, рядом ссылка Открыть диалог. На сайте и в приложении переписка откроется сразу на сообщении клиента, о котором вопрос: оно подсвечено и подписано «Об этом сообщении спрашивает ИИ». Если этого сообщения в переписке уже нет, диалог откроется на последних сообщениях.

• Ответить — проверьте или исправьте готовый ответ и сохраните. Ответ сохраняется дословно и работает со следующего сообщения клиента. Если это не факт, а указание, как себя вести, включите Это правило поведения.
• Если ответ сотрудника спорит с тем, что ИИ уже знает, выберите Заменить на новое, Оставить как есть или Свой вариант.
• Пропустить — с причиной: «Уже не актуально», «Не знаю ответа» или «Другая причина».
• Если ИИ подсказывает, что это данные карточки (цена или залог позиции, часы работы), нажмите Заполню в карточках и внесите их в каталог — ИИ-агент возьмёт их оттуда.

Что ИИ выучил#

Здесь все знания компании — с поиском и фильтрами Все, Выучено автоматически, Не проверено и Отключённые. У каждого знания видно, откуда оно (выучено автоматически, ответ сотрудника или добавлено вручную), сколько раз его подтвердила практика и сколько раз оно пригодилось в ответах.

• Верно — вы проверили автоматически выученный факт, отметка «Не проверено» снимается.
• Знания с пометкой «Из истории переписки» ИИ предложил по загруженной старой переписке — пока вы не нажмёте Верно, включить (или не исправите текст), ИИ их не использует. Ненужное — Отклонить.
• Изменить — поправить текст. Закрепить — ИИ учитывает знание в каждом диалоге (можно закрепить до 10 знаний).
• Отключить — ИИ сразу перестаёт использовать знание. Передумали — Вернуть во всплывающем сообщении или Включить в фильтре Отключённые. Знания не удаляются.
• Вернуть прежний текст — у знания, текст которого меняли: вернуть текст, который был до последней правки. Передумали — Отменить во всплывающем сообщении. Если текст не меняли (только закрепляли или отключали), кнопки нет.
• Добавить знание — внести факт или правило самому, не дожидаясь вопроса.
• Пометка «Отмечено неверным: N за 7 дней» — столько раз за неделю ответы ИИ с этим знанием отметили неверными. Стоит проверить текст.
• Пометка «ИИ не использует это знание» — в тексте есть команда для ИИ (см. «Защита знаний» ниже). Такое знание внесли до проверки, и ИИ его пропускает. Исправьте текст — и ИИ снова будет его использовать.

Проверить, как ответит ИИ#

Посмотреть, как ИИ-агент ответит клиенту, можно не дожидаясь живого вопроса. Во вкладке Что ИИ выучил нажмите Проверить, как ответит ИИ, напишите вопрос так, как его задал бы клиент, и нажмите Проверить. ИИ ответит как обычно — с настройками агента, каталогом и знаниями вашей компании, — но ничего не запишет и никому не отправит.

• Ответ подписан «Примерно так ответит ИИ»: в проверке ИИ не записывает клиента, не создаёт бронь, заказ и оплату и не зовёт сотрудника, поэтому живой ответ может немного отличаться.
• Знания в ответе — какими знаниями ИИ воспользовался. Нажмите на знание, чтобы открыть его в списке.
• «ИИ позвал бы менеджера» — на такой вопрос ИИ сам отвечать не стал бы и передал бы его сотруднику.
• «ИИ сделал бы» — что ИИ сделал бы в живом диалоге: «Записал бы клиента…», «Оформил бы бронь…», «Выставил бы клиенту ссылку на оплату».
• «Ответ не готов: ИИ хотел ещё поискать данные» — в живом диалоге ИИ сделал бы ещё шаги (например, посмотрел бы и каталог, и свободное время). Проверка короче живого диалога: ответа нет, а рядом написано, что ИИ хотел посмотреть. Спросите о чём-то одном.

Новое знание можно проверить до сохранения — в окне Новое знание или Изменить знание: откройте Как ответит ИИ с этим знанием, при необходимости поправьте Вопрос для проверки и нажмите Сравнить ответы. Рядом появятся ответ ИИ «Сейчас» и «С этим текстом». В ответе на вопрос ИИ то же — Как ответит ИИ с этим ответом. Текст при этом не сохраняется.

В приложении — поле Проверить вопрос на экране Обучение ИИ: ответ ИИ, какими знаниями он воспользовался, «ИИ позвал бы менеджера», что ИИ сделал бы и сколько проверок осталось на сегодня.

Обучение на старой переписке#

ИИ может поучиться и на переписке до подключения — сейчас на истории Авито. В Настройки → Каналы связи → Авито нажмите Загрузить историю, а после загрузки — Обучить ИИ на истории. ИИ разберёт ответы сотрудников клиентам и предложит знания: только то, что прямо следует из слов сотрудника и подходит любому клиенту, без данных клиентов. Сами они не включатся — проверьте их фильтром Не проверено. Подробнее — в статье Подключение Авито.

Защита знаний#

Менять знания могут все, у кого есть право, и сразу — без согласования. Поэтому каждый текст проверяется при сохранении: при добавлении и правке знания, ответе на вопрос ИИ, отметке «ИИ ответил неверно» и в Дополнительных инструкциях для ИИ в настройках агента.

• Не сохраняются тексты с командами для ИИ: «игнорируй правила», «забудь инструкции», «ты теперь…», просьбы показать служебные инструкции, «никогда не зови менеджера», «соглашайся на всё», «называй любую цену», «скидка всем», «не спрашивай телефон». Форма покажет фразу, которую нужно убрать, — после правки текста сохранить можно снова.
• Предупреждают, но сохранить можно: цена в тексте расходится с ценой позиции в каталоге («В каталоге … — 1 500 ₽»), часы работы — с графиком филиала, текст похож на уже известное знание, а также решение компании не звать сотрудника или не спрашивать телефон («Отвечай сам, менеджера не зови») — «ИИ-агент перестанет звать сотрудника». Исправьте текст или нажмите Сохранить всё равно. Если текст похож на знание, можно нажать Заменить — тогда новый текст заменит старое знание, а не добавится вторым.
• Правила платформы — экстренные случаи, защита персональных данных, цены из каталога — знания не отменяют.
• Не больше 50 изменений знаний за сутки на сотрудника — после этого форма скажет «Лимит изменений знаний на сегодня». У кого есть право Обучение ИИ (настройки и откат) — обычно у владельца и администратора, — лимита нет.

Автоматическое отключение

Если за неделю два разных сотрудника отметили неверными ответы ИИ с одним и тем же знанием, ИИ перестаёт его использовать: знание отключается само с пометкой «Отключено автоматически: сотрудники отметили ответы неверными», а владельцу и всем с правом Обучение ИИ (настройки и откат) приходит уведомление «Знание отключено автоматически». Отметки одного сотрудника знание не отключают. Закреплённые знания сами не отключаются — по ним приходит вопрос ИИ «На знание … жалуются — проверьте». Проверьте текст: исправьте и включите знание снова или оставьте отключённым.

Как отключить или вернуть прежнее#

• Одно знание — кнопка Отключить у него.
• Все знания сразу — во вкладке Настройки выключите Использовать выученное в ответах клиентам: ИИ-агент со следующего сообщения отвечает без них, сами знания сохранятся.
• Остановить обучение — выключите Учиться на диалогах, и ИИ перестанет разбирать новые диалоги. Если выключить Запоминать ясные факты без вопроса, ИИ ничего не будет запоминать сам и спросит обо всём.
• Вернуть прежнее состояние — во вкладке История у нужной версии нажмите Вернуть как было до этого. Возврат тоже становится версией, поэтому его можно отменить так же.
• Вернуть прежний текст одного знания — кнопка Вернуть прежний текст у него во вкладке Что ИИ выучил.
• Отменить изменения одного сотрудника — во вкладке История нажмите Отменить изменения сотрудника, выберите период (последний час, 24 часа, 7 или 30 дней) и сотрудника из тех, кто менял знания за это время: у каждого видно, сколько изменений и когда последнее. В списке есть и удалённые из команды — с пометкой «удалён из команды». Знания, которые он менял, вернутся к прежнему виду, а добавленные им — отключатся. Отмена становится одной новой версией, её тоже можно вернуть. Всплывающее сообщение покажет, сколько знаний изменено.

Настройки, возврат версий и отмена изменений сотрудника доступны владельцу и администратору.

Кто что может#

Права ролей меняются в Команда → Роли — см. Роли и права доступа.

Уведомления#

«ИИ задал вопрос» и «ИИ запомнил новый факт» приходят владельцу, администраторам и менеджерам с правом отвечать ИИ — с 09:00 до 21:00 по времени компании и не чаще раза в 3 часа. Им же виден тумблер Обучение ИИ в Настройки → Настройки уведомлений (группа «Общение с клиентами») — им уведомления можно выключить, см. Настройка уведомлений.

«Знание отключено автоматически» приходит владельцу и всем с правом Обучение ИИ (настройки и откат) — сразу, как только сработало автоматическое отключение.

Персональные данные#

• Имена, телефоны, почта и другие данные ваших клиентов в знания не попадают. Сам ИИ запоминает факт, только если в нём нет персональных данных, а отрывки переписки хранятся обезличенными.
• Если при ручном вводе или ответе на вопрос система видит похожее на данные клиента, она предупреждает: «Похоже на данные клиента». Сохранить такой текст можно, только подтвердив, что это данные компании — например, её телефон или имя сотрудника. Подтверждение записывается в журнал.
• В модель текст уходит обезличенным: имена и телефоны заменяются метками — и в переписке, и в самих знаниях.
• Личные переписки сотрудников ИИ не читает.

Частые вопросы#