К содержимому
Renairo
Оставить заявкуЗаявка
Контроль качества

Оценка качества звонков: почему дашборд врёт

Отчёт контроля качества показывает высокий процент и при этом ничего не меняет по трём причинам. Первая: средний процент по всем критериям топит единственный, который стоит денег. В одном разборе дашборд показывал 88%, а критерий «продал компанию» выполнялся в 6% разговоров. Вторая: отметка «не применимо» выкидывает критерий из знаменателя, поэтому качество растёт само по себе вместе с её долей. Третья: часть критериев мертва, они выполняются всегда и ничего не различают. Лечится это не сменой сервиса, а пересборкой чек-листа под этапы вашей продажи и разбором конкретных разговоров.

Компания подключает анализ звонков, месяц смотрит на дашборд и закрывает вкладку. Качество 88%, зелёная зона, вопросов нет. Продажи при этом стоят на месте.

Дело не в лени руководителя. Отчёт буквально говорит «у вас норма», и открывать его незачем. Средний процент работает как анестезия.

Ниже четыре дефекта, которые мы находили в собственных чек-листах и чинили. Разбор на реальных цифрах одного проекта, ремонт квартир, отдел из четырёх человек.

Средний процент топит то, что стоит денег

В чек-листе было 14 критериев. Из них шесть анкетных: поздоровался, назвал цель звонка, уточнил тип объекта, говорил без слов-паразитов. Они выполняются почти всегда и дают около 100%.

Рядом стоял критерий «продал компанию»: объяснил, почему стоит работать именно с нами. Он выполнялся в одном разговоре из семнадцати, то есть в 6% случаев.

Дашборд усреднял всё это и показывал 88%. Единственный критерий, который отличал сделки с продолжением от сделок без него, был утоплен вежливостью.

Таблица оценки звонков: критерии по строкам, менеджеры по столбцам, отметки выполнено, не выполнено и не применимо
В таком виде видно то, чего не видно в среднем проценте: строку, где у всех менеджеров стоят нули.

Прежде чем собирать оценку, стоит закрыть документы: что нужно оформить, чтобы записывать и слушать разговоры, разобрано отдельно: запись звонков и закон.

Лечится это перестановкой акцента. На верх отчёта выносятся два-три критерия, связанные с переходом сделки дальше, а средний процент уходит вниз как справочная цифра.

Качество растёт само, если разрешить «не применимо»

Вторая ловушка тише и опаснее. Отметка «не применимо» ставится, когда критерий невозможно оценить: клиент бросил трубку на первой минуте, разговор не про сделку.

Из расчёта такой критерий выпадает. Знаменатель уменьшается, процент растёт. И у человека, который ставит оценки, появляется соблазн: поставить «не применимо» психологически легче, чем ноль живому коллеге.

Цифры из того же проекта. Первая неделя: доля «не применимо» 17%, качество 79%. Вторая неделя: доля 33%, качество 95%. Ничего в работе менеджеров за неделю не изменилось.

Неделя Доля «не применимо» Качество на дашборде
Первая 17% 79%
Вторая 33% 95%

Отсюда правило: доля «не применимо» это отдельная метрика, за которой следят так же, как за качеством. По ключевым критериям её запрещают: либо выполнено, либо нет.

Мёртвые критерии занимают место

Критерий мёртв, когда он не различает менеджеров. Либо выполняется всегда, либо не оценивается никогда.

В разбираемом проекте шесть критериев из девяти по менеджерам стояли в единице у всех. Ещё один, «указал причину при закрытии сделки», получил 21 отметку «не применимо» из 21 возможной.

Отдельный случай: критерий физически не мог сработать. Он проверял, что после замера в карточке нет тишины, а все проверенные сделки были до замера.

Раз в месяц такие строки вычищают. Критерий, который месяц простоял в единице у всех, ничего не измеряет и только разбавляет отчёт.

Проверяют не тот участок воронки

Четвёртый дефект про выборку. Все проверенные сделки в проекте стояли на стадии «встреча назначена», где конверсия и так была 93%.

Там, где деньги терялись, то есть после встречи и при закрытии с отказом, не проверялось ничего. Ноль разобранных разговоров.

Так получается, когда оценщику дают задачу «разбери сколько успеешь». Он берёт свежие сделки сверху воронки, потому что их больше и они удобнее.

Квота ставится по стадиям: столько-то разговоров на первичных, столько-то на ключевом этапе, столько-то на отказах. Иначе отчёт описывает самый здоровый участок.

Что делает машина, а что человек

Эти четыре дефекта объясняют, почему смена сервиса на более умный ничего не даёт. Дефект не в распознавании речи, а в том, что считается и кто с этим потом работает.

Задача Машина Человек
Прослушать все разговоры да, 100% потока физически нет
Отметить фактические признаки точно и одинаково устаёт и смягчает
Оценить работу с возражением приблизительно точнее, с контекстом сделки
Понять, что чинить на этой неделе нет да
Донести до менеджера так, чтобы он поменял поведение нет да
Карточка сделки в чате: клиент задал вопрос и не получил ответа, указано время простоя и что нужно сделать
Машина находит сделку, где клиент ждёт ответа. Действие всё равно остаётся за человеком, поэтому находка приходит в чат с конкретной задачей.

Пятый дефект в этот список не помещается, потому что он не про контроль. В том же проекте оценивали исполнителя, которому платили 500 ₽ за назначенный замер. Всё, за что платили, делалось на 92-100%, всё остальное на 6%.

Контроль качества поверх такой мотивации это косметика. Сначала разбираются с тем, за что человеку платят, потом с тем, как он говорит.

Как пересобрать оценку за неделю

  1. Выпишите критерии и отметьте те, что месяц стоят в единице у всех. Это кандидаты на удаление.
  2. Найдите один-два критерия, которые связаны с переходом на следующий этап, и вынесите их наверх отчёта.
  3. Посчитайте долю «не применимо» по неделям. Растёт вместе с качеством значит оценки поплыли.
  4. Задайте квоту по стадиям: половина разговоров с ключевого этапа, часть с отказов.
  5. Сверьте вывод с деньгами: если критерий не отличает выигранные сделки от проигранных, он справочный.

Проверка результата простая. Через месяц у отчёта должен появиться читатель: руководитель открывает его сам, потому что там написано, что делать, а не что всё в норме.

Вторая проверка через два месяца. Критерий, который был в красной зоне, вырос, а конверсия этапа за ним сдвинулась. Если цифра выросла, а конверсия нет, критерий выбран неверно и его меняют.

Соберём чек-лист под вашу продажу

Разберём 20 ваших звонков и покажем, какие критерии реально отличают сделки, которые дошли, от тех, что встали.

Как устроен контроль качества звонков

Вопросы, которые задают чаще всего

Какой процент качества считать нормальным
Сам по себе никакой. Средний процент это индикатор дисциплины, а не продаж: он высокий у отделов, где менеджеры аккуратно здороваются и называют цель звонка. Смотреть надо на два-три критерия, которые связаны с переходом на следующий этап, и на разброс между менеджерами. Разброс от 48 до 96% по одному и тому же критерию говорит больше, чем общая цифра 82%.
Сколько звонков нужно слушать, чтобы выводы были честными
Для закономерности хватает сотни разговоров в месяц на отдел, для оценки отдельного менеджера двадцати его звонков. Машина слушает все, и это меняет не точность, а смысл выборки: пропадает возможность объяснить плохую оценку тем, что выбрали неудачный день. Важнее объёма другое: выборка должна попадать на те этапы сделки, где теряются деньги.
Может ли нейросеть ошибаться в оценке
Да, и предсказуемо. На фактических критериях вроде «назвал срок» или «предложил замер» расхождение с человеком небольшое. На оценочных вроде «отработал возражение» расхождение заметное, потому что два руководителя между собой тоже не всегда сойдутся. Поэтому оценка машины это повод послушать конкретный звонок, а не приговор.
Чем отметка «не применимо» опасна
Она выкидывает критерий из расчёта, и процент растёт без единого изменения в работе. В одном разборе доля таких отметок выросла с 17 до 33% за неделю, и качество на дашборде поднялось с 79 до 95%. Поэтому долю «не применимо» считают отдельной метрикой и по ключевым критериям запрещают: там либо выполнено, либо нет.
Нужен ли человек, если звонки уже слушает нейросеть
Нужен, пока кто-то должен решать, что делать с найденным. Машина отвечает на вопрос «что произошло в разговоре», человек на вопрос «что мы меняем на этой неделе». Отделы, где отчёт приходит, но разбора с менеджерами нет, через два месяца возвращаются к прежним цифрам, только с подпиской в расходах.
читайте также

Начнём с аудита.
Бесплатно, без обязательств

Посчитаем воронку, послушаем звонки и скажем, где именно теряются деньги. Файл с результатами остаётся у вас. Если помочь не сможем, скажем это прямо.

01Где узкое место воронки, на цифрах, а не на ощущениях
02Сколько теряется на текущей конверсии за месяц и за год
03Что чинить первым, чтобы результат был быстрее
04Подходим ли мы друг другу и в каком формате
бесплатно

Записаться на аудит отдела продаж

Посчитаем воронку, послушаем звонки и покажем, где отдел теряет деньги. Файл с результатами остаётся у вас.