✓ Валидация — точность распознавания
Сравнение автоматической и ручной оценки качества контакта по этапам диалога.
Провалидировано
120
диалогов с ручной оценкой
Исправленные блоки
41 из 960
8 блоков × 120 диал.
Отказ от валидации
0
невозможно валидировать — в статистике не участвуют
Сравнение: система vs ручная валидация
Точность распознавания и итоговое качество контакта по одним и тем же диалогам.
Точность распознавания
Система
92%
Ручная
100%
Δ расхождение
8%
Качество контакта (ККК)
Система
61.8%
Ручная
63.4%
Δ расхождение
1.6%
Точность по критериям
Сколько «Да» поставила система и валидатор, и сколько правок внесено.
| Критерий | Диалогов | Система «Да» | Ручная «Да» | Правок | Система | Ручная | Δ, п.п. |
|---|---|---|---|---|---|---|---|
| КК (общее) | 120 | — | — | 10 | 61.8% | 63.4% | 1.6 |
| Приветствие | 120 | 84 | 86 | 4 | 70% | 71.7% | 1.7 |
| Выявление потребности | 120 | 62 | 63 | 7 | 51.7% | 52.5% | 0.8 |
| Допродажа | 120 | 76 | 78 | 6 | 63.3% | 65% | 1.7 |
| Мобильное приложение | 120 | 33 | 34 | 5 | 27.5% | 28.3% | 0.8 |
| Карта лояльности | 120 | 83 | 83 | 5 | 69.2% | 69.2% | 0.0 |
| Завершение — СБП | 120 | 62 | 64 | 4 | 51.7% | 53.3% | 1.6 |
| Завершение — Пакет | 120 | 67 | 66 | 4 | 55.8% | 55% | -0.8 |
| Завершение — Фраза | 120 | 98 | 97 | 6 | 81.7% | 80.8% | -0.9 |
Динамика точности по неделям
Система и ручная оценка сходятся: расхождение сокращается.
Расхождения по неделям
Δ падает с 3.1 п.п. до 0.5 п.п. — система обучается.
| Неделя | Даты | Провалидировано | КК система | КК ручная | Δ, п.п. | Правок блоков | Доля правок |
|---|---|---|---|---|---|---|---|
| W3 | 2026-07-13..19 | 52 | 60.8% | 64.3% | 1.6 | 18 | 4.3% |
| W4 | 2026-07-20..26 | 46 | 61.6% | 62.8% | 1.6 | 16 | 4.3% |
| W5 | 2026-07-27..31 | 22 | 61.5% | 63.1% | 1.6 | 8 | 4.5% |
Провалидированные диалоги — 120
Каждая строка — диалог с ручной проверкой: оценка системы, оценка валидатора и комментарий.
| ID диалога | Аптека | Дата | КК система | КК ручная | Δ, п.п. | Правок блоков | Комментарий |
|---|---|---|---|---|---|---|---|
| 500123 | Садовая, 12 | 2026-07-16 | 50% | 50% | 0 | 0 | — |
| 500150 | Речная, 18 | 2026-07-14 | 38% | 38% | 0 | 0 | исправлено: допродажа не звучала |
| 500188 | Центральная | 2026-07-13 | 88% | 93% | 5 | 1 | исправлено приветствие |
| 500264 | Садовая, 12 | 2026-07-19 | 76% | 76% | 0 | 0 | подтверждено |
| 500331 | Садовая, 12 | 2026-07-16 | 47% | 42% | -5 | 1 | — |
| 500384 | Речная, 18 | 2026-07-17 | 56% | 61% | 5 | 1 | подтверждено |
| 500465 | Садовая, 12 | 2026-07-18 | 76% | 71% | -5 | 1 | — |
| 500524 | Ярмарочная, 2 | 2026-07-17 | 46% | 41% | -5 | 1 | исправлен блок СБП |
| 500555 | Центральная | 2026-07-19 | 46% | 46% | 0 | 0 | — |
| 500622 | Липовая, 7 | 2026-07-15 | 79% | 79% | 0 | 0 | исправлен блок СБП |
| 500667 | Садовая, 12 | 2026-07-19 | 42% | 52% | 10 | 1 | — |
| 500743 | Озёрная, 5 | 2026-07-18 | 60% | 60% | 0 | 0 | — |
| 500797 | Садовая, 12 | 2026-07-14 | 41% | 41% | 0 | 0 | — |
| 500837 | Школьная, 14 | 2026-07-13 | 80% | 80% | 0 | 0 | — |
| 500922 | Ярмарочная, 2 | 2026-07-16 | 52% | 47% | -5 | 1 | — |
| 500946 | Школьная, 14 | 2026-07-14 | 89% | 89% | 0 | 0 | — |
| 501029 | Солнечная, 25 | 2026-07-16 | 88% | 88% | 0 | 0 | — |
| 501093 | Вокзальная, 11 | 2026-07-16 | 50% | 50% | 0 | 0 | — |
| 501149 | Центральная | 2026-07-14 | 63% | 63% | 0 | 0 | — |
| 501175 | Садовая, 12 | 2026-07-19 | 74% | 74% | 0 | 0 | исправлен блок СБП |
| 501218 | Озёрная, 5 | 2026-07-18 | 70% | 80% | 10 | 1 | исправлено приветствие |
| 501305 | Липовая, 7 | 2026-07-14 | 80% | 75% | -5 | 1 | исправлено приветствие |
| 501349 | Школьная, 14 | 2026-07-15 | 80% | 85% | 5 | 1 | — |
| 501410 | Вокзальная, 11 | 2026-07-17 | 43% | 38% | -5 | 1 | — |
| 501454 | Ярмарочная, 2 | 2026-07-19 | 53% | 58% | 5 | 1 | подтверждено |
| 501479 | Липовая, 7 | 2026-07-14 | 89% | 89% | 0 | 0 | подтверждено |
| 501530 | Садовая, 12 | 2026-07-16 | 59% | 64% | 5 | 1 | исправлен блок СБП |
| 501619 | Солнечная, 25 | 2026-07-18 | 72% | 72% | 0 | 0 | — |
| 501643 | Солнечная, 25 | 2026-07-15 | 65% | 70% | 5 | 1 | исправлено приветствие |
| 501688 | Садовая, 12 | 2026-07-16 | 62% | 57% | -5 | 1 | — |
| 501764 | Садовая, 12 | 2026-07-14 | 59% | 59% | 0 | 0 | — |
| 501828 | Вокзальная, 11 | 2026-07-19 | 54% | 49% | -5 | 1 | исправлено: допродажа не звучала |
| 501856 | Школьная, 14 | 2026-07-16 | 50% | 55% | 5 | 1 | — |
| 501911 | Липовая, 7 | 2026-07-13 | 77% | 77% | 0 | 0 | — |
| 501992 | Школьная, 14 | 2026-07-19 | 44% | 49% | 5 | 1 | — |
| 502012 | Солнечная, 25 | 2026-07-19 | 52% | 57% | 5 | 1 | исправлен блок СБП |
| 502070 | Солнечная, 25 | 2026-07-16 | 50% | 55% | 5 | 1 | исправлено: допродажа не звучала |
| 502120 | Озёрная, 5 | 2026-07-19 | 73% | 73% | 0 | 0 | — |
| 502152 | Садовая, 12 | 2026-07-13 | 77% | 82% | 5 | 1 | — |
| 502241 | Школьная, 14 | 2026-07-17 | 66% | 71% | 5 | 1 | исправлен блок СБП |
| 502300 | Липовая, 7 | 2026-07-18 | 85% | 90% | 5 | 1 | исправлено: допродажа не звучала |
| 502348 | Центральная | 2026-07-19 | 84% | 89% | 5 | 1 | — |
| 502399 | Центральная | 2026-07-19 | 80% | 80% | 0 | 0 | подтверждено |
| 502460 | Озёрная, 5 | 2026-07-13 | 52% | 52% | 0 | 0 | — |
| 502511 | Липовая, 7 | 2026-07-14 | 81% | 91% | 10 | 1 | — |
| 502570 | Липовая, 7 | 2026-07-14 | 55% | 55% | 0 | 0 | исправлено приветствие |
| 502646 | Вокзальная, 11 | 2026-07-13 | 69% | 69% | 0 | 0 | — |
| 502726 | Школьная, 14 | 2026-07-19 | 63% | 68% | 5 | 1 | — |
| 502746 | Садовая, 12 | 2026-07-14 | 78% | 73% | -5 | 1 | — |
| 502825 | Центральная | 2026-07-17 | 89% | 84% | -5 | 1 | подтверждено |
| 502886 | Садовая, 12 | 2026-07-16 | 74% | 79% | 5 | 1 | исправлено: допродажа не звучала |
| 502913 | Центральная | 2026-07-18 | 78% | 88% | 10 | 1 | подтверждено |
| 502990 | Парковая, 3 | 2026-07-26 | 83% | 88% | 5 | 1 | исправлено приветствие |
| 503050 | Озёрная, 5 | 2026-07-22 | 62% | 62% | 0 | 0 | — |
| 503128 | Ярмарочная, 2 | 2026-07-22 | 38% | 38% | 0 | 0 | исправлено: допродажа не звучала |
| 503164 | Школьная, 14 | 2026-07-21 | 76% | 81% | 5 | 1 | исправлен блок СБП |
| 503227 | Речная, 18 | 2026-07-26 | 56% | 61% | 5 | 1 | исправлен блок СБП |
| 503303 | Речная, 18 | 2026-07-20 | 87% | 92% | 5 | 1 | подтверждено |
| 503351 | Вокзальная, 11 | 2026-07-26 | 51% | 51% | 0 | 0 | — |
| 503410 | Липовая, 7 | 2026-07-21 | 52% | 62% | 10 | 1 | — |
| 503495 | Озёрная, 5 | 2026-07-26 | 41% | 36% | -5 | 1 | — |
| 503576 | Липовая, 7 | 2026-07-23 | 57% | 57% | 0 | 0 | подтверждено |
| 503603 | Речная, 18 | 2026-07-22 | 51% | 56% | 5 | 1 | исправлен блок СБП |
| 503630 | Вокзальная, 11 | 2026-07-25 | 84% | 79% | -5 | 1 | — |
| 503679 | Ярмарочная, 2 | 2026-07-24 | 70% | 65% | -5 | 1 | подтверждено |
| 503732 | Солнечная, 25 | 2026-07-26 | 43% | 38% | -5 | 1 | подтверждено |
| 503808 | Ярмарочная, 2 | 2026-07-25 | 69% | 64% | -5 | 1 | исправлен блок СБП |
| 503837 | Парковая, 3 | 2026-07-21 | 76% | 81% | 5 | 1 | подтверждено |
| 503917 | Липовая, 7 | 2026-07-23 | 69% | 69% | 0 | 0 | подтверждено |
| 503959 | Парковая, 3 | 2026-07-25 | 64% | 59% | -5 | 1 | — |
| 504024 | Школьная, 14 | 2026-07-21 | 86% | 91% | 5 | 1 | — |
| 504087 | Речная, 18 | 2026-07-25 | 35% | 45% | 10 | 1 | исправлено: допродажа не звучала |
| 504124 | Парковая, 3 | 2026-07-21 | 65% | 70% | 5 | 1 | — |
| 504203 | Речная, 18 | 2026-07-26 | 72% | 82% | 10 | 1 | подтверждено |
| 504232 | Солнечная, 25 | 2026-07-26 | 83% | 88% | 5 | 1 | подтверждено |
| 504260 | Центральная | 2026-07-26 | 41% | 41% | 0 | 0 | — |
| 504303 | Речная, 18 | 2026-07-23 | 50% | 50% | 0 | 0 | подтверждено |
| 504361 | Солнечная, 25 | 2026-07-23 | 68% | 68% | 0 | 0 | — |
| 504389 | Парковая, 3 | 2026-07-24 | 41% | 46% | 5 | 1 | исправлен блок СБП |
| 504429 | Речная, 18 | 2026-07-20 | 76% | 76% | 0 | 0 | исправлено приветствие |
| 504467 | Вокзальная, 11 | 2026-07-22 | 60% | 65% | 5 | 1 | исправлено: допродажа не звучала |
| 504518 | Школьная, 14 | 2026-07-26 | 89% | 94% | 5 | 1 | — |
| 504604 | Парковая, 3 | 2026-07-22 | 61% | 66% | 5 | 1 | — |
| 504654 | Центральная | 2026-07-21 | 48% | 53% | 5 | 1 | — |
| 504687 | Школьная, 14 | 2026-07-21 | 52% | 52% | 0 | 0 | — |
| 504765 | Школьная, 14 | 2026-07-25 | 45% | 50% | 5 | 1 | — |
| 504814 | Солнечная, 25 | 2026-07-23 | 52% | 47% | -5 | 1 | — |
| 504882 | Липовая, 7 | 2026-07-24 | 47% | 52% | 5 | 1 | исправлено приветствие |
| 504907 | Озёрная, 5 | 2026-07-22 | 36% | 46% | 10 | 1 | исправлено приветствие |
| 504987 | Озёрная, 5 | 2026-07-24 | 61% | 61% | 0 | 0 | — |
| 505066 | Озёрная, 5 | 2026-07-26 | 66% | 61% | -5 | 1 | исправлено приветствие |
| 505089 | Озёрная, 5 | 2026-07-25 | 35% | 35% | 0 | 0 | — |
| 505159 | Липовая, 7 | 2026-07-22 | 90% | 95% | 5 | 1 | — |
| 505236 | Школьная, 14 | 2026-07-24 | 50% | 50% | 0 | 0 | исправлено: допродажа не звучала |
| 505306 | Садовая, 12 | 2026-07-21 | 46% | 56% | 10 | 1 | — |
| 505394 | Центральная | 2026-07-22 | 52% | 47% | -5 | 1 | исправлен блок СБП |
| 505427 | Липовая, 7 | 2026-07-20 | 36% | 41% | 5 | 1 | — |
| 505459 | Озёрная, 5 | 2026-07-23 | 63% | 63% | 0 | 0 | подтверждено |
| 505517 | Вокзальная, 11 | 2026-07-29 | 86% | 86% | 0 | 0 | — |
| 505557 | Речная, 18 | 2026-07-29 | 73% | 78% | 5 | 1 | подтверждено |
| 505592 | Ярмарочная, 2 | 2026-07-27 | 44% | 49% | 5 | 1 | — |
| 505639 | Солнечная, 25 | 2026-07-31 | 66% | 66% | 0 | 0 | — |
| 505686 | Центральная | 2026-07-31 | 51% | 51% | 0 | 0 | подтверждено |
| 505772 | Центральная | 2026-07-27 | 90% | 90% | 0 | 0 | — |
| 505817 | Вокзальная, 11 | 2026-07-30 | 44% | 49% | 5 | 1 | исправлено приветствие |
| 505847 | Вокзальная, 11 | 2026-07-28 | 40% | 40% | 0 | 0 | — |
| 505915 | Речная, 18 | 2026-07-27 | 84% | 89% | 5 | 1 | — |
| 505941 | Липовая, 7 | 2026-07-31 | 90% | 90% | 0 | 0 | — |
| 505989 | Садовая, 12 | 2026-07-31 | 76% | 86% | 10 | 1 | исправлено приветствие |
| 506012 | Ярмарочная, 2 | 2026-07-29 | 87% | 87% | 0 | 0 | — |
| 506098 | Садовая, 12 | 2026-07-28 | 50% | 55% | 5 | 1 | — |
| 506176 | Ярмарочная, 2 | 2026-07-31 | 44% | 49% | 5 | 1 | — |
| 506264 | Речная, 18 | 2026-07-27 | 60% | 65% | 5 | 1 | исправлен блок СБП |
| 506345 | Солнечная, 25 | 2026-07-31 | 56% | 51% | -5 | 1 | — |
| 506415 | Вокзальная, 11 | 2026-07-30 | 67% | 62% | -5 | 1 | исправлено приветствие |
| 506441 | Центральная | 2026-07-28 | 44% | 39% | -5 | 1 | исправлено: допродажа не звучала |
| 506475 | Садовая, 12 | 2026-07-29 | 66% | 66% | 0 | 0 | — |
| 506519 | Центральная | 2026-07-29 | 80% | 75% | -5 | 1 | исправлен блок СБП |
| 506589 | Озёрная, 5 | 2026-07-29 | 59% | 64% | 5 | 1 | исправлено: допродажа не звучала |
| 506649 | Липовая, 7 | 2026-07-31 | 47% | 47% | 0 | 0 | — |