Что мы измеряем
Главная метрика — видимость: доля ответов нейросети, где упомянут ваш бренд. Остальные метрики уточняют её: цитируют ли ваш сайт, сколько места в ответах занимают конкуренты, не ошибается ли нейросеть в фактах о вас.
| Метрика | Что это | Как показываем |
|---|---|---|
| Видимость | Доля ответов, где упомянут бренд | %, интервал 95%, число ответов |
| Цитирование | Доля ответов со ссылкой на ваш домен; отдельно по страницам | %, интервал, топ страниц |
| Доля голоса | Упоминания бренда к упоминаниям всех брендов набора | %, рядом конкуренты |
| Порядок в ответе | Каким по счёту упомянут бренд среди других | только при 30+ ответах |
| Тональность | Положительная, нейтральная или отрицательная | доли; оценка модели с выборочной ручной проверкой |
| Точность фактов | Доля ответов без ошибок о цене, условиях, адресах | %, список ошибок и их источники |
| Стабильность | Насколько источники повторяются день ко дню | индикатор |
| ИИ-доля выдачи | Доля запросов, где над выдачей Яндекса или Google стоит ИИ-ответ, и где он цитирует вас | % |
| ИИ-трафик | Визиты и заявки из нейросетей по Метрике, GA4 и логам | визиты, заявки |
Почему одного ответа мало
Если задать нейросети один и тот же вопрос дважды, список брендов почти наверняка будет другим. По исследованию SparkToro, порядок брендов в рекомендациях повторяется примерно в одном случае из тысячи. Поэтому «вы на первом месте в ChatGPT» — не измерение, а случайность одного ответа.
Устойчива другая величина — доля ответов, в которых бренд вообще упомянут. Её можно оценить, если задать много вопросов много раз, и у этой оценки есть понятная погрешность. Ползунок ниже показывает, как она сужается с ростом числа ответов.
Один ответ даёт интервал почти от 0 до 100%. Профиль «Стандарт» (50 вопросов × 2 прогона, 2 раза в неделю) — около 800 ответов на нейросеть за 4 недели. Это нижняя граница: повторы одного вопроса похожи друг на друга, поэтому в кабинете интервал считается по вопросам и выходит шире.
Как задаём вопросы
- Вопросы группируются по интентам — «выбор», «сравнение», «цена», «отзывы» и т. п. В каждом интенте 3–5 перефразировок: широта формулировок важнее, чем число повторов одного и того же вопроса.
- Вопросы строятся из реального спроса: семантики проекта, запросов из Вебмастера и Search Console. Вы подтверждаете или правите их до первого замера.
- Как видит пользователь. Нейросети по умолчанию опрашиваются с веб-поиском — так же, как в их интерфейсе. Ответ «по памяти модели» без поиска — отдельный срез, и режим подписан у каждой цифры.
- Три режима: ассистент с поиском (Алиса AI, ChatGPT, Gemini, Claude, Perplexity), модель без поиска (GigaChat, YandexGPT, DeepSeek) и ИИ-ответ в выдаче («Поиск с Алисой», Google AI Overviews).
- Движки, языки и регионы сравниваются раздельно. Единого «рейтинга по всем нейросетям» нет: смешивать их — значит прятать разницу.
Профили точности
Точность стоит денег: каждый ответ нейросети с поиском — это платный запрос. Поэтому точность выбирается под задачу, а цена и ожидаемая погрешность видны до запуска замера.
| Профиль | Вопросов | Прогонов | Частота | Окно | Погрешность* |
|---|---|---|---|---|---|
| Обзор | 25 | 1 | раз в неделю | 4 недели | ±10 п.п. |
| Стандарт | 50 | 2 | 2 раза в неделю | 4 недели | ±3,5 п.п. |
| Точный | 100 | 3 | ежедневно | 2 недели | ±1,5 п.п. |
* Для доли около 50% по одной нейросети, если считать ответы независимыми. Реальный интервал шире — см. ниже, и он всегда показан рядом с цифрой.
«Обзор» подходит, чтобы увидеть картину и крупные провалы. «Стандарт» — для ключевых интентов и отчётов клиенту. «Точный» — для экспериментов, где нужно поймать изменение в несколько пунктов.
Погрешность и шум
- Интервал у каждой доли. Для доли считается 95% интервал: при таком числе вопросов и ответов истинная доля почти наверняка в этих границах. Он строится бутстрэпом по вопросам и не бывает уже интервала Уилсона по тем же ответам — так он честен и на малых выборках, и у долей около 0% или 100%.
- «Мало данных» вместо нуля. Если ответов меньше 30 или вопросов меньше 10, мы не рисуем цифру, а пишем «мало данных»: тема из трёх вопросов набирает 30 ответов за счёт нейросетей и повторов, но знает о доле не больше трёх вопросов. У доли с учётом спроса вопросы считаются с поправкой на вес: один частотный вопрос не заменяет десяти. Нейросеть с «мало данных» не входит в среднее блока — рядом подпись, например «Не входит в среднее: Gemini — мало данных (12 ответов, 8 вопросов)».
- Повторы одного вопроса похожи друг на друга, поэтому их нельзя считать независимыми. Интервалы и тесты считаются бутстрэпом по вопросам: случайно пересобираются наборы вопросов, а не отдельные ответы, — одни и те же пересборки для всех долей экрана. Это шире «учебного» интервала, зато честно.
- Когда изменение настоящее. Изменение считается по вопросам, общим для обоих замеров: разница и её разброс по пересборкам дают p (t-тест по числу общих вопросов). Изменение значимо, если p < 0,05 с поправкой. Иначе на графике подпись «в пределах шума» — и никаких красных стрелок; 0% → 0% и 100% → 100% не сравниваются.
- Поправка на множественные сравнения. Когда сравниваются сразу 8 нейросетей, хотя бы одна «значимая» тревога случайно возникает примерно в 34% случаев. Поэтому применяется поправка Холма — отдельно для вашего бренда (по всем видам ответов на экране; по ней же приходят тревоги) и для конкурентов (бренды × виды ответов). Статусов три: «значимо» (проходит поправку), «вероятно, проверить» (значимо только без поправки) и «в пределах шума».
- Отрыв от лидера. Лидер выбирается по тем же ответам, что и отрыв, поэтому попарный тест «лидер против бренда» завышает отрывы. Отрыв проверяется одновременным тестом по всем парам брендов экрана; не прошёл — «отрыв от лидера не доказан». Этот тест строже, чем сравнение двух интервалов на глаз, поэтому интервалы двух брендов могут не пересекаться, а отрыв всё равно не доказан.
- Смены моделей и апдейты поиска отмечаются на графиках; сравнение «до и после» через такую отметку предупреждает о несопоставимости.
Что хранится у каждого ответа
Любая цифра раскрывается до исходных ответов. У каждого ответа сохраняются:
- полный текст с подсвеченным брендом и конкурентами;
- источники, на которые сослалась нейросеть;
- движок, режим (с поиском, без, в выдаче), версия модели;
- регион, язык, дата и время.
Если прогон не удался, данные догоняются, а пропуски видны в отчёте о полноте сбора. Цифра без ответов за ней не показывается.
Источники данных
- Официальные API в приоритете: Yandex AI Studio (Alice AI LLM с поиском, Search API), Wordstat, Вебмастер, Метрика, GigaChat; модели OpenAI, Google, Anthropic и Perplexity — через агрегатор OpenRouter, который передаёт запрос в API разработчика модели или его облачного партнёра.
- Поверхности без API — Google AI Overviews и ИИ-ответ в выдаче Яндекса — берутся у сторонних поставщиков данных выдачи: официального API у этих поверхностей нет. Поставщик подписан у каждой цифры. Собственного обхода защиты от ботов у нас нет.
- Персональные данные граждан России хранятся в России. В зарубежные нейросети уходят только вопросы и обезличенный текст.
Ограничения
Методика честна настолько, насколько честно названы её границы:
- Ответ через API с поиском близок к ответу в интерфейсе, но не тождествен ему: интерфейс может учитывать историю и персонализацию пользователя. Мы измеряем «типичного нового пользователя» в заданном регионе.
- Нейросети часто обновляются. После смены модели старые и новые цифры сравниваются с предупреждением.
- Тональность оценивает модель; мы выборочно проверяем её вручную, но это оценка, а не факт.
- Доля в выдаче через поставщиков данных зависит от их охвата регионов и устройств — он указан у каждой цифры.
- Мы не продаём llms.txt и разметку schema.org как факторы цитирования: исследования этого не подтверждают. В аудите они есть, но с пометкой «влияние не доказано».
Нашли неточность или хотите разобрать методику на своих данных? Напишите нам — мы обновим эту страницу и укажем, что изменилось.