Правила чтения рейтингов 2019

Об исследовании

«Правила чтения рейтингов» проект кластера «РАЭК/Реклама и маркетинг». Выпущен в 2019 году впервые по инициативе участников кластера и игроков рынка и будет обновляться ежегодно. 

Основная задача «Правил» простым и понятным языком объяснить, как строятся рейтинги, дать справочную информацию по ним, показать в чем их особенность и специфика по мнение участников рынка.

Главная цель проекта – помочь рекламодателям в выборе агентств digital-маркетинга.

ЗАЧЕМ РЫНКУ ПРОЕКТ?

На рынке много рейтингов ранжирующих агентства digital-маркетинга, работающие в одних и тех же сегментах (performance-маркетинг, контекст, SEO, комплексные), но с разной методологией и как следствие разными результатами. В настоящий момент активно составляются и публикуются 7 рейтинговых площадок. 

Часто специалисты на стороне клиента используют рейтинги как критерий для первичного отбора подрядчиков. При этом до конца не понимают специфику рейтинга и то, на какой из них лучше опираться при выборе агентства для решения своих задач. Если крупные заказчики в основном ориентируются на список топ-10, то для средних и небольших клиентов, для которых работа с топовым агентством не обязательно является лучшим решением, выбор еще больше усложняется. 

ЭТАПЫ РЕАЛИЗАЦИИ:

1. Создание рабочей группы, подготовка первичного списка рейтингов

Работа по проекту шла в рамках рабочей группы. Войти в состав группы могли представители компаний-членов РАЭК, присутствовать на заседаниях по проекту - все игроки рынка. Ограничений по количеству участников от одной компании не было.

Первичный список рейтингов для включения в «Правила чтения рейтингов» был сформирован инициативой рабочей группы. В список вошли 13 рейтингов, на которые рекламодатели чаще всего опираются при выборе подрядчика – рейтинги performance-агентств, агентств по контекстной рекламе, digital-агентств и digital-медиабаинга. 

По решению участников рабочей группы в проект были включены рейтинги по SEO-агентствам, потому что данная услуга входит в проекты большинства агентств, которые занимаются digital-маркетингом. При этом рейтинги по SMM-агентствам не вошли, поскольку услуга не является основной. 

Рейтинги SEONews (Рейтинг известности SEO-компаний и SEO глазами клиентов) и  АКАР (Рейтинг digital-агентств non media )были выявлены в ходе опроса респондентов и включены в проект позже, поэтому не оценивались игроками рынка.

2. Опрос игроков рынка

Поскольку задача проекта не просто дать описание рейтингов и справочную информацию по ним, но и показать отношение игроков рынка, был запущен опрос. 

Опрос включал в себя несколько вопросов и пунктов для заполнения по каждому рейтингу, который вошел в первичный список. Респондентам предлагалось: 

— ответить включать рейтинг из списка в «Правила чтения рейтингов» (выбор ответа: «да», «нет», «другое»);
— оценить по 5-бальной шкале прозрачность и понятность методологии, актуальность методологии и соответствие результатов рейтинга реалиям рынка (выбор оценки от 1 до 5);
— перечислить особенности рейтинга и оставить комментарии (поле для развернутого ответа);
— добавить рейтинг, который важен, но не включен в проект.

Опрос проводился в две волны. Первая волна - опрос членов кластера РАЭК/Реклама и маркетинг и РАЭК/Digital. Вторая волна – опрос игроков рынка, которые принимают участие в рейтингах или работают с результатами. Опрос был проведен при поддержке исследовательской группы РАЭК по базе runet-id с точными таргетингами.

Всего в опросе приняли участие более 50 компаний (digital-агентства, рекламодатели, рекламные платформы).

3. Исследование методологий рейтингов

Работа шла по единой схеме – сбор данных по каждому из рейтингов, анализ методологии и формирование краткого описания, анализ опросной панели и выявление особенностей рейтинга.

В результате исследования каждый рейтинг был описан по следующей схеме:

4. Выявление отношение рынка

В ходе опроса респонденты оценивали рейтинги по 5-бальная шкале прозрачность и понятность методологии, актуальность методологии и соответствие результатов рейтинга реалиям рынка.

Был проведен анализ полученных данных, исключены «равнодушные» (те, кто отмечал, что рейтинг не должен быть включен в проект и ставил оценки «0»/«1»), посчитана средняя оценка по рейтингу и по этим данным построен график.

Комментарии к графику:

— Игроки почти одинаково относятся ко всем рейтингам;
— Один и тот же рейтинг мог получить как максимально высокие, так и низкие оценки;
— Аналогичная ситуация по комментариям  - резко позитивные и негативные;
— Есть топ-5 рейтингов, к которым отношение рынка чуть выше среднего.

Брошюра по итогам исследования

По ссылке ниже можно скачать PDF-версию брошюры:

Правила чтения рейтингов (PDF, 499 KB)

Выводы исследования

В ходе опроса и анализа данных были выявлены следующие проблемы:

— Выбрана 5-ти бальная шкала, что не позволило показать более точное отношение рынка к рейтингам. Все оценки варьировались от 3,2 до 3,7 баллов. 
— Все пункты в опросе были обязательными для ответа и респонденты, которые не участвуют в конкретных рейтингах и не могут объективно оценить, ставили им максимально низкие баллы, тем самым, сливая свой голос. Таких респондентов пришлось исключать вручную. 
— Некоторые рейтинги не были включены в опросную панель и выявлены в ходе комментариев респондентов. Отдельно по ним опрос не запускался - тем самым не оценивались и не были включены в график. 

Проект будет обновляться и дорабатываться на ежегодной основе. В следующей версии будут проработаны и учтены выявленные проблемы.

Контакты

Екатерина Гераськина, председатель бизнес-кластера “РАЭК / Реклама и маркетинг”
email: geraskina@raec.ru