После определения важнейших свойств онлайн панелей и понимания того, как различные типы участников воспринимают их, мы предприняли попытку проанализировать десять крупнейших панельных порталов, работающих в России и принадлежащих как локальным, так и глобальным провайдерам онлайн выборок. Целью нашего анализа было выявление ключевых ошибок управления панелями, а также понимание того, какое влияние могут оказать эти ошибки на заинтересованность панелистов и качество данных. Исследование проводилось методом включенного наблюдения: мы зарегистрировались в каждой из панелей и больше года следили за действиями их создателей.

Результатом анализа стала классификация распространенных ошибок управления панелями, представленная в таблице 5. Рядом с каждой ошибкой мы сочли целесообразным представить собственный опыт решения схожих задач. Важно понимать, что в таблице представлена совокупность ошибок, и это не означает, что все панельные провайдеры совершают подобные ошибки. Более того, в последние годы наметилась тенденция к улучшению качества менеджмента панелей, однако панельные проекты ряда провайдеров по-прежнему являют собой примеры того, как неадекватное управление процессом может свести на нет все преимущества использования новой методики сбора данных. Также важно отметить, что методика панельных онлайн исследований, а также стандарты работы с панелями были разработаны на Западе, поэтому местные провайдеры находятся в лучшем положении и могут учиться на ошибках других.

Таблица 6. Основные ошибки управления панелями

Как показало исследование, далеко не у всех панельных провайдеров существует понимание, что успех этого бизнеса напрямую зависит от заинтересованности и удовлетворенности людей, регулярно участвующих в опросах через Интернет. От этого также зависит и достоверность результатов проводимых исследований, а значит, и доверие к ним компаний-производителей. Личность респондента нередко остается незамеченной, что приводит к падению заинтересованности, низкому проценту отклика и недобросовестному поведению участников. Люди с «романтическим» отношением и нефинансовой мотивацией имеют тенденцию покидать панели, когда к участникам проявляется недостаточно уважения, — остаются только те, кто участвует в опросах ради денег.

Заключение

Качество данных уже несколько десятилетий остается ключевой темой для обсуждения в индустрии маркетинговых исследований. Дополнительные вопросы к качеству возникают с появлением новых методов сбора данных, например исследований с использованием онлайн access-панелей. К сожалению, борьба за качество нередко ведется по мере возникновения «сиптомов болезни». Иными словами, вместо здорового образа жизни, зарядки и закаливания мы просто пичкаем ребенка лекарствами при каждом недомогании. Чтобы начать работать с причинами, а не последствиями возможного ухудшения качества онлайн выборок, нужно прежде всего понять, что главным в исследовательском процессе является отношение к респонденту, поэтому всю тактику и стратегию развития нового метода нужно строить с опорой на мнения людей. В этом смысле создание онлайн панелей не отличается от других бизнесов: понимание потребностей и желаний потребителей помогает компаниям производить продукцию, которая будет пользоваться спросом. Одним из способов «держать руку на пульсе» является регулярный мониторинг мнений участников онлайн панели о самом проекте и его создателях.

Мы считаем, что качество данных онлайн исследований прежде всего зависит от того, кто и почему в них участвует, как строится коммуникация с респондентами, получают ли они адекватную моральную и материальную компенсацию за потраченное время, чувствуют ли уважение к себе. В этой связи существующие технические методы контроля качества являются важными, но не основными. Главной же задачей панельных провайдеров является повышение заинтересованности респондентов за счет создания интерактивных и удобных для заполнения анкет, использования медийных возможностей Интернета на всех этапах коммуникации, включения в исследовательский процесс привычных для людей способов самовыражения и взаимодействия в Интернете, таких как блоги, форумы, коллекции фотографий и видео.

Почти все существующие типы недобросовестного поведения участников панелей связаны с желанием некоторых людей получить вознаграждение, не выполняя работу должным образом. Тем не менее это случается не потому, что участники панели такие плохие, а потому, что мы как провайдеры панелей иногда оказываемся не в силах удержать добросовестных респондентов. Важную роль здесь играет формирование у людей понимания того, что участие в опросах является для них одним из немногих способов влиять на ситуацию и изменять мир вокруг себя. В результате активных действий в этом направлении появляется довольно большая группа лояльных панелистов, которые стремятся полно и честно выражать свое мнение по самым разным вопросам. Вместе с этим растет уверенность, что онлайн исследования вскоре станут основным инструментом сбора качественной и надежной информации.

Литература

1. Seymour Sudman, Brian Wansink. Consumer panels. — 2nd ed. — Chicago: American Marketing Association, 2002 (Сеймур Зюдман, Брайан Ванзинк. Панели потребителей. — 2-е изд. — Чикаго: Американская маркетинговая ассоциация, 2002).

2. Postoaca, Andrei. The Anonymous Elect: Market Research through Online Access Panels. — Berlin: Springer, 2006 (Постоака Андрей. Анонимный выбор: маркетинговые исследования с помощью панелей с онлайн доступом. — Берлин: Springer, 2006).

Дополнение маркетинговых исследований социальными сетями

Петит Анни (Ipsos Interactive Services, США), Чедвик Саймон (Peanut Labs, США)

Web 2.0 серьезно изменил наш способ восприятия и пользования Интернетом, что привело к появлению социальных сетей и программ, которые могут стать новым весьма серьезным источником выборки исследований. Как и в случае с любым новым инструментом исследований, следует ответить на вопрос, не приведет ли его использование в исследовании к какому-либо смещению, присущему данному источнику. В предлагаемой статье мы пытаемся ответить на данный вопрос, сравнивая результаты, полученные в ходе исследований с использованием выборки Peanut Labs (компании, предоставляющей выборку из социальных сетей) и выборки из других, более традиционных онлайн источников.

Существует множество параметров, помогающих определить, позволяет ли новый источник рекрутинга респондентов получить качественные результаты. Чтобы провести такой анализ, мы отобрали панелистов i-Say в возрасте от 18 до 34 лет, которые были рекрутированы в панель из различных онлайн источников с большим числом пользователей в то же самое время, что и респонденты Peanut Labs. Всего было выделено 25 различных источников рекрутинга, которые стали предметом последующего анализа.

В первую очередь следует понять, отвечают ли респонденты базовому критерию — активное участие в панели. Этот критерий требует, чтобы панелисты приняли участие хотя бы в одном исследовании в течение определенного периода времени. По сравнению с участни- ками из других 25 источников респонденты из панели Peanut Labs имели почти такой же уровень активности; по данному показателю Peanut Labs расположился ровно посередине среди других источников. Респонденты Peanut Labs имели не больше и не меньше шансов быть удаленными из панели по причине неучастия в исследованиях.

Принимая во внимание все более возрастающую важность качества данных, гораздо важнее, чтобы все источники были оценены по ряду качественных показателей. Первое, что делает Ipsos, когда оценивает новый источник выборки, — это проводит анализ ответов предварительного отборочного исследования с помощью программы оценки качества данных Ipsos Panel Integrity 4 (iPi4). Эта программа оценивает каждое отборочное исследование на предмет выявления недобросовестных ответов (ответов по прямой линии, противоречий, других подозрительных действий респондентов). По сравнению с другими источниками выборки мужчин и женщин в возрасте 18–34 лет, которые отвечают минимальным стандартам качества, Peanut Labs ничем не отличался от других и располагался ровно посередине ряда уже зарекомендовавших себя источников.

Разрешив панелисту присоединиться к панели, программа также отслеживает торопливое заполнение анкет на протяжении всех исследований, в которых респондент принимает участие. Например, панелист, который потратил на участие в трех исследованиях менее трех минут на каждое, будет обнаружен и тут же удален из панели. И снова панелисты Peanut Labs ничем не отличались от респондентов из других источников, которые отвечали минимальным стандартам качества и стали участниками панели.

Последним показателем качества, который мы рассматривали, была процедура ipiLive — процедура, которую Ipsos использует непосредственно в ходе опроса для измерения качества данных каждого конкретного исследования. Панелисты, которые не прошли оценку с помощью ipiLive 3 раза и более, удаляются из панели i-Say. Как и ранее, процент панелистов Peanut Labs, которые были удалены из панели в результате данной процедуры, не отличался от показателей других анализируемых источников выборки молодых людей. Панелисты Peanut Labs по данному показателю располагались ровно посередине.

Заключительный показатель анализа качества нового источника из числа основополагающих — это удовлетворенность респондентов.

В конце каждого исследования i-Say предлагает 4 вопроса для оценки удовлетворенности участием в исследовании. Вопросы касаются продолжительности исследования, степени интереса для участника, важности исследования и того, почерпнул ли участник что-то новое для себя. Прежде всего данные вопросы предназначены для оценки качества исследования, однако они также позволяют понять, насколько участники исследования из того или иного источника оказались довольным им. Иными словами, насколько высоки их ожидания от исследований i-Say. И опять панелисты Peanut Labs расположились посередине и заняли 14-ю позицию из 25 сравниваемых источников. Это означает, что несмотря на то, что респонденты Peanut Labs пришли из среды социальных сетей, для которых характерны максимальное использование возможностей Web 2.0 и высокая степень взаимодействия между участниками, они высоко оценили свой опыт участия в исследованиях.

Все полученные в ходе наших исследований показатели качества и рейтинги важны для получения всесторонней картины сравнения панелистов Peanut Labs с панелистами из других источников. Однако существует еще один очень важный показатель: существуют ли отличия в ответах панелистов Peanut Labs и панелистов других источников рекрутинга Даже если их показатели качества их ответов примерно одинаковы, совершенно различные по направленности ответы были бы серьезной проблемой. Должны быть определенные сходства в трендах, рейтингах и бизнес-выводах по результатам исследований, чтобы гарантировать, что новые источники выборки оценены надлежащим образом.

С другой стороны, важно понимать, что новые источники выборки могут давать совершенно иные, но тем не менее достоверные результаты. Мы должны стремиться обеспечить представленность всего населения с помощью процедур выборки, а не отдельных сегментов, которые могут отражать состояние Интернета в тот или иной момент времени. Как показывает ниже круговая диаграмма Венна, существует множество источников для набора новых панелистов. Различия в результатах дают возможность набора более широкого круга панелистов, а значит, позволяют принять участие в исследовании новым группам людей, которые могли быть не охвачены с помощью более традиционных источников рекрутирования панелистов.

Рисунок 1. Структура онлайн сообщества

Первое исследование касалось пользования электроникой — той сферы, где можно предположить наличие существенных различий между панелистами, использующими и не использующими новые возможности Интернета. Применялись стандартные процедуры формирования выборки, однако в выборке Peanut Labs по сравнению с выборками из других источников оказалась существенно более высокая доля мужчин в возрасте 18–24 лет. Сам по себе этот результат неудивительный, за исключением того, что это крайне сложная для рекрутинга группа, которую легко может предоставить Peanut Labs.

Были получены ответы более 450 респондентов из панели Peanut Labs и других более традиционных источников выборки. Чтобы гарантировать, что различия в ответах являются результатом истинных отличий во мнениях респондентов, а не обусловлены различиями демографических характеристик панелистов из различных источников, выборки были перевзвешены по переменным возраста, пола, дохода, образования, размера семьи и региона проживания.

На рисунке 2 показаны ответы на три вопроса о покупательских намерениях (один и два наивысших ответа по оценочной шкале — топ 1 и топ 2). Очевидно, что ответы панелистов Peanut Labs похожи на ответы панелистов, рекрутированных из традиционных источников. Высоким показателям для одного источника соответствуют высокие показатели для другого источника. Конечно, результаты не идентичны. Учитывая размеры выборок и интервал ошибки выборки в 2,3%, некоторые различия статистически значимы. Но, несмотря на эти отличия, ранговый порядок показателей примерно одинаков; единственное отличие между выборками — в рангах для второго и третьего показателей.

Рисунок 2. Ответы на вопросы о покупательских намерениях

Второе исследование касалось замороженных десертов и включало 300 интервью с панелистами Peanut Labs и более 2000 интервью панелистов из других источников. В этом случае не было оснований ожидать, что ответы панелистов из социальной сети будут отличаться от ответов панелистов из традиционных источников. Просто не было причин подозревать, что любители определенного типа мороженого соберутся в одной социальной сети.

Для начала данные были перевзвешены по различным демографическим показателям, чтобы гарантировать, что различия в ответах вызваны реальными различиями во мнениях, а не социально-демографическими различиями участников исследования. На рисунке 3 приведены ответы на вопросы данного исследования (наивысшие ответы согласия, топ-ответы). Здесь представлен широкий ряд вопросов, начиная с употребления продукта и цены и заканчивая доверием и предпочтениями.

Вполне предсказуемо, что ответы панелистов Peanut Labs похожи на ответы других панелистов. Ни по одному вопросу результаты не отличаются больше чем на 5%, в среднем разница составляет всего лишь 2%. Ранжировки показателей также достаточно схожи, что является косвенным показателем сходства результатов. Только по одному показателю расхождения в пунктах превысили три ранга, в то время как по остальным показателям различия были от 0 до 2 пунктов.

Рисунок 3. Ответы на вопросы исследования о замороженных десертах

Третье исследование было посвящено спортивным событиям, и здесь сравнивались 500 интервью панелистов Peanut Labs и 400 интервью с другими панелистами. И опять среди рекрутированных Peanut Labs респондентов оказалось больше труднодостижимых респондентов, в первую очередь молодых мужчин. Результаты данного исследования также подтверждают ранее сделанный вывод об отсутствии различий в ответах респондентов двух подвыборок. В данном случае вопросы касались интереса к различным видам спорта, согласия с высказываниями о характеристиках различных видов спорта. Те показатели, которые высоко оценивались респондентами из традиционных источников выборки панелистов, также получали высокую оценку и у панелистов Peanut Labs. Тем не менее по одному из показателей различия составили 10%, но по остальным различия не превышали 6%. За исключением этого одного случая, наибольшие отличия между ранжировками показателей у респондентов Peanut Labs и респондентов из других источников составляли 1 пункт. То есть если у панелистов Peanut Labs показатель имел ранг 4, то для респондентов из других источников он мог быть 3, 4 или 5.

Рисунок 4. Ответы на вопросы исследования о спорте

Данные результаты показывают, что ответы респондентов социальной сети Peanut Labs не отличаются существенным образом от данных, собранных на базе других источников. Небольшие различия вполне предсказуемы. В действительности исследователи хорошо знают, что различия в результатах будут даже при использовании одного и того же источника в разные периоды времени.

Онлайн анкетирование с использованием мобильных телефонов: результаты методического эксперимента

Давыдов Сергей Геннадьевич («ГфК-Русь»)

Введение

Методическое экспериментирование — неотъемлемая часть современной практики маркетинговых и социальных исследований. Социологи — как эмпирики, так и теоретики — находятся в ситуации постоянного повышения требований к эффективности осуществляемой ими деятельности. Снижение стоимости и сроков сбора информации, повышение точности и надежности результатов, поиск новых подходов к работе с узкими и (или) труднодоступными целевыми группами — вот лишь часть требований к исследовательским проектам, ставших привычными. Следует также принять во внимание, что интенсификация и дифференциация социальной жизни диктуют необходимость появления новых методических разработок. Наконец, благодаря развитию информационных технологий возникают возможности не только для более широкого использования в исследовательской работе специального оборудования, но и для принципиально новых форм взаимодействия с респондентами. Из числа многочисленных возможных примеров назовем использование сканеров для автоматизации потребительских панельных исследований, индивидуальные устройства фиксации медиапотребления (наиболее известные технологии — Media Watch компании GfK Telecontrol и Portable People Meter компании TNS), различные CAWI-исследования (онлайн опросы) и т.д.

Использование индивидуальных средств коммуникации: мобильных телефонов, смартфонов, КПК и т.п. — в рамках сбора социологической информации представляется одним из весьма перспективных направлений. Подобные устройства имеют высокий уровень распространения (ими пользуются 78,6% взрослых россиян⁸), удобны и относительно просты в эксплуатации. Многие обладатели мобильных телефонов расстаются с ними только на время сна. В то же время функциональные возможности данных устройств достаточно широки. Помимо голосовой связи с респондентами, имеются возможности записи голоса на диктофон, съемки на фотокамеру, написания текстовых заметок, обмена информации через Интернет и т.д. и т.п.

Особый интерес представляет возможность использования мобильных коммуникативных устройств в качестве терминалов для самостоятельного заполнения анкет респондентами. Действительно, в этом случае отпадает необходимость в привлечении к процессу сбора информации интервьюеров, что существенно снижает стоимость работ. Респонденты могут ответить на вопросы в любом месте, где бы они ни находились. Онлайн анкетирование посредством персонального компьютера с обычным монитором обеспечивает более широкие возможности в области программирования опросников и демонстрации стимульных материалов, однако через мобильные телефоны опросом можно охватить более широкие слои населения.

Безусловно, отмеченные преимущества и недостатки анкетирования с использованием мобильных телефонов носят спекулятивный характер. Помимо собственно технической возможности проведения исследования, необходимо наличие технологии взаимодействия с респондентами. Возможна ли сегодня разработка подобной технологии? Если анкетирование через мобильные телефоны возможно, то какие факторы позволят увеличить отклик респондентов при эффективных и экономных трудозатратах?

Чтобы ответить на эти, а также ряд других вопросов, компании «Интерэктив сервисез» и «ГфК-Русь» провели в апреле 2009 года совместный методический эксперимент, результаты которого легли в основу предлагаемой статьи.