Второй блок представленных исследований был посвящен вопросу новых типов источников онлайн выборки и построению эффективных выборок посредством совмещения нескольких источников рекрутирования респондентов.

Стивен Джиттельмен (Mktg.Inc.) в докладе «По дороге к ясности: различия между источниками выборки» сравнил между собой результаты одного исследования, проведенного на основе опроса 14 панелей, одной социальной сети и 3 выборок, набираемых в режиме реального времени (river sampling) [9]. Исследователь, проанализировав полученные результаты, утверждает, что онлайн панели смещены в сторону «профессиональных» респондентов, определяемых следующим образом:

— респонденты, принимающие участие в онлайн исследованиях практически каждый день;

— респонденты, которые в открытых вопросах признаются, что заполнили более 30 анкет за последний месяц;

— респонденты, являющиеся участниками более 5 панелей.

Исследователей рынка волнует основной для индустрии вопрос: каким образом характеристики респондентов влияют на покупательское поведение? Какие поведенческие паттерны присущи тому или иному источнику онлайн выборки? И наконец, каким образом можно построить «эффективную» выборку? С. Джиттельмен приходит к выводу, что оптимальную выборку при минимизации ошибки опроса на основании переменной «уровень образования» и количества источников выборки можно построить следующим образом:

40% — выборка в режиме реального времени,

40% — панель №1,

20% — панель №2 из 14 тестируемых.

Если С. Джиттельмен не включает в итоговую выборку респондентов, рекрутируемых из социальных сетей, то Ани Пти (Ipsos Interactive Services) и Сайман Чедвик (Peanut Labs) в докладе «Социальные сети как дополнительный источник выборки в маркетинговых исследованиях» утверждают, что посредством социальных сетей исследователь получает возможность опросить «непрофессиональных» респондентов, имеющих низкий уровень откликов в онлайн панелях (например, молодые мужчины в возрасте 18–24 лет), а также в связи с развитием узкоспециализированных сетей — возможность опросить труднодостижимые группы в кратчайшие сроки [10].

Кристин Люк (Decipher) в докладе «Эффективные стратегии для управления проектами с несколькими источниками онлайн выборки» рассматривает достоинства и недостатки каждого типа выборки [11]. В качестве плюсов традиционных панелей можно выделить широкие возможности рекрутинга и профилирования участников. В качестве очевидного минуса — репрезентацию не более 10% населения США. Широкий охват и наличие «непрофессиональных» респондентов являются достоинствами опросов участников онлайн сообществ и выборок, набираемых в режиме реального времени. Однако при использовании данных типов выборки проблемы возникают с таргетингом в связи с отсутствием профильной информации.

Несмотря на пока относительно низкую популярность привлечения нескольких источников выборки, связанную прежде всего с организационными сложностями и увеличением стоимости поля, индустрия, по мнению К. Люк, будет постепенно отходить от использования одного типа выборки (в основном традиционных панелей) к использованию нескольких источников. Это связано не только с появлением профессиональных респондентов, но и с проблемой эффекта «созревания» панелистов. Эффект определяется провайдерами как временное влияние на ответы респондентов, которое может быть зафиксировано в онлайн опросах, проводимых по одной теме. В этой связи многие компании вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории за определенный период времени. Как это влияет на качество данных — рассмотрим далее.

Вопросы качества данных и управления полевым проектом

Третий блок представленных работ был посвящен вопросам управления проектом. В нем можно выделить следующие темы:

— локауты, или временные периоды «карантина»;

— оптимальное время для проведения полевых работ: нет ли смещения в результатах опроса, если поле проходит в течение 48 часов?

Филипп Гарланд (SSI), Дебра Сантас и Рена Уппал (Ipsos Interactive Services) в докладе «Локауты: не слишком ли мы предусмотрительны?» рассматривают как несоблюдение локаутов может влиять на качество полученных данных [12].

Многие панельные провайдеры вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории. Какова может быть цена локаутов? Во-первых, они порождают негативный опыт в той степени, в которой панелисты получают меньшее количество приглашений. Во-вторых, они уменьшают количество подходящих под критерии опроса респондентов, соответственно, уменьшают возможное количество набранных интервью.

Исследователи из SSI и Ipsos Interactive Services задают два основных вопроса:

— Действительно ли локауты помогают улучшить качество данных, а несоблюдение временного «карантина» является источником ошибки?

— Если следует вводить «карантин», то какой временной период должен быть утвержден?

Для ответа на эти вопросы исследователи провели эксперимент с тремя экспериментальными и одной контрольной группой. Все респонденты рекрутировались посредством случайного телефонного опроса (RDD) и опрашивались через Интернет. В контрольной группе опрос проводился один раз, в экспериментальных группах один и тот же опрос проводился с разной частотой на протяжении 5 недель. В экспериментальной группе №1 опрос проводился раз в неделю, группе №2 — два раза в неделю, группе №3 — раз в месяц.

Проанализировав результаты эксперимента, исследователи не обнаружили статистически значимых различий между группами как в вопросах о знании продуктов, потребительском поведении (пользование брендами, продуктами), так и в вопросах медиапредпочтений и социально-политических установок. Проверив влияние участия в опросах на валидность и надежность данных, исследователи выявили, что коэффициент альфа Кронбаха оказался немного ниже в экспериментальных группах 1 и 2, что свидетельствует об уменьшении надежности данных при увеличении частоты участия в одном и том же опросе. Кроме того, в экспериментальных группах оказалось немного больше ответов «Затрудняюсь ответить» и отказов от ответа. Однако несмотря на это Филипп Гарланд, Дебра Сантас и Рена Уппал не получили доказательств того, что несоблюдение локаутов влияет на ответы респондентов и качество полученных данных.

Дон Эмброуз и Кэри Муайер (Consumer Contact) в докладе «Запоздавшие респонденты: влияют ли они на данные?» рассматривают, как отведенное время на полевые работы влияет на полученные данные [13]. Исследователи провели эксперимент с контрольной группой, в которой поле продолжалось на протяжении 10 дней, и экспериментальной группой, в которой поле длилось в течение 48 часов. Авторы делают выводы, что в целом респонденты не различались по региону и полу, однако немного различались по возрасту. Последнее можно контролировать посредством введенных квот или применения взвешивания. Главный вывод работы — данные, полученные за 48 часов, — статистически значимо не отличаются от данных, полученных за 10 дней. «Если поле проходит дольше 2–3 дней, это не улучшает качества полученных данных», — заключают Дон Эмброуз и Кэрри Муайер.

Итак, результаты исследований показывают: нет доказательств того, что введение локаутов, а также увеличение времени для проведения полевых работ увеличивают качество данных в онлайн опросах.

Заключение

Что ожидает маркетинговую индустрию онлайн исследований в ближайшем будущем? Участники CASRO предполагают, что будущее — за мобильными онлайн панелями, за построением онлайн выборок, состоящих из разных источников рекрутирования, за множеством технологических новаций, которые позволят идентифицировать повторное или невнимательное заполнение опроса респондентом, за более красивым дизайном онлайн анкет и, хотелось бы в это верить, за более интересным исследовательским инструментарием.

Литература

1. Comley P. Understanding the online panelist // Paper presented at the Annual ESOMAR World Research Conference. 2005.

2. Sparrow N. Quality issues in online research // Journal of Advertising Research. 2007. Vol. 47. No. 2. P. 179–182.

3. Baker R. Caught in the Web // Research World. June 2008. P. 9–11.

4. Smith R., Brown H. Assessing the quality ofdata from online panels: Moving forward with confidence. 2005. P. 1–5. [online] <http://www.hisbonline.com/pubs/ HI_Quality_of_Data_White_Paper.pdf>

5. Carlin C, Eidson S. The compensation structure of panels // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.

6. CourtrightM. The Devil is in the data. A respondent classification analysis comparing the best and worst survey respondents // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–11.

7. Miller J., Baker-Prewitt J. Beyond «trapping» the undesirable panelist — the use of red herrings to reduce satisficing // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.

8. Davis. S, Drolet J., Butler A. The survey «burden» factor: How many important is respondent's perception of survey length // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–10.

9. Gettelman S, Trimarchi E. On the road to clarify: Differences between sample sources // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–27.

10. Petit A., Chadwick S. The complement ofsocial networks and market research // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.

11. Luck K. Data quality considerations when utilizing a multi-sourced sample approach // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–8.

12. Garland P., Santus D, Uppal R. Survey lockouts: Are we too cautious? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–4.

13. Ambrose D, Ripley G, Moyer C. Late responders... do they matter? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.

Влияние заинтересованности панелистов на качество данных

Шашкин Александр Владимирович (Online Market Intelligence)

Онлайн исследования проводятся в мире уже более 15 лет, и все эти годы ведутся споры о качестве выборок и данных онлайн опросов. Профессиональные ассоциации (такие как ESOMAR, CASRO и ARF) издают специальные руководства по проведению исследований с использованием Интернета. Основная цель этих документов — описать инструменты, позволяющие снизить влияние источников выборки и методики сбора данных на качество получаемой информации. Вопросы качества также становятся основным предметом обсуждения на конференциях, посвященных онлайн исследованиям; на эту тему написан целый ряд статей и книг. Вместе с тем в большинстве этих дискуссий практически не затрагиваются вопросы взаимоотношения и коммуникации с участниками онлайн панелей — людьми, регулярно отвечающими на вопросы анкет через Интернет. Наш практический опыт проведения онлайн исследований позволил предположить, что падение процента отклика (Response Rate) и недобросовестное поведение участников онлайн панелей происходит не из-за нежелания людей принимать участие в опросах общественного мнения, их пассивности или отсутствия интереса. В погоне за мнениями о других мы нередко забываем спросить, что люди думают о нас. Результаты регулярного исследования удовлетворенности участников панели Anketka.ru компании Online Market Intelligence (OMI) помогут нам понять, «чем живут» панелисты, как они оценивают свой опыт и как меняется их отношение к проекту с течением времени. Суть нашей статьи заключается в том, что можно бесконечно придумывать изощренные методы и технологии контроля качества онлайн данных (вопросы-ловушки, цифровые отпечатки пальцев и прочее), но если не уважать фундаментальные права респондентов, не общаться с ними, не прислушиваться к их мнению и не выстраивать адекватную систему вознаграждения, эти усилия будут тщетны. На действия администрации панелей люди отвечают «симметрично»: любые ошибки и недоработки приводят к тому, что добросовестные респонденты (участвующие потому, что им нравятся опросы, или потому, что они хотят помочь производителям) покидают панели; остаются лишь те, кто участвует ради денег. Практика показывает, что именно респонденты, мотивированные заработком в Интернете, более склонны к недобросовестным действиям: созданию множества учетных записей, заполнению анкет вслепую, искажению информации о себе для прохождения анкет-фильтров и так далее.

Эмпирическая база данной статьи состоит из результатов исследования удовлетворенности участников онлайн панели Anketka.ru. Потребительская онлайн access-панель Anketka.ru была запущена в России в октябре 2007 года. До конца 2007 года панель находилась в стадии формирования, а среди участников проводилось сравнительно небольшое число исследований (в среднем менее одной заполненной анкеты в месяц на члена панели). В этот период впечатление участников о проекте базировалось главным образом на опыте пребывания на панельном портале. В начале февраля 2008 года мы провели первое исследование удовлетворенности участников панели (метод: онлайн опрос, случайная выборка N = 650, Россия). Позже панель стала использоваться все чаще (но тем не менее была далека от избыточного использования), и у людей сформировался опыт заполнения анкет и общения с панельной администрацией. Вторая волна исследования удовлетворенности была проведена в мае 2008 года; затем замеры стали регулярными и проводились ежеквартально. На момент написания статьи самыми свежими данными были результаты июльской волны 2009 года. Таким образом, у нас появилась уникальная возможность проследить изменения в восприятии панельного проекта его участниками с момента создания. Так как основные тенденции носят выраженный и постоянный характер, мы не будем приводить данные всех волн, а дадим только наиболее контрастные сравнительные результаты по первой и последней (шестой) волнам исследования.

В качестве дополнительных материалов будут использованы мнения участников различных панелей, собранные на основном форуме «профессиональных респондентов» в сети Интернет: www.oprosy.info, а также результаты регулярного наблюдения за деятельностью различных панельных провайдеров на российском рынке. Для анализа технологий и инструментов, способствующих формированию заинтересованности респондентов, будут использованы примеры панельных проектов Anketka.ru, AvtoOpros.ru и ITOpros.ru

Логика нашей статьи будет следующей: мы начнем с анализа мотивации членов онлайн панели Anketka.ru, а затем предложим базовую типологию участников панелей. После этого мы обсудим опасности, связанные с высокой долей финансово мотивированных респондентов в панелях, а также обозначим ключевые задачи панельного менеджмента. Далее мы попытаемся понять, какие свойства панели важны для разных типов респондентов, а также рассмотрим составляющие негативного опыта панелистов и обозначим основные способы их минимизации. Отдельный раздел статьи будет посвящен роли панельных порталов в процессе управления панелями. Включенное наблюдение за деятельностью различных панельных провайдеров на российском рынке позволит нам классифицировать и описать ключевые ошибки менеджмента панелей и предложить адекватные варианты решения связанных с этим задач. В статье также будут описаны некоторые используемые практические приемы, позволяющие повысить заинтересованность участников панелей и собирать качественную информацию.

Мотивация участников панели

Вопрос мотивации панелистов достаточно подробно освещается в современной литературе [см., например, 1, 2]. Основной вывод этих исследований состоит в том, что участники панели мотивируются, как правило, причинами, связанными с социальной включенностью и ответственностью (высказывая свое мнение, люди помогают улучшать продукты и услуги). В мотивации панелистов значимую роль играет любопытство и желание развлечься, а не только материальное поощрение участия в чистом виде [2, с. 113–114]. Результаты нашего исследования удовлетворенности участников панели Anketka.ru также подтверждают эти предположения (см. таблицу 1).

Таблица 1. Основные причины участия в панели Anketka.ru.

Принимая во внимание основные причины, по которым люди присоединяются к панели, можно предложить следующую базовую типологию участников:

1) «любопытные» — эта группа объединяет людей, участвующих в панели ради интереса и развлечения;

2) «ответственные» — члены этой группы хотят помочь производителям улучшить качество продуктов и услуг, а также заниматься благотворительностью;

3) «прагматичные» — эти люди заполняют опросы, прежде всего чтобы заработать деньги.

Согласно результатам нашего исследования, в панели преобладают «любопытные» участники (причины №1, 5, 6, 7) — их общая доля составляла 55,5% в первой волне проекта и осталась стабильной (54,4% в шестой волне). Доля «ответственных» панелистов (причины №2 и 4) составляла чуть менее четверти опрошенных (24,3%) в первой волне, с течением времени «ответственных» панелистов стало немного больше (27,3%). Доля «прагматичных» респондентов (причина №3) на заре существования панели составляла 17,3%; в ходе развития проекта она уменьшилась до 16%.

Приведенная типология имеет ряд важных особенностей:

1) доли каждого из описанных типов участников могут сильно отличаться в различных панелях. Преобладание людей того или иного типа зависит от многих факторов, главными из которых являются:

— характер и источники рекрутирования панели;

— особенности мотивации участников и управления панелью;

— качество и частота коммуникации с панелистами (на панельном портале, в анкетах, сообщениях администрации, новостных бюллетенях и т.д.);

2) доли респондентов различных типов меняются с течением времени. При адекватном менеджменте панели доля «прагматичных» респондентов имеет тенденцию к снижению, а доля «ответственных» — к росту;

3) мотивация участников панелей практически не зависит от пола и возраста.

Перед тем как перейти к более глубокому анализу мотивации панелистов, нам бы хотелось более пристально взглянуть на «прагматичных» респондентов. По мнению большинства исследователей, именно они представляют наибольшую опасность.

«Прагматичные» респонденты: в чем опасность?

По мнению Андрея Постоаки, большая доля панелистов, участвующих в опросах только ради денег, «должна, как правило, вызывать вопросы и опасения всех компаний, занимающихся маркетинговыми исследованиями, которым небезразлично качество их панелей» [2, c. 114].

Почему высокая доля прагматичных респондентов должна настораживать панельных провайдеров и их заказчиков? Все дело в том, что людям, участвующим в опросах ради денег, более свойственно недобросовестное поведение.

Умников, желающих нагреть руки на онлайн опросах, действительно находится довольно много: ежедневно форум посещают несколько сотен человек. Анализ суждений этих людей на форуме позволяет обозначить основные причины того, почему «прагматичные» респонденты вызывают наибольшие опасения: