Отметим, что ответственным за качество данных в панельных онлайн исследованиях становится именно респондент — участник, отвечающий на вопросы исследователя. Насколько правильно сводить качество опросов к ответам респондентов и проблеме «карьеры» панелиста, не затрагивая обсуждения фундаментальных индикаторов качества данных и исследовательского инструментария, мы оставим за скобками данной статьи, ибо это требует написания отдельной работы. Мы лишь можем предположить, что тенденция сведения проверки качества данных к ответам респондента и его прошлой истории участия в опросах в методологии онлайн исследований функционально заменяет известный «эффект интервьюера» в личных опросах, когда ответственность за ошибки исследования перекладывается именно на эту фигуру.

Итак, первая ось пространства — проблема идентификации панелиста, которая с развитием практики подключения нескольких панелей для выполнения одного исследовательского проекта трансформируется в проблему дубликатов со следующей формулировкой: «Как избежать повторного заполнения анкеты в случае приглашения одного и того же респондента в нескольких панелях?» Исследовательской индустрией предлагаются технические решения. Одно из самых обсуждаемых решений в последнее время является технология digital fingerprinting, которая позволяет считывать ряд параметров с компьютера таким образом, чтобы у респондента не было возможности повторно заполнить анкету.

Вторая ось, являющаяся главным показателем качества данных, — это ответы респондентов. Одна из проблем, которую пытаются решить исследователи в онлайн опросах, — повышение мотивации респондентов к внимательному прочтению и заполнению анкет, длительность которых в среднем не бывает меньше 20 минут. Панельные провайдеры направляют свои усилия на повышение интереса респондентов к заполнению анкет, пусть даже самых длинных, утомительных и скучных.

На конференции были рассмотрены три основных способа увеличения вовлеченности респондентов в процесс заполнения анкеты:

— изменение структуры вознаграждения,

— включение проверочных утверждений и вопросов в анкету, повышающих внимание респондентов,

— изменение внешнего вида программируемых анкет.

Изменение структуры вознаграждения

Одна из самых интересных и оригинальных идей, озвученных на конференции, была посвящена материальным методам повышения мотивации респондентов и представлена Калин Карлин (Market Strategies International) и Шанам Эйдсанам (e-Rewards) в докладе «Структура вознаграждения панелистов» [5].

По словам К. Карлин и Ш. Эйдсона, достаточно много внимания исследователи уделяют методам идентификации респондентов, некачественно заполняющих анкету или несколько раз зарегистрировавшихся в панели. Однако при этом практически не затрагивают тему компенсационной структуры, используемой в панели, хотя ее следует рассматривать как один из эффективных инструментов управления мотивацией участников панели. Время заполнения анкеты является наиболее значимым и широко принятым фактором проверки качества онлайн данных. Если рассуждать от обратного, то на вопрос: «Как можно увеличить качество данных?» — один из очевидных ответов, который можно получить: «Мотивировать респондента тратить на заполнение анкеты больше времени и заполнять ее более внимательно».

Логика эксперимента заключается в следующем: следуя базовым предположениям теории справедливости, можно предложить респонденту размер вознаграждения, который будет зависеть от времени заполнения анкеты. Таким образом, предполагается, что следует, с одной стороны, зафиксировать временную шкалу, а с другой — шкалу вознаграждения и в приглашении к исследованию указать, какое вознаграждение предполагается начислить респонденту в зависимости от времени заполнения. Например, в проводившемся эксперименте исследователи предложили следующую шкалу:

16 минут и больше — $5 (в валюте e-Rewards),

14–15 минут — $4,50,

12–13 минут — $4,00,

10–11 минут — $3,50,

8–9 минут — $3,00,

6–7 минут — $2,50,

Менее 6 минут — $0,50.

Как только респондент переходил на анкету, он видел на экране таймер, показывающий время выполнения опроса. Контрольной группе (состоящей из 500 респондентов) был предложен стандартный формат с единым размером вознаграждения, а экспериментальной группе (также состоящей из 500 респондентов) была предложена ступенчатая форма вознаграждения в зависимости от времени заполнения опроса. Кроме того, в каждую группу включили подвыборку в100 панелистов, которые в предыдущих опросах были классифицированы e-Rewards как speedsters, т.е. респонденты, слишком быстро заполняющие анкеты.

Результаты исследования показали, что в экспериментальной группе участники тратили на заполнение анкеты больше времени (в среднем на 1,3 минуты), при этом различие оказалось статистически значимым на уровне p = 0,001. При этом различие сохраняется при отдельном сравнении подвыборки speedsters, так и группы non-speedsters (см. Таблицу 1).

[Таблица 1]

	Экспериментальная группа, время (в минутах)	Контрольная группа, время (в минутах)	Различие
Вся выборка
Среднее время	16,15	14,86	1,29 (значимо на уровне 0,001)
Медиана	15,00	13,18	1,82
Non-speedsters
Среднее время	17,00	15,83	1,17 (значимо на уровне 0,05)
Медиана	16,00	14,10	1,90
Speedsters
Среднее время	12,80	11,03	1,77 (значимо на уровне 0,05)
Медиана	12,43	9,32	3,11

Однако можно предположить, что стратегия премирования участников опроса стимулирует только лишь тактику затягивания ответа и не влияет на качество полученных ответов. Поэтому исследователи сравнили качество данных в обеих группах по следующим критериям:

— внутренняя надежность данных,

— внутренняя консистентность,

— ответы на табличные вопросы,

— ответы на открытые вопросы.

Внутренняя надежность проверялась по пулу утверждений относительно удовлетворенности респондентов качеством жизни. Применялась оценка надежности-согласованности данных методом расщепления пополам (первая часть утверждений была размещена в начале анкеты, вторая часть — в конце). Ответы респондентов в экспериментальной группе имели большую корреляцию между первой и второй частью утверждений по сравнению с контрольной группой. Кроме того, в контрольной группе оказалось немного больше респондентов, у которых дисперсия в ответах на проверяемые вопросы была больше двух стандартных отклонений: 3,8% в контрольной группе против 2% в экспериментальной. Однако отличия не являлись статистически значимыми.

Для определения консистентности полученных данных исследователи проверяли вопросы о знании и покупке брендов. Ответы считались внутренне неконсистентными в том случае, если панелисты отмечали бренд как незнакомый, но в то же время как тот, который они уже когда-то покупали. Только 20 панелистов дали неконсистентные ответы, 65,5% из которых были в контрольной группе.

Другим критерием проверки качества данных являются ответы на длинные табличные вопросы. Анкета содержала 20 табличных вопросов, в среднем состоявших из 7 утверждений. Исследователи подсчитали процент респондентов, которые по крайней мере в 11 из 20 вопросах отмечали в основном только одну колонку (так называемые straightliners): их оказалось 14% в экспериментальной группе и 17,9% — в контрольной. Различия были близки к статистически значимым (p = 0,054).

В конце опроса респондентов просили написать свое мнение об опросе. В экспериментальной группе осмысленные ответы дали 41,5% участников, в контрольной — 34,2%. Авторы резюмируют: несмотря на то, что по ряду критериев между группами получились статистически незначимые отличия, эксперимент может породить другие гипотезы, касающиеся использования компенсационной структуры как инструмента управления мотивацией панелистов.

Изменение структуры вознаграждения в зависимости от длительности интервью является достаточно новой для индустрии идеей, которая требует дальнейшей разработки и верификации, однако базовым для определения качества данных остается включение в анкету проверочных утверждений на внимание респондента, контрольные вопросы, а также вопросы-ловушки.

Включение проверочных утверждений и вопросов в анкету

Мелани Катрайт (DMS) в докладе «Дьявол в данных. Классификация респондентов» предлагает типологию респондентов на основании качества полученных данных [6]. Компания DMS провела опрос 6700 респондентов, качество данных в котором проверялось по следующим критериям:

1. Время заполнения анкеты: среднее время заполнения анкеты составило 17 минут, а респонденты, заполнившие опрос меньше чем за 9 минут, были классифицированы как speedsters.

2. Ответы в табличных вопросах: в анкете имелось два табличных вопроса с 10 и 16 утверждениями. Если респондент отмечал только одну колонку в одном табличном вопросе, он классифицировался как straightliner.

3. Надежность ответов проверялась следующим образом:

— в начале и конце анкеты респонденту задавался один и тот же вопрос о количестве детей до 18 лет, проживающих в домохозяйстве;

— респонденту давали оценить согласие с противоречивыми утверждениями: например, «Цена для меня более важна, чем бренд», «Бренд для меня более важен, чем цена».

4. Ответы на открытые вопросы.

5. Проверочные вопросы: ответ на утверждение таблице «Обозначьте Ваше положение в анкете, отметив колонку 3».

6. Подсчет процента отказов от ответов в вопросах для каждого участника.

Мелани Котрайт предлагает следующую типологию панелистов:

— «Идеальные» респонденты (29%) — респонденты, полностью прошедшие все процедуры качества. Как правило, это старшая возрастная группа, состоящая в основном из женщин.

— «Типичные» (40%) респонденты, которые не прошли по одному критерию. По социально-демографическим характеристикам эти респонденты схожи с группой «идеальных» респондентов.

— «Несовершенные» респонденты (27%) — не прошедшие по двум-трем критериям. Большую долю в данной группе занимают мужчины 18–24 лет.

— «Худшие» респонденты (4%) — не прошедшие процедуры качества по четырем и более критериям. По социально- демографическим характеристикам эти респонденты схожи с группой «несовершенных» респондентов.

Таким образом, профиль группы «худших» респондентов в США выглядит следующим образом:

— скорее мужчины, чем женщины;

— молодая возрастная группа;

— имеют доход ниже среднего;

— скорее не белое население США;

— большую долю составляют домохозяйства с детьми.

По результатам анализа полученных данных компания DMS приходит к выводу о том, каких процедур следует придерживаться для выявления недобросовестно заполненных анкет:

1. Проверять время заполнения опроса.

2. Вставлять в анкету простые проверочные утверждения, а также несколько противоречивых утверждений.

3. Подсчитывать процент отказов от ответа по каждому респонденту.

Если Мелани Котрайт ставит задачу выявления недобросовестных панелистов и удаления их ответов из базы данных, то Джефри Миллер и Джеми Бейкер-Прюит (Burke) в докладе «Использование вопросов-ловушек для уменьшения вероятности недобросовестного поведения панелистов» ставят вопрос более интересно, а именно: «Как с помощью ловушек мотивировать респондентов давать более осмысленные ответы на вопросы анкеты?» [7]. Главная функция вопросов-ловушек, по их мнению, должна заключаться не в том, чтобы найти респондентов, невнимательно заполняющих опрос, а, наоборот, в том, чтобы мотивировать респондентов внимательно отнестись к заполнению анкеты. Вследствие этого, предположили исследователи, ловушки следует давать в самом начале опроса.

Компания Burke провела опрос 1200 панелистов (октябрь, 2008). Помимо других вопросов анкета включала 109 табличных утверждений. В среднем время заполнения анкеты составило 17,5 минуты. Респонденты были случайным образом разделены на 4 группы:

1. Контрольная группа.

2. Первая экспериментальная группа с включением в начале анкеты табличного утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос».

3. Вторая экспериментальная группа с включением в анкету противоречивых утверждений.

4. Третья экспериментальная группа с включением в анкету просьбы исследователя внимательно заполнять анкету и давать осмысленные ответы.

Время заполнения анкеты в четырех группах практически не различалось. Респонденты, заполнившие анкету менее чем за 7 минут, классифицировались как speedsters: в контрольной ячейке их оказалось 10%, в первой экспериментальной группе («Отметьте ответ 2 в строке») — 5%, во второй экспериментальной группе — 7% и, наконец, в третьей экспериментальной группе — 8%.

Помимо того, что в первой экспериментальной группе опрос начинался с утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос», во всех группах в вопросах 40 и 83 в ряде утверждений давался следующий вопрос: «Обозначьте Ваше положение в анкете, отметив колонку 2». В контрольной ячейке процент респондентов, не отметивших 2 в двух вопросах, составил 18%, в первой экспериментальной группе их оказалось 8%, во второй экспериментальной группе — 15% и наконец, в третьей экспериментальной группе — 16%. Более того, результаты исследования показывают, что в первой экспериментальной группе 83% респондентов, неправильно отметивших ответ в вопросе-ловушке, не смогли пройти подобную ловушку в вопросе №40. Во второй экспериментальной группе 36% респондентов, давших противоречивые ответы, также не смогли пройти ловушку в вопросе №40.

Результаты эксперимента также показывают, что включение утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос» уменьшает процент респондентов, отмечающих одну колонку в табличных утверждениях (straightliners): 16% в контрольной ячейке, 10% — в первой экспериментальной группе, 12% — во второй экспериментальной группе, 13% — в третьей экспериментальной группе.

Наконец, на основе нескольких критериев авторы построили так называемый индекс обмана и выявили, что наиболее невнимательные респонденты были обнаружены в контрольной группе (14%), наименьшее — в экспериментальной группе №1 (9%).

Таким образом, резюмируют авторы, помещение нескольких вопросов-ловушек в самом начале опроса повышает внимательность и мотивацию респондентов к заполнению анкеты. Наиболее эффективным инструментом исследователи находят включение в анкету просьбы «Пожалуйста, отметьте ответ 2 в строке» в самом начале опроса. Менее эффективным — включение в анкету противоречивых утверждений. Практически неэффективным — просьбу исследователя внимательно заполнять анкету и давать осмысленные ответы.

По мере того как респонденты привыкают к однообразным HTML-анкетам, а исследователи создают все более длинные анкеты с сотнями табличных утверждений, панельные провайдеры приходят к выводу о том, что изменение визуального вида инструментария, а также Flash-программирование может намного повысить внимательность участников опороса.

Изменение внешнего вида программируемых анкет

Одним из признанных способов повышения мотивации респондентов к заполнению анкет является создание более привлекательного дизайна анкет. Этой тематике был посвящен доклад Дженнифер Дролет (iModerate Research Technologies), Эллис Батлер (M/A/R/C Research) и Стива Дэвиса (e-Rewards) «Фактор усталости от опроса: Насколько важно восприятие респондентом длины анкеты?» [8]. Исследователи провели 30-минутный опрос 1132 панелистов, 50% из которых показывалась стандартная анкета, другим 50% — более интересная и легко заполняемая анкета.

Исследователи сравнивали поведение панелистов, а также их комментарии и оценки относительно следующих различий в дизайне анкеты:

— Статичные окошки vs Появляющиеся окошки

— Табличный вопрос vs Сортировка логотипов (drag and drop)

— Длинные таблицы vs Короткие таблицы

— Табличная оценка (традиционная шкала) vs Слайдер

Статичные окошки vs Появляющиеся окошки

В вопросе «Какие фастфуд-рестораны Вы можете вспомнить?» исследователи предложили два способа представления окошек для вписывания ответов: 10 статичных окошек в первом варианте анкеты (так называемой «традиционной») и окошки, которые появляются только после написания предыдущих ответов (например, второе окошко появляется только после того, как респондент вписал ответ в первое и т.д.). Однако в первом варианте анкеты респонденты написали в среднем больше ресторанов: 7,1 против 5,2 при одинаковой степени удовлетворенности вопросом.

Табличный вопрос vs Сортировка логотипов (draganddrop)

Ответы на вопрос «Когда Вы в последний раз посетили каждый из следующих ресторанов?» в первом варианте анкеты были представлены в виде стандартных колонок («За последние 4 недели», «В течение последних 1–3 месяцев», «В течение последних 4–12 месяцев», «Больше года тому назад»), во втором варианте анкеты — в качестве «корзинок», в которые складывались логотипы тестируемых ресторанов. Полученные данные практически не различались, однако степень удовлетворенности от заполнения анкеты во второй группе была значительно выше.

Длинные таблицы vs Короткие таблицы

Сравнивая ответы, которые дали респонденты при размещении 21 утверждения на одном экране и при их делении на 3 экрана по 7 утверждений, практически не наблюдали различий между данными, а также между степенью удовлетворенностью от заполнения анкеты. Однако выявили, что в случае коротких таблиц респондент более качественно заполняет анкету (меньше так называемых straightliners).

Табличная оценка (традиционная шкала) vs Слайдер

Сравнивая традиционную шкалу и слайдер, исследователи делают вывод, что даже при отсутствии статистически значимых различий между полученными результатами респонденты находят более привлекательными и интересными слайдеры.

В конце опроса респондентам предлагалось оценить, насколько длинной и интересной им показалась анкета. Несмотря на то, что во второй группе больше респондентов оценило анкету как «очень длинную» (57% против 50% в первой группе), в то же время респонденты оценили ее и как интересную (51% против 33% в первой группе).

Таким образом, управление вознаграждением, включение проверочных вопросов, а также изменение дизайна анкет являются наиболее обсуждаемыми методами повышения качества полученных данных в области онлайн исследований. Однако другая проблема, которая стоит перед онлайн панелями в западных странах, — наличие «профессиональных» респондентов. Одно из предлагаемых решений в данном случае — построение выборок, включающих не только онлайн панели, но и другие источники, например выборки, набираемые в режиме реального времени (river sampling). Рассмотрим это далее в работе.