Утверждение 1. Высокие стандарты морали и этики являются самыми важными в жизни.

Утверждение 2. Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым.

Утверждение 3. Я всегда буду ставить семью выше друзей.

Утверждение 4. Нужно соблюдать закон при любых обстоятельствах.

Как видно из таблицы 1, ответы по традиционной шкале были в целом положительными.

Tаблица 1. % респондентов, давших ответы «полностью или скорее согласен» по традиционной 5-членной шкале Лайкерта

	Британия	США	Германия	Китай
Полностью согласен	36%	41%	18%	21%
Полностью или скорее согласен	68%	71%	57%	46%

Основываясь на результатах опроса, можно предположить, что большинство людей не воспользуются возможностью пересмотреть свои ответы. На самом деле значительное число респондентов выбрали возможность изменить оценки, как это видно из таблицы 2.

Таблица 2. % респондентов, поменявших свое первоначальное мнение

	Британия	США	Германия	Китай
Утверждение 1	60%	52%	47%	46%
Утверждение 2	45%	51%	50%	52%
Утверждение 3	42%	36%	37%	51%
Утверждение 4	54%	54%	51%	42%

Интересно посмотреть, какие ответы с большей или меньшей вероятностью были подвержены изменениям. Взяв суждение 1 и посмотрев на распределение данных, мы можем увидеть, что наибольшему изменению подверглись те пункты шкалы, которые содержали определение «скорее» (безотносительно согласия или несогласия). 70% скорее несогласных и 75% скорее согласных изменили свое мнение в сторону более выраженного согласия/несогласия или нейтральной позиции. Это явно демонстрирует слабость шкалы Лайкерта в улавливании ответов, которые не являются ни сильными, ни нейтральными. Истинное значение частичного согласия или несогласия находится в континууме между сильно выраженным мнением и его отсутствием как такового.

Исследование нейтральной позиции «ни согласен, ни не согласен» также поразительно. В отношении суждения 1 42% респондентов изменили свою позицию в сторону согласия или несогласия. Это совершенно точно подразумевает, что существует определенная степень согласия/несогласия перед значением «скорее», которая определяется как более нейтральная, чем позиция «скорее».

Сильные мнения не были столь подвержены модификации, но мы увидели различную реакцию, которая зависела от того, на каком конце шкалы находился первоначальный ответ. Половина тех, кто изначально сказали, что полностью не согласны с суждением 1, изменили свое мнение в сторону «скорее не согласен». Напротив, только 23% тех, кто изначально сообщили, что полностью согласны с суждением, потом поменяли свое суждение и выбрали значение ближе к «скорее согласен». Если это означает, что легче сохранить сильную положительную приверженность, чем отрицательную, то можно утверждать, что эти два вербальных значения шкалы не являются противоположностью друг другу.

Данные результаты четко показывают, что у респондентов существует более сложное представление о согласии/несогласии, нежели инструмент позволяет нам измерить в данный момент. Анализ ответов на индивидуальном уровне не позволит нам определить, пересматривает ли респондент всю шкалу, чтобы отразить его персональное мнение о крайних и промежуточных пунктах шкалы, или респондент стремится показать трудноуловимую разницу во мнениях, которая существует относительно предложенного набора суждений. Если респонденты делают последнее, то возможность пересмотра оценок может в результате позволить сформировать индивидуальный рейтинг суждений по степени согласия с ними. Данные такого уровня почти невозможно получить с помощью традиционных шкал, когда различные суждения так часто получают один и тот же балл.

Если мы внимательно посмотрим на тех, кто дал одни и те же оценки для всех четырех суждений, то мы увидим изменение оценок в сочетании с желанием отделить суждения друг о друга. Из 44 случаев нулевой вариации ответов больше половины (55%) респондентов не изменили своих оценок вообще. 5 человек изменили свои оценки, но при этом рейтинг суждений не поменялся. Интересно, что было двое респондентов-«перебежчиков» — один, который изначально со всеми четырьмя суждениями был согласен полностью (значение 1), изменил значение на 1,83 для всех суждений; другой, который изначально поставил оценку «скорее согласен» для всех суждений (значение 2), поменял все свои оценки на 1,33. Значительное число оставшихся респондентов (34%) выбрали возможность обозначить различия между всеми суждениями или их частью.

Было также 22 случая, когда все четыре суждения получили разные оценки. Только два человека оставили свои оценки неизменными, остальные поменяли на другие, которые лучше отражали их мнение.

Эти факты говорят о том, что традиционная шкала Лайкерта является достаточно грубым инструментом и что не существует равенства между суждениями, которые получили одинаковую оценку.

Мы также увидели, что шкала Лайкерта воспринимается как достаточно точный инструмент для сбора мнений. В то же время респонденты, которым была дана возможность использовать шкалу-слайдер (безотносительно к ее дизайну), демонстрировали более высокий уровень удовлетворенности шкалой как инструментом, способным отразить их истинное мнение.

Таблица 3. % респондентов, давших ответы «полностью или скорее согласен» по слайдер-шкале Лайкерта

	Британия	США	Германия	Китай
Полностью согласен — слайдер	43%	54%	32%	21%
Полностью/скорее согласен — слайдер	72%	82%	68%	47%

Шкала Лайкерта — слайдер

Следующая часть нашего эксперимента касалась выяснения того, какое влияние на данные оказывает дизайн шкалы-слайдера. Мы использовали четыре разных дизайна: все имели текстовое описание крайних пунктов шкалы, и все воздерживались от визуальных иллюстративных элементов.

Первый слайдер содержал названия всех пяти традиционных пунктов шкалы:

Рисунок 5

Рисунок 6

На втором все отметки пунктов присутствовали, но текстовое описание промежуточных пунктов было удалено:

На третьем мы удалили отметки пунктов:

Рисунок 7

На последнем слайдере показывалось число от 1 до 5, чтобы указать, на каком именно значении установлен «бегунок»:

Рисунок 8

Во всех случаях первоначальное положение «бегунка» было установлено на значении «полностью не согласен». Была применена система проверки ошибок на случай, если респондент не менял положение «бегунка», чтобы убедиться, что респондент действительно совершенно не согласен с суждением.

Стартовое положение «бегунка» могло вызвать эффект смещения в ответах, равно как и порядок расположения вариантов ответов на традиционной шкале Лайкерта. Однако изучение подобного эффекта не было частью нашего эксперимента.

Наше первое наблюдение заключалось в том, что респонденты используют отметки пунктов, когда они есть. Интересно, что они также используют числовые эквиваленты пунктов, когда они имеются. Возможно, это происходит потому, что респонденты ранее видели нумерованную шкалу Лайкерта.

Таблица 4. Количество респондентов, выбравших определенные пункты шкалы — утверждение 1 (получены для одной и той же базы респондентов)

	Совершенно не согласен	Скорее не согласен	Затрудняюсь	Скорее согласен	Полностью согласен
Традиционная шкала	12	40	105	231	201
Традиционная шкала с измененными оценками	6	12	61	57	154
Слайдер с названиями пунктов	4	25	77	125	129
Слайдер с отметками пунктов	1	17	92	88	114
Пустой слайдер	1	8	27	21	97
Слайдер со значением	4	10	51	47	124

Каждый дизайн слайдера давал различное распределение данных. Это привело нас к предположению, что дизайн важен и должен использоваться с большой осторожностью. Мы определенно предостерегаем против небрежного использования визуальных/иллюстрированных слайдеров и рекомендуем придерживаться одного стиля в рамках одного исследования и в различных волнах сбора данных.

Где же истина в отношении утверждения 1? Этого мы, конечно, не можем сказать. Исследователи рынка используют различные описательные статистики, чтобы определить значение данных и интерпретировать их в разумном контексте.

После того как результаты для утверждения 1 объединены вокруг значений согласие/несогласие, лишь немногие исследователи не согласятся, что данные, вне зависимости от того, с помощью какой шкалы они были собраны (таблица 5), в общем-то говорят об одном и том же.

Таблица 5. % согласных и несогласных — утверждение 1

	Не согласен	Согласен
Традиционная шкала	9%	73%
Традиционная шкала с измененными оценками	6%	73%
Слайдер с названиями пунктов	8%	70%
Слайдер с отметками пунктов	6%	65%
Пустой слайдер	6%	77%
Слайдер со значением	6%	73%

В терминах среднего значения (а рассматривать среднее значение, основываясь на данных шкалы слайдера, приемлемо) ответы снова очень похожи.

Таблица 6. Средние значения по всем шкалам — утверждение 2

	Британия	США	Германия	Китай
Традиционная шкала	2,27	2,32	2,50	3,79
Традиционная шкала с измененными оценками	2,60	2,28	2,50	3,87
Слайдер с названиями пунктов	2,56	2,64	2,74	3,89
Слайдер с отметками пунктов	2,33	2,35	2,46	3,61
Пустой слайдер	2,32	2,39	2,29	3,62
Слайдер со значением	2,34	2,44	2,33	3,56

Мы четко можем видеть сходство между Великобританией, США и Германией (которые с чем-то не согласны) и их отличие по сравнению с Китаем (который склонен с чем-то соглашаться). Это справедливо вне зависимости от использованного инструмента сбора данных. Когда же мы увидим, что это суждение «Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым», то ответы также имеют смысл в данном контексте.

Что действительно меняется, так это суммарные доли согласных/несогласных (топ-позиции), которые имеют тенденцию к уменьшению. Уменьшения в отношении разных суждений могут быть различными, но мы можем предположить, что различные методы дают сходный рейтинг суждений. Уменьшение суммарной доли согласных/не соглас- ных должно быть одноразовым явлением при переходе на новый дизайн шкалы, но это может быть неприемлемо для клиента. Вся концепция определения топ-позиций теряет смысл, как только появляется континуум. Вместе с континуумом данных появляется возможность использовать такие статистики, как квартили и децили, хотя они сложны для объяснения и какого-то практического использования.

Наконец, как было замечено в ходе эксперимента по пересмотру оценок, данные шкал-слайдеров (на индивидуальном уровне) значительно лучше подходят для дифференцирования мнений относительно ряда суждений. Во многих случаях это дает явное преимущество по сравнению с традиционной методикой.

Привлекательность

Как исследователи мы вынуждены сегодня делать наши исследования более «привлекательными» и «интерактивными». Является или нет маркетинговое исследование частью бизнеса развлечений, должно ли покупаться внимание рядового респондента — эти вопросы лежат за пределами нашего исследования. Однако мы осознаем, что некоторые вещи, которыми мы занимаемся, скучны, определенно монотонны и, правду говоря, бестолковы и нередко затянуты. Флэш альтернативы часто позиционируются как более привлекательные и интерактивные.

Flash слайдеры не уменьшают длительность интервью. В среднем использование слайдера для набора из четырех суждений занимает на 20 секунд больше. Возможно, дополнительное время вызвано непривычностью инструмента и со временем может сократиться. Может быть, было бы неплохо добавить флэш технологии в табличные вопросы. Из многочисленных исследований восприятия респондентов мы знаем, что эти типы вопросов наименее популярны и уровень внимания к таким вопросам не всегда высок настолько, насколько этого хотелось бы исследователям.

В конце исследования мы задали несколько вопросов о том, что думают респонденты о самом исследовании. В таблице 7 сравниваются мнения респондентов, которым не был показан слайдер (отмечены в таблице как «традиционные»), с ответами тех, кому эта шкала была показана.

Таблица 7. Оценка качества исследования со стороны респондентов

Результаты говорят об увеличении интереса к исследованию и удовлетворенности участия в нем (что может быть взаимосвязано) при использовании слайдеров по сравнению с использованием традиционных шкал Лайкерта. Слайдеры незначительно усиливают общую привлекательность исследования, когда речь идет о желании принять участие в следующем опросе.

Заключение

Традиционная шкала Лайкерта во многих случаях является достаточно грубым инструментом. Можно доказать, что истинное мнение респондента лежит в пространстве между обозначенными вариантами ответов. Также возможны случаи, когда истинное мнение лежит за традиционными границами шкалы.

Однако это не говорит о том, что шкала является неправильной. Респонденты полагают, что она достаточно хорошо отражает их мнение. Можно только гадать, в какой мере это мнение обусловлено привычностью шкалы.

Однако это абсолютно точно означает, что равенства между суждениями, которые были оценены одинаково, нет. Также переоценивается сила мнений в отношении суждений. Исследователи, которые захотят оценить на качественном уровне степень согласия и силу мнения, например, «полностью согласен», совершат ошибку.

Слайдер-шкалы не дают уровней или значений согласия/несогласия, которые бы существенно отличались от тех, которые дают традиционные шкалы. Это означает, что слайдеры могут заменить традиционные шкалы без существенных расхождений в данных. Любой исследователь, который анализирует крайние позиции, должен знать, что они уменьшатся при изменении типа шкалы.

В чем слайдер-шкала точно превосходит традиционную, так это в способности улавливать малейшие различия в суждениях. Если дизайн исследования направлен именно на это, тогда слайдеры будут именно тем инструментом, с которым не будет необходимости использовать дополнительные вопросы для ранжирования суждений, получивших одинаковый балл.

Следует отметить, что наши находки также будут полезны для тех, кто ищет нерадивых респондентов, которые отмечают один и тот же ответ в таблице (так называемые straightliners). Там, где возможно или обоснованно для отдельного респондента соглашаться (или не соглашаться) со всеми суждениями, любые явные ответы по прямой линии могут быть скорее ошибкой инструмента, нежели респондента: просто инструмент не позволяет респонденту выразить различия в его мнениях к суждениям в таблице.

Дизайн самого слайдера должен быть продуман тщательно во избежание смещений, вызванных визуальными образами.

Шкала-слайдер не улучшает существенным образом уровень привлекательности исследования и (по крайней мере, в первое время) увеличивает его длительность.

Наконец, в нашей погоне за привлекательностью мы не должны забывать, что шкалы-слайдеры не сделают затянутые, скучные и монотонные таблицы интересными.

Воздействие интерактивных элементов инструментария на качество данных и удовлетворенность респондентов онлайн опросов

Некрасов Сергей Игоревич (Online Market Intelligence)

Современные информационные и сетевые компьютерные технологии, переводя на новый уровень возможности работы с информацией, производят существенные изменения во всех отраслях знания, в том числе и в маркетинговых исследованиях. Так, компьютерно-опосредованные технологии открывают новые возможности для проведения эмпирических исследований, меняя нынешние представления о доступности респондентов, количестве затрачиваемых на исследование ресурсов, возможности модификации инструментария и т.д. Если еще пару десятилетий назад компьютеры использовались преимущественно для анализа уже собранных данных, то сейчас этот этап далеко не единственный, где проникновение компьютерных технологий является привычным. В этой связи можно обратиться к различным автоматизированным и полуавтоматизированным инструментам сбора данных, например: 1) телефонный опрос с помощью компьютера (CATI); 2) личное интервью с использованием компьютера (CAPI); 3) самозаполняемая при помощи компьютера анкета (CSAQ) и др.

Исследование, проведенное автором данной работы на базе компании OMI, посвящено современным мировым тенденциям в области онлайн опросов, переводящих использование компьютерно-опосредованных технологий на новый уровень. Связано это с общей тенденцией увеличения «собственно онлайновой» фазы в маркетинговых (социологических и т.д.) исследованиях: все больше этапов современного маркетингового исследования проводится с использованием компьютера и веб-сети. Эта закономерность на сегодня однозначно прослеживается на Западе. В современной России мы уже можем наблюдать аналогичную тенденцию: доля онлайн опросов стремительно увеличивается, хотя, разумеется, их проведение еще вряд ли возможно назвать нормой.

В чем причина столь быстрого распространения онлайн опросов? По большому счету, вопрос этот является риторическим: их основные преимущества хорошо известны уже достаточно давно. Одной из наиболее разработанных общепринятых классификаций сильных сторон онлайн опросов является схема, предложенная Дж. Уоттом [1], где упоминаются такие критерии, как скорость, стоимость, простота создания, скорость модификации и др. (см. рисунок 1). С точки зрения этого автора, наилучшие показатели по всем приведенным критериям не просто у онлайн опросов, среди которых можно выделять несколько видов, но у «Специальных систем для проведения онлайн опросов». Эти системы охватывают и автоматизируют практически все этапы исследования, проводимые с их помощью.

Рисунок 1. Основные преимущества онлайн опросов по Уотту*

	Рассылка анкет по Е-mail	Доработанные CATI системы	Доработанные диск-по-почте системы	Веб CGI программы**	Системы для онлайн опросов
Простота создания и внесения изменений	5	3	4	2	5
Простота доступа к предварительным результатам	2	3	4	5***	5
Контроль квот в выборке	2	5	3	5***	5
Проверка валидности данных	2	4	4	5***	5
Требование внимания респондента	5	4	4	4	4
Персонализация опросников	3	3	2	5***	5
Изменения существующего опросника	3	5	4	4	4
Уровень специальной подготовки, необходимый создателю опросника	5	3	4	2	4
Стоимость создания и проведения	5	3	3	2	4 — 5

* Оценка производится по 4-балльной шкале, где 5 — отлично, 2 — плохо. ** Создаваемые под каждую анкету «с нуля». *** Требует дополнительного программирования.

На первый взгляд не менее однозначно дела обстоят и с недостатками онлайн опросов: главный из них заключается в сложностях обеспечения репрезентативности выборки. Именно решению этого вопроса и посвящена значительная часть теоретических и эмпирических работ в данной области.

Тем не менее наряду с повсеместным ростом компьютеризации и быстрым темпом распространения онлайн опросов изменяются и те элементы их методического обеспечения, которые получают внимание исследователей. Обеспечение только лишь репрезентативности было и является, безусловно, оправданным в электоральных опросах, где переход в онлайн использовался главным образом с целью повышения скорости, при практически полном переносе макета опроса на экран в «бумажном виде» [2]. Однако с выходом маркетинговых исследований в онлайн, сопряженным с необходимостью программирования длинных и сложных для респондента анкет, все больше внимания уделяется еще и вопросу воздействия ситуации переноса опроса в среду Интернет на качество данных онлайн опросов. По сути, речь идет о том, насколько различаются данные оффлайновых и онлайн опросов при разном способе реализации последних. Ведь контакт с интервьюером или «бумажной» анкетой полностью заменяется взаимодействием в рамках интернет-среды. Поэтому стоит говорить о «дизайне» онлайн опроса в широком смысле слова как о факторе, воздействующем на качество получаемых данных.

В результате анализа существующих подходов к организации онлайн опросов автором данной работы было предложено в свете рассматриваемой проблематики выделять два основных подхода (см. рисунок 2). В первом из них — информационном — компьютерные технологии предстают исключительно как информационный канал, способ доступа к респонденту. Такой взгляд однозначно доминирует в электоральных опросах и приводит к «бумажному» взгляду на требования к инструментарию. То есть к попытке максимально приблизить вид электронной анкеты к традиционной «бумажной». В рамках второго подхода — виртуального — наоборот, основной акцент делается на адаптации инструментария к интернет-среде и обеспечении за счет этого повышения качества собираемой информации. Инструментарий такого типа мы называем «интерактивным», т.к. он не мог бы быть реализован на бумаге, а может существовать только в качестве динамических интерактивных элементов веб-среды.

Рисунок 2. Подходы к организации онлайн опросов

Обратившись к современным западным работам, посвященным маркетинговым и социологическим онлайн исследованиям, можно отметить значительный рост интереса к проектированию инструментария онлайн опроса (см., например, работы таких авторов, как Манфеда [3], Купер [4; 5], Диллман [6], Буккер [7], Слип [8] и др.). Однако, как и в любой относительно новой теме, в этой области не хватает систематизации и полноты охвата различных ее аспектов. Русскоязычных работ, рассматривающих вопрос дизайна онлайн опроса как элемента веб-среды, практически нет. Соответственно о полноценном осмыслении специфики использования того или иного инструментария для онлайн-опросов в России обоснованно говорить пока невозможно.

Поэтому в данной работе мы предлагаем рассмотреть результаты собственного исследования, посвященного изучению воздействия интерактивного инструментария на качество данных онлайн исследований, а также те практические выводы, которые были получены на его основе. При этом главной целью проведенного исследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса.