Воздействие формы представления вопроса на качество данных мы проверяли на основе пяти табличных вопросов, заложенных в анкете: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из тестируемых в вопросе объектов. В html опросниках все таблицы были выполнены в традиционном «бумажном» виде. Во Flash анкетах использовался интерактивный подход и табличные вопросы задавались с использованием метода drag-and-drop. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.

2.1. Табличные вопросы с одним ответом в строке

В качестве интерактивной альтернативы «классическим» табличным вопросам мы использовали вариант вопроса, где оценка исследуемых объектов могла осуществляться как «перетаскиванием» (метод drag-and-drop), так и «кликом» на соответствующий объект. Визуальная реализация табличных вопросов представлена на рисунках 4–7.

Рисунок 4. Табличный вопрос. Вариант HTML

Рисунок 5. Табличный вопрос. Вариант HTML

Рисунок 6. Табличный вопрос. Вариант Flash с логотипами

Рисунок 7. Табличный вопрос. Вариант Flash с логотипами

Обратившись к результатам анализа временных затрат на табличные вопросы (см. рисунок 8), можно заметить, что, как правило, добавление интерактивных элементов приводит к снижению времени, затрачиваемому на вопрос. Дисперсионный анализ показал, что значимыми оказываются различия между Flash опросником и html вариантом (F_4>425 = 3,022; p = 0,018) и всегда в первом случае время значимо меньше (что полностью согласуется с показателями затрат времени на опрос в целом).

Рисунок 8. Среднее время заполнения табличных вопросов (секунд)

	Вопрос 1	Вопрос 2	Вопрос 3	Вопрос 4
html без логотипов	140,67278	224,92593	150,71361	192,31083
html с логотипами	157,77657	123,87204	165,63343	73,26630
Flash без логотипов	106,53707	138,63131	71,26119	126,06499
Flash с логотипами	129,51899	172,49644	71,50435	126,80157

Для оценки качества ответов в два из пяти табличных вопросов мы добавили вариант ответа, проверяющий внимание респондента, а именно — насколько внимательно он читает варианты ответа на вопрос. Этот момент особенно актуален в случае, когда количество строк в табличном вопросе больше 12–15 и используется для выявления спидстеров — респондентов, склонных к быстрому заполнению анкеты без внимательного прочтения формулировки вопроса и вариантов ответа. Вариант для проверки внимания, например, в одном из тестовых вопросов нашей анкеты был сформулирован так: Это высказывание для проверки Вашего внимания. Пожалуйста, выберите для него вариант «Полностью согласен». Соответственно предполагалось по итогам опроса сравнить показатель качества, рассчитанный на основе этих двух ловушек, и соотнести его со временем заполнения этих же табличных вопросов.

Проверку качества ответов на «варианты-ловушки» мы проводили следующим образом. Использовалось три показателя: первые два относились соответственно к каждой из двух ловушек. То есть в первых двух случаях каждый респондент получал индекс 1 или 0 в случае, когда он успешно преодолел или не преодолел каждую ловушку. Третий был суммой первых двух и, следовательно, мог принимать значения 0, 1 или 2.

По результатам сравнения всех четырех подвыборок по третьему (суммарному) показателю преодоления ловушек значимых различий выявлено не было. (Использовался тест Краскела — Уоллиса, p = 0,136). Следовательно, можно сделать очень важный в свете темы данной работы вывод: по мере роста скорости заполнения анкеты (т.е. при использовании интерактивного инструментария) увеличения доли ошибок по невнимательности не происходило.

Табличные вопросы с возможностью множественных ответов

Отдельно мы хотели бы рассмотреть результаты тестирования интерактивного инструментария применительно к самому сложному из используемых в нашей анкете вопросу — табличному с возможностью множественного выбора. В данном вопросе респонденту предлагалось оценить семь брендов по 18 характеристикам (см. рисунки 9–12). При этом количество характеристик, отнесенных к каждому отдельному бренду, могло варьироваться в пределах от 1 до 18.

Рисунок 9. Табличный вопрос с возможностью множественного выбора. Вариант HTML

Рисунок 10. Табличный вопрос с возможностью множественного выбора. Вариант HTML с логотипами

Рисунок 11. Табличный вопрос с возможностью множественного выбора. Вариант Flash

Рисунок 12. Табличный вопрос с возможностью множественного выбора. Вариант Flash с логотипами

Первое, с чего мы начали анализ, это сравнили среднее количество ответов в исследуемых группах. В итоге во флэш анкетах, где данный вопрос был выполнен в виде модели с перетаскиванием, среднее количество ответов оказалось почти в два раза меньше, при больших затратах времени (см. рисунок 13).

Рисунок 13. Показатели для табличного вопроса с возможностью множественных ответов

	Среднее количество ответов	Среднее время, потраченное на вопрос в целом (секунд)	Среднее время на один ответ (секунд)
html без логотипов	26,91	166,57185	7,9555
html с логотипами	30,65	109,74187	4,7983
Flash без логотипов	17,87	185,41411	13,7239
Flash с логотипами	16,93	163,28340	12,0805

В соответствии со значимыми различиями во времени ответа на вопрос и в количестве выбранных вариантов ответа мы сравнили также и среднее время, затраченное респондентом на каждый ответ. В результате, как и ожидалось, значимые различия между Flash и html опросниками были выявлены и здесь (F3428 = 2,892, p = 0,035).

Как можно было бы проинтерпретировать столь заметную разницу в среднем количестве ответов? С одной стороны, количество ответов при использовании Flash опросника оказалось значимо меньше, чем в обычной таблице, и на первый взгляд это скорее минус, чем плюс. Однако стоит отметить следующее: в опросе участвовали респонденты, ранее неоднократно принимавшие участие в онлайн опросе. Поэтому классический табличный вопрос для них совсем не нов, так как используется он довольно часто. При этом в абсолютном большинстве случаев обязательным условием ответа на такой вопрос является минимум один ответ в строке. В нашем же случае, когда оценивались бренды, они были расположены в столбцах, и именно один ответ в столбце был необходимым минимумом (столбцов было 7, а строк 19). Глядя на очень маленькое среднее время, затрачиваемое на каждый ответ респондентом в случае обычного типа табличного вопроса, можно предположить, что стремление дать ответ в каждой строке у части респондентов сыграло роль в уровне среднего количества ответов. Если это действительно так, то в данном случае относительно новая модель, где нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам, дает даже более достоверные результаты. Однако стоит подчеркнуть, что эта наша интерпретация носит гипотетический характер и требует дальнейших исследований.

Ответы на открытые вопросы и уровень удовлетворенности респондентов

В анкете, которую мы использовали для проведения эксперимента, было два открытых вопроса: один практически в самом начале, другой — в конце. Анализ результатов по первому из них не выявил никаких различий ни в длине среднего ответа (количестве символов), ни во времени, затрачиваемом на вопрос. Анализ данных по второму открытому вопросу позволил выявить некоторые различия. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12–15%. Добавление изображений и логотипов приводило к росту количества символов в ответе в среднем еще примерно на 5%.

С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе. Однако, прежде чем делать какие-либо выводы об уровне удовлетворенности, обратимся к ее прямым оценкам самими респондентами.

При этом форма, в которой задавался вопрос, для html и Flash анкет отличалась в соответствии с тем, использовался ли в опросе обычный «бумажный» инструментарий или интерактивный¹⁵. В первом случае шкала была реализована в виде обычного закрытого вопроса с пятью вариантами ответов; во втором — в виде интерактивного слайдера, также с пятью градациями (см. рисунки 14–15).

В итоге, как и ожидалось после анализа открытых вопросов, уровень удовлетворенности респондентов по прямым оценкам значимо отличался между html и Flash опросниками по результатам дисперсионного анализа (см. рисунок 16): в последних он оказался в среднем выше более чем на полбалла (F4434 = 47,199, p = 0,000).

Рисунок 14. Оценка удовлетворенности. Вариант HTML

Рисунок 15. Оценка удовлетворенности. Вариант Flash

Рисунок 16. Средний уровень удовлетворенности респондентов по прямым оценкам

Заключение. Роль интерактивного инструментария

Полученные результаты в целом согласуются как со сходными исследованиями, так и с нашими предположениями об интерактивных элементах как улучшающих качество данных опроса за счет повышения соответствия динамическим характеристикам веб-среды. Так, использование технологии Flash и интерактивных элементов в анкете, как правило, приводило к значимому снижению времени заполнения анкеты при учете того, что мы добавляли в расчеты и время загрузки вопросов (оно было несколько больше для интерактивных вариантов). Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.

Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее на основе проведенного эксперимента может быть сделан следующий общий вывод: при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов (таких, как табличные) продуманное включение интерактивных элементов в опрос может способствовать повышению качества его данных.

Литература

1. Watt J. H. Using the Internet for Quantitative Survey Research [on-line] // Marketing research review. 1997. № 7. Доступ через. <http://www.unt.edu/rss/class/survey/watt.htm>

2. Докторов Б.З. Отцы-основатели: история изучения общественного мнения / Под ред. М.Я. Мазлумянова. М.: Центр социального прогнозирования. 2006.

3. Manfreda K.L, Batagelj Ъ., Vehovar V. Design of Web Survey Questionnaires: Three Basic Experiments [on-line] // Journal ofComputer-Mediated Communication. 2002. № 3. Доступ через: <http://english.fdvinfo.net>

4. Couper M.P. Web Surveys: A Review of Issues and Approaches // Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464–494.

5. Couper M.P, Traugott M.W., Lamias M.J. Web Survey Design and Administration // Public Opinion Quarterly. 2001. № 2. P. 230–253.

6. Dillman, D.A., Tortora R.D, Bowker D. Principles for Constructing Web Surveys [on-line] // SESRC Technical Report. 98–50. Pullman. Washington. 1998. Доступ через: <http://survey.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf >

7. Bowker, D, Dillman, D. A. An experimental evaluation ofleft and right oriented screens for Web questionnaires // <http://survey.sesrc.wsu.edu/dillman/papers/ AAP0Rpaper00.pdf>. 2000.

8. Sleep D, Puleston J. Panel quality: Leveraging interactive techniques to engage online respondents // Conference paper — ARF convention & expo. 2009.

9. Gunn H. Web-based surveys: Changing the survey process [on-line] // First Monday. 2002. № 7. Доступ через: <www.unt.edu/rss/class/survey/gun.html>

Качественные онлайн исследования¹

Дим Петер («ГфК-Австрия», Австрия)

¹ Перевод статьи выполнен Давыдовым С.Г., «ГфК-Русь»

Цель настоящей статьи — дать общее описание практики качественных маркетинговых исследований с использованием Интернета. За последнее десятилетие онлайн методики зарекомендовали себя в качестве оперативных и экономичных средств изучения рынков и общественного мнения. Это стало возможно благодаря росту числа потребителей, с которыми можно установить контакт через Сеть. Рисунки 1 и 2 наглядно демонстрируют, что Интернет можно использовать для исследования не только развитых рынков Северной и Западной Европы, но также Центральной, Южной и Восточной Европы, где проникновение Интернета на данный момент весьма существенное.

Рисунок 1 Рисунок 2

В Польше, например, Сетью пользуются 52% взрослого населения, то есть 16,6 миллиона жителей. В большинстве Балканских государств ежедневно выходят в Интернет около трети граждан. В Российской Федерации показатель проникновения равен 26%; однако, принимая во внимание численность населения, можно констатировать, что Интернет в этой стране охватывает более 30 миллионов человек.

Столь впечатляющие показатели не могли не вдохновить маркетинговых исследователей на разработку разнообразных количественных интернет-методик. Существует множество программных решений для формирования электронных анкет и администрирования панелей. Компании — лидеры рынка маркетинговых исследований поголовно предлагают реализацию количественных онлайн проектов на базе предоставляемых клиентом списков адресов электронной почты или «панели доступа» (access panel). Некоторые фирмы специализируются на продаже заказчикам выборок, для построения которых используются огромные международные панели; таким образом, появляется возможность доступа к очень специфическим целевым группам. В связи со снижением эффективности телефонных опросов более 40% маркетинговых исследований в Соединенных Штатах реализуются через онлайн. Каждое третье интервью проводят в онлайн режиме. Тем не менее многие индустриальные клиенты по-прежнему не желают пользоваться такими преимуществами интернет-исследований, как оперативность, возможность демонстрации мультимедийного контента и сравнительно низкая стоимость. Основной аргумент противников онлайна заключается в том, что последний может обеспечить контакты только с частью населения. При этом игнорируются несколько важных факторов.

1. Пользователи Интернета — в основном высокообразованная, более молодая и довольно состоятельная часть населения, то есть наиболее интересная целевая аудитория, если идет речь о выпуске новой продукции.

2. Онлайн исследования «бизнеса для бизнеса» («B2B») позволяют установить связь практически со всеми потенциальными респондентами.

3. Многие актуальные исследовательские направления — включая опросы сотрудников предприятий и членов профессиональных ассоциаций, исследования удовлетворенности клиентов — построены на базах адресов электронной почты, предоставляемых заказчиками.

4. Для некоторых исследований, например тестов образцов рекламы («победители — всегда победители, а проигравшие — всегда проигравшие») или качественных подходов, требуется лишь небольшое число респондентов.

В наши задачи не входит подробное рассмотрение сферы практического использования количественных онлайн исследований. Решение проблемы репрезентативности может быть связано с тщательной проработкой процедуры взвешивания, однако решающими аргументами в пользу Интернета как средства коммуникации с респондентами могут стать использование мультимедийного контента, скорость реализации и стоимость проекта. Аналогичные аргументы можно привести в защиту качественных онлайн исследований.