Исходя из основной гипотезы нашего исследования, предполагалось, что варьирование составляющих макета онлайн опроса может сказаться на изменении качества получаемых данных. При этом при определении понятия качества мы исходим из общепринятого применительно к онлайн опросам списка параметров данных (см., например, [3; 5; 9] и др.), которые при этом прямо восходят к стандартной классификации источников систематических ошибок. Единственный элемент, который был нами исключен, — это ошибка выборки. Такое решение связано с целью исследования, при которой выборка и ее организация не являются анализируемым фактором. В результате под качеством данных онлайн опроса нами будут пониматься:

1. Ошибка неответов (non-response error):

1.1. Незавершенный опрос (partial non-response)¹³.

1.2. Пропущенные вопросы (item non-response); т.к. в большинстве современных опросников, пропустив вопрос, нельзя перейти к следующему, в данную категорию иногда относят количество выбранных вариантов «затрудняюсь ответить», а также неприемлемых ответов (например, случайные буквенные сочетания вместо ответа на открытый вопрос).

2. Ошибка измерения (measurement error) как отклонение полученных ответов от их реального значения:

Общие требования валидности и надежности.

«Правдоподобие» ответов:

– Выявление заведомо ложных данных (например, введенных не в том формате).

– Отсев спидстеров (респондентов, время прохождения опроса которыми слишком мало для сознательного заполнения анкеты).

3. Удовлетворенность пользователей и ее связь с ошибками неответов и измерения

Прямые оценки: на основе вопросов о том, насколько им понравился этот опрос (часто добавляют в конце опроса).

Косвенные оценки:

– Время, потраченное на опрос в целом и на отдельные вопросы.

– Количество символов в ответах на открытые вопросы.

– Ответы на необязательные для заполнения вопросы.

Из всех приведенных параметров качества данных отдельного пояснения заслуживает включение удовлетворенности респондентов в этот список. Отметим, что понятие «удовлетворенности» в данном случае отнюдь не является абстрактной характеристикой. Наоборот, оно прямо связано с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Причем, как мы полагаем, достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом. Хотя, разумеется, сама удовлетворенность респондента формируется не только на рассматриваемом в данной работе этапе опроса, однако ее уровень согласно нашим предположениям может быть полностью сформирован самим процессом опроса в веб-среде.

Описание схемы эксперимента

Эксперимент, который был нами проведен, включал опрос 432 жителей городов-миллионников в возрасте от 16 до 44 лет.

При планировании схемы эксперимента мы исходили из трех основных мотивов.

Во-первых, необходимо максимально использовать результаты уже проведенных тестов в данной области [см. 3; 6; 8 и др.].

Во-вторых, нужно реализовать такую схему эксперимента, по результатам которой можно было бы делать обоснованные выводы о разном (или одинаковом) уровне качества данных с использованием или без использования интерактивного инструментария. В итоге в качестве такой схемы нами была выбрана модель дисперсионного анализа (в рамках общей линейной модели, general linear model).

Наконец, в-третьих, необходимо позаботиться о том, чтобы экспериментальные данные были получены на основе работы с полноценными, жизнеспособными системами онлайн опросов, а не просто с некими индивидуально запрограммированными анкетами.

Последний пункт, пожалуй, требует отдельного пояснения. По большому счету, казалось бы, ничто не мешало нам провести эксперимент на основе индивидуально запрограммированных в единственном экземпляре анкет двух разных типов (с интерактивным инструментарием и без него), а затем сравнить результаты. Однако, возвращаясь к классификации основных преимуществ онлайн опросов по Уотту (см. рисунок 1), мы бы хотели еще раз подчеркнуть различие между «системами для проведения онлайн опросов» и индивидуально запрограммированными анкетами. Последние позволили бы проводить экспериментальное сравнение на «идеальных типах» онлайн опросников, в которые можно заложить любые параметры. Однако при таком решении мы бы упустили, что перед нашим исследованием были поставлены и практические задачи. Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость и степень пригодности для «систем онлайновых опросов» отдельных элементов нашего инструментария. В то же время, именно говоря о системе опросов, мы можем сохранить очень значимые преимущества онлайн опросов, которые отмечаются в любой работе, их затрагивающей: это скорость, стоимость, возможность модификаций и т.д. Никакие преимущества в качестве или удовлетворенности респондентов не могли бы рассматриваться как «значимые» для улучшения схемы онлайн опросов, если бы они привели к отказу от общепринятых преимуществ.

В итоге в качестве первого исследуемого фактора нами был выбран способ технической реализации онлайн опросника: 1) стандартный, написанный на html опросник, который соответствовал бы «бумажному» инструментарию; 2) Flash опросник, позволяющий легко интегрировать любые графические и мультимедийные элементы и соответствующий интерактивному инструментарию. При этом первая модель — html — была реализована на одной из самых используемых в мире систем для маркетинговых опросов (Net-MR от компании GMI). Вторая — на собственной платформе для Flash опросов, которая была подготовлена автором данной статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований и по всем уровням — трудоемкости, скорости, гибкости и т.п. — оказалась сравнима с известными нам международными аналогами.

В дополнение к техническому способу реализации опросника мы добавили еще один фактор — использование или неиспользование логотипов и изображений в анкете. Связано это с гипотезой о том, что в обычных оффлайновых опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что в веб-среде различные сопровождающие текстовое содержание изображения являются «нормой» и поэтому имеет смысл проверить воздействие их присутствия на данные опроса¹⁴. Наша гипотеза, как и в случае с интерактивным инструментарием, заключалась в ожидании положительного воздействия на качество данных от использования графических элементов в анкете.

Таким образом, в эмпирическом исследовании сравнение различных опросников проводилось нами на основе данных четырех опросов, выполненных по одной и той же по содержанию анкете. При этом общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:

1. html без логотипов;

2. html с логотипами;

3. Flash без логотипов;

4. Flash с логотипами.

Что касается соотнесения выбранной схемы эксперимента с теми исследованиями, что нам удалось обнаружить в литературе, то отметим следующее: единственными авторами, из тех, которых нам удалось найти, публикующими результаты методических исследований графических элементов в онлайн опросах, полученных с полноценной статистической оценкой, были М. Купер, М. Трауготт и М. Лэмиас (см, например, [5]). Однако стоит отметить, что в фокусе их анализа была фактически проверка работы уже известных для традиционных опросов закономерностей и способов составления анкеты в онлайн среде. Так, изучение табличных вопросов и выгодности их использования в онлайне осуществлялось на основе сравнения таблиц с одной стороны и серии простых вопросов — с другой. Т.е. авторы в первом случае задавали табличный вопрос, а во втором — разбивали его на столько простых, сколько строк в таблице (при условии одного ответа в строке). Вывод, который в таком случае был сделан, по большому счету, сводится к заключению о выгодности использования таблиц и в онлайне тоже.

При выборе собственного экспериментального плана мы пошли несколько дальше: скажем, на примере тех же табличных вопросов, цель нашего тестирования заключается в сравнении различных форм их представления, в том числе с привлечением интерактивных элементов и метода drag-and-drop.

С графическими элементами ситуация во многом схожа: по-настоящему интересные с практической точки зрения работы (и по актуальности решаемых задач) встречаются редко и только в иллюстративных маркетинговых статьях (см., например, [8]). В них же, как известно, слабая сторона — это не сомнение в получаемых выводах, а скудность описания и обоснования схемы эксперимента. Кроме того, даже в подобных статьях нам не удалось обнаружить серьезного сравнения флэш анкет с обычными.

Что касается проверки различий в качестве данных и уровне удовлетворенности респондентов, то здесь мы, опираясь на технические возможности Flash платформы, использовали следующие критерии для сравнения с html опросами (зависимые переменные в экспериментальном плане):

1. Время заполнения анкеты в целом;

2. Время заполнения отдельных (контрольных) вопросов;

a. Табличных;

b. Открытых;

3. Успешность преодоления «ловушек» на внимательность прочтения вариантов ответа к вопросу (см. описание используемого для сравнения показателя ниже);

4. Количество символов в открытых вопросах;

5. Количество выбранных вариантов ответов в вопросах с множественным выбором;

6. Прямые оценки удовлетворенности респондентов различными аспектами опроса:

a Графическим оформлением анкеты;

b. Темой опроса;

c. Длиной опроса;

d. Опросом в целом.

Основные результаты