Литература
1. Toepoel V, Das M, and A. Van Soest. Effects ofDesign in Web Surveys: Comparing Trained and Fresh Respondents // Public Opinion Quarterly. 2008. Vol. 72(5). P. 985–1007; doi:10.1093/poq/nfn060.
2. Schonlau M, Van Soest A, Kapteyn A, Couper M. Selection Bias in Web Surveys and the Use ofPropensity Scores // Sociological Methods and Research. 2009. Vol. 37. # 3 (February). P. 291–318; doi:10.1177/0049124108327128.
3. Nathan G. Internet Surveys // Encyclopedia of Survey Research Methods. 2008. SAGE Publications. 20 Mar. 2009. <http://www.sage-ereference.com/survey/Article_n234.html>.
4. Barchard K. A, Williams J. Practical Advice for Conducting Ethical Online Experiments and Questionnaires for United States Psychologists // Behavior Research Methods. Vol. 40. # 4. P. 1111–1128. doi: 10.3758/BRM.40.4.1111.
5. Девятко И. Ф. Причинность в обыденном сознании и в социологическом объяснении: контуры нового исследовательского подхода / / Социология: 4М (методология, методы, математическое моделирование). 2007. № 25. С. 5–21.
6. Coleman J. S. Relational Analysis: The Study ofSocial Organization with Survey Methods // Human Organization. 1958–1059.Vol. 17. P. 28–36.
7. Goodman L. A. Snowball Sampling // Ann. Math. Statist. 1961. Vol. 32. # 1. P. 148–170.
8. Heckatorn D. Respondent-Driven Sampling: A New Approach to the Study of Hidden Populations // Social Problems. 1997. Vol. 44. P. 174–199.
9. Salganik M. and D. D. Heckatorn. Sampling and Estimation in Hidden Populations Using Respondent-Driven Sampling // Sociological Methodology. 2004. Vol. P. 193–239.
10. Weinert C, Heckathorn D.D. Web-Based Net Sampling: Efficiency and Efficacy ofRes- pondent-Driven Sampling for Online Research // Sociological Methods and Research. 2008. Vol. 37. #1 (August). P. 105–134. doi: 10.1177/0049124108318333.
11. Wray R Facebook aims to market its user data bank to businesses // Guardian. Sunday, February 1, 2009. http://www.guardian.co.uk:80/business/2009/feb/01/facebook-seeks- to-exploit-user-information.
12. Lazarsfeld P. F. Radio and the Printed Page: An Introduction to the Study ofRadio and Its Role in the Communication ofldeas. New York: Duell, Sloan and Pearce, 1940.
13. Lazarsfeld P. F, Merton R K. Mass Communication, Popular Taste and Organized Social Action / / Lyman Bryson, ed. Communication of Ideas. New York: Harper & Brothers, 1948. P. 95–118.
14. Lazarsfeld P. F, Berelson B, and H. Gaudet. The People's Choice: How the Voter Makes Up His Mind in a Presidential Campaign. New York: Duell, Sloan and Pearce, 1944.
15. Lazarsfeld P., and E. Katz. Personal Influence: The Part Played by People in the Flow of Mass Communications. Glencoe, IL: Free Press, 1955.
Борьба за качество и надежность данных в онлайн исследованиях.
Мавлетова Айгуль Маратовна (Online Market Intelligence)
По мере увеличения количества онлайн панелей в западных странах заказчики онлайн исследований начали выражать сомнения относительно качества полученных данных. В 2006 году компания Comscore Networks выступает на конференции CASRO с шокирующим по содержанию для исследовательской области докладом, в котором утверждается, что более 30% онлайн исследований проводятся на основе опроса всего 1% населения. Проблема связана со множественным членством респондентов в панелях. Уже в 2005 году Пит Кумли, председатель компании Virtual Surveys, фиксирует, что более 75% панелистов являются участниками трех и более панелей [1]. Ник Спэрроу предполагает, что панельные провайдеры должны находить новые источники рекрутирования респондентов, не используемые другими компаниями, для того чтобы минимизировать количество профессиональных респондентов. Однако в любом случае, уверен Н. Спэрроу, «незатронутые другими компаниями респонденты останутся членами одного проекта только до тех пор, пока не поймут, что можно заработать больше денег, присоединяясь к еще ряду онлайн панелей» [2, p. 182]. Проблема усугубляется тем, что панелисты регистрируются не только в нескольких панелях одновременно, но и в одной панели под разными именами и электронными почтовыми ящиками.
Другим источником ошибки выступает эффект от постоянного участия в опросах (так называемый эффект «приспособления» — panel conditioning). Эффект состоит в том, что ответы тех людей, которые принимают участие в опросах на регулярной основе, отличаются от ответов респондентов, принимающих участие в опросе впервые. Можно предположить, что сам факт участия респондента в панельных исследованиях оказывает влияние на ответы, оценки и поведение индивидов. Рег Бейкер приводит пример исследования, проведенного компанией General Mills на основе построения двух выборок одной онлайн access-панели. Проблема оказалась в том, что в двух выборках были обнаружены прямо противоположные результаты. Исследователи General Mills предположили, что одним из наиболее значимых факторов, повлиявших на результаты, был опыт участия респондентов в панели: в выборке, в которой индивиды имели меньший опыт участия в опросах, отнеслись к тестируемой концепции положительно в противоположность второй выборке, в которой опыт участия респондентов в панели был более продолжительным [3].
Третья проблема видится в респондентах, некачественно заполняющих анкеты. Отсутствие фигуры интервьюера, который не только ведет интервью, но и проверяет искренность респондента на основе наблюдений за поведением опрашиваемого, приводит к введению технологических проверок за ответами респондентов в онлайн анкетах. В целом, по данным исследованиям Harris Interactive, около 75% респондентов допускают как минимум одну ошибку в опросе [4, p. 1]. Каким же образом можно убедиться, что респондент действительно читал вопросы и внимательно заполнял анкету, если нет фигуры интервьюера, выполняющего функцию визуального контроля над процессом заполнения анкеты? Данный вопрос и по сей день волнует многих заказчиков онлайн исследований.
Каковы основные решения в области качества данных в онлайн опросах, которые предлагают международные панельные провайдеры на сегодняшний день? В данной обзорной статье мы рассмотрим вопросы и предлагаемые решения, которые обсуждались на конференции CASRO (Council of American Survey Research Organizations) по онлайн панелям 2009 года. Мы рассмотрим основные методологические работы, представленные на конференции.
Вопросы качества данных и управления полевым проектом
Третий блок представленных работ был посвящен вопросам управления проектом. В нем можно выделить следующие темы:
— локауты, или временные периоды «карантина»;
— оптимальное время для проведения полевых работ: нет ли смещения в результатах опроса, если поле проходит в течение 48 часов?
Филипп Гарланд (SSI), Дебра Сантас и Рена Уппал (Ipsos Interactive Services) в докладе «Локауты: не слишком ли мы предусмотрительны?» рассматривают как несоблюдение локаутов может влиять на качество полученных данных [12].
Многие панельные провайдеры вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории. Какова может быть цена локаутов? Во-первых, они порождают негативный опыт в той степени, в которой панелисты получают меньшее количество приглашений. Во-вторых, они уменьшают количество подходящих под критерии опроса респондентов, соответственно, уменьшают возможное количество набранных интервью.
Исследователи из SSI и Ipsos Interactive Services задают два основных вопроса:
— Действительно ли локауты помогают улучшить качество данных, а несоблюдение временного «карантина» является источником ошибки?
— Если следует вводить «карантин», то какой временной период должен быть утвержден?
Для ответа на эти вопросы исследователи провели эксперимент с тремя экспериментальными и одной контрольной группой. Все респонденты рекрутировались посредством случайного телефонного опроса (RDD) и опрашивались через Интернет. В контрольной группе опрос проводился один раз, в экспериментальных группах один и тот же опрос проводился с разной частотой на протяжении 5 недель. В экспериментальной группе №1 опрос проводился раз в неделю, группе №2 — два раза в неделю, группе №3 — раз в месяц.
Проанализировав результаты эксперимента, исследователи не обнаружили статистически значимых различий между группами как в вопросах о знании продуктов, потребительском поведении (пользование брендами, продуктами), так и в вопросах медиапредпочтений и социально-политических установок. Проверив влияние участия в опросах на валидность и надежность данных, исследователи выявили, что коэффициент альфа Кронбаха оказался немного ниже в экспериментальных группах 1 и 2, что свидетельствует об уменьшении надежности данных при увеличении частоты участия в одном и том же опросе. Кроме того, в экспериментальных группах оказалось немного больше ответов «Затрудняюсь ответить» и отказов от ответа. Однако несмотря на это Филипп Гарланд, Дебра Сантас и Рена Уппал не получили доказательств того, что несоблюдение локаутов влияет на ответы респондентов и качество полученных данных.
Дон Эмброуз и Кэри Муайер (Consumer Contact) в докладе «Запоздавшие респонденты: влияют ли они на данные?» рассматривают, как отведенное время на полевые работы влияет на полученные данные [13]. Исследователи провели эксперимент с контрольной группой, в которой поле продолжалось на протяжении 10 дней, и экспериментальной группой, в которой поле длилось в течение 48 часов. Авторы делают выводы, что в целом респонденты не различались по региону и полу, однако немного различались по возрасту. Последнее можно контролировать посредством введенных квот или применения взвешивания. Главный вывод работы — данные, полученные за 48 часов, — статистически значимо не отличаются от данных, полученных за 10 дней. «Если поле проходит дольше 2–3 дней, это не улучшает качества полученных данных», — заключают Дон Эмброуз и Кэрри Муайер.
Итак, результаты исследований показывают: нет доказательств того, что введение локаутов, а также увеличение времени для проведения полевых работ увеличивают качество данных в онлайн опросах.
Заключение
Что ожидает маркетинговую индустрию онлайн исследований в ближайшем будущем? Участники CASRO предполагают, что будущее — за мобильными онлайн панелями, за построением онлайн выборок, состоящих из разных источников рекрутирования, за множеством технологических новаций, которые позволят идентифицировать повторное или невнимательное заполнение опроса респондентом, за более красивым дизайном онлайн анкет и, хотелось бы в это верить, за более интересным исследовательским инструментарием.
Литература
1. Comley P. Understanding the online panelist // Paper presented at the Annual ESOMAR World Research Conference. 2005.
2. Sparrow N. Quality issues in online research // Journal of Advertising Research. 2007. Vol. 47. No. 2. P. 179–182.
3. Baker R. Caught in the Web // Research World. June 2008. P. 9–11.
4. Smith R., Brown H. Assessing the quality ofdata from online panels: Moving forward with confidence. 2005. P. 1–5. [online] <http://www.hisbonline.com/pubs/ HI_Quality_of_Data_White_Paper.pdf>
5. Carlin C, Eidson S. The compensation structure of panels // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.
6. CourtrightM. The Devil is in the data. A respondent classification analysis comparing the best and worst survey respondents // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–11.
7. Miller J., Baker-Prewitt J. Beyond «trapping» the undesirable panelist — the use of red herrings to reduce satisficing // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.
8. Davis. S, Drolet J., Butler A. The survey «burden» factor: How many important is respondent's perception of survey length // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–10.
9. Gettelman S, Trimarchi E. On the road to clarify: Differences between sample sources // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–27.
10. Petit A., Chadwick S. The complement ofsocial networks and market research // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.
11. Luck K. Data quality considerations when utilizing a multi-sourced sample approach // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–8.
12. Garland P., Santus D, Uppal R. Survey lockouts: Are we too cautious? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–4.
13. Ambrose D, Ripley G, Moyer C. Late responders... do they matter? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.
Влияние заинтересованности панелистов на качество данных
Шашкин Александр Владимирович (Online Market Intelligence)
Онлайн исследования проводятся в мире уже более 15 лет, и все эти годы ведутся споры о качестве выборок и данных онлайн опросов. Профессиональные ассоциации (такие как ESOMAR, CASRO и ARF) издают специальные руководства по проведению исследований с использованием Интернета. Основная цель этих документов — описать инструменты, позволяющие снизить влияние источников выборки и методики сбора данных на качество получаемой информации. Вопросы качества также становятся основным предметом обсуждения на конференциях, посвященных онлайн исследованиям; на эту тему написан целый ряд статей и книг. Вместе с тем в большинстве этих дискуссий практически не затрагиваются вопросы взаимоотношения и коммуникации с участниками онлайн панелей — людьми, регулярно отвечающими на вопросы анкет через Интернет. Наш практический опыт проведения онлайн исследований позволил предположить, что падение процента отклика (Response Rate) и недобросовестное поведение участников онлайн панелей происходит не из-за нежелания людей принимать участие в опросах общественного мнения, их пассивности или отсутствия интереса. В погоне за мнениями о других мы нередко забываем спросить, что люди думают о нас. Результаты регулярного исследования удовлетворенности участников панели Anketka.ru компании Online Market Intelligence (OMI) помогут нам понять, «чем живут» панелисты, как они оценивают свой опыт и как меняется их отношение к проекту с течением времени. Суть нашей статьи заключается в том, что можно бесконечно придумывать изощренные методы и технологии контроля качества онлайн данных (вопросы-ловушки, цифровые отпечатки пальцев и прочее), но если не уважать фундаментальные права респондентов, не общаться с ними, не прислушиваться к их мнению и не выстраивать адекватную систему вознаграждения, эти усилия будут тщетны. На действия администрации панелей люди отвечают «симметрично»: любые ошибки и недоработки приводят к тому, что добросовестные респонденты (участвующие потому, что им нравятся опросы, или потому, что они хотят помочь производителям) покидают панели; остаются лишь те, кто участвует ради денег. Практика показывает, что именно респонденты, мотивированные заработком в Интернете, более склонны к недобросовестным действиям: созданию множества учетных записей, заполнению анкет вслепую, искажению информации о себе для прохождения анкет-фильтров и так далее.
Эмпирическая база данной статьи состоит из результатов исследования удовлетворенности участников онлайн панели Anketka.ru. Потребительская онлайн access-панель Anketka.ru была запущена в России в октябре 2007 года. До конца 2007 года панель находилась в стадии формирования, а среди участников проводилось сравнительно небольшое число исследований (в среднем менее одной заполненной анкеты в месяц на члена панели). В этот период впечатление участников о проекте базировалось главным образом на опыте пребывания на панельном портале. В начале февраля 2008 года мы провели первое исследование удовлетворенности участников панели (метод: онлайн опрос, случайная выборка N = 650, Россия). Позже панель стала использоваться все чаще (но тем не менее была далека от избыточного использования), и у людей сформировался опыт заполнения анкет и общения с панельной администрацией. Вторая волна исследования удовлетворенности была проведена в мае 2008 года; затем замеры стали регулярными и проводились ежеквартально. На момент написания статьи самыми свежими данными были результаты июльской волны 2009 года. Таким образом, у нас появилась уникальная возможность проследить изменения в восприятии панельного проекта его участниками с момента создания. Так как основные тенденции носят выраженный и постоянный характер, мы не будем приводить данные всех волн, а дадим только наиболее контрастные сравнительные результаты по первой и последней (шестой) волнам исследования.
В качестве дополнительных материалов будут использованы мнения участников различных панелей, собранные на основном форуме «профессиональных респондентов» в сети Интернет: www.oprosy.info, а также результаты регулярного наблюдения за деятельностью различных панельных провайдеров на российском рынке. Для анализа технологий и инструментов, способствующих формированию заинтересованности респондентов, будут использованы примеры панельных проектов Anketka.ru, AvtoOpros.ru и ITOpros.ru
Логика нашей статьи будет следующей: мы начнем с анализа мотивации членов онлайн панели Anketka.ru, а затем предложим базовую типологию участников панелей. После этого мы обсудим опасности, связанные с высокой долей финансово мотивированных респондентов в панелях, а также обозначим ключевые задачи панельного менеджмента. Далее мы попытаемся понять, какие свойства панели важны для разных типов респондентов, а также рассмотрим составляющие негативного опыта панелистов и обозначим основные способы их минимизации. Отдельный раздел статьи будет посвящен роли панельных порталов в процессе управления панелями. Включенное наблюдение за деятельностью различных панельных провайдеров на российском рынке позволит нам классифицировать и описать ключевые ошибки менеджмента панелей и предложить адекватные варианты решения связанных с этим задач. В статье также будут описаны некоторые используемые практические приемы, позволяющие повысить заинтересованность участников панелей и собирать качественную информацию.
Мотивация участников панели
Вопрос мотивации панелистов достаточно подробно освещается в современной литературе [см., например, 1, 2]. Основной вывод этих исследований состоит в том, что участники панели мотивируются, как правило, причинами, связанными с социальной включенностью и ответственностью (высказывая свое мнение, люди помогают улучшать продукты и услуги). В мотивации панелистов значимую роль играет любопытство и желание развлечься, а не только материальное поощрение участия в чистом виде [2, с. 113–114]. Результаты нашего исследования удовлетворенности участников панели Anketka.ru также подтверждают эти предположения (см. таблицу 1).
Таблица 1. Основные причины участия в панели Anketka.ru.
| Какова основная причина Вашего участия в проекте Анкетка? | Волна 1 (февраль 2008), % | Волна 6 (июль 2009), % |
| [1] Мне нравится выражать свое мнение | 14,3 | 15,2 |
| [2] Я хочу участвовать в благотворительности | 1,1 | 1,6 |
| [3] Я хочу заработать деньги | 17,3 | 16,0 |
| [4] Я хочу, чтобы производители считались с моим мнением | 23,2 | 25,7 |
| [5] Мне интересно принимать участие в опросах | 28,8 | 28,1 |
| [6] Мне нравится узнавать о новинках на рынке | 3,3 | 5,8 |
| [7] Мне интересен этот проект | 9,1 | 5,3 |
| [8] Другие причины | 0,5 | 0,6 |
| [9] Не знаю | 2,4 | 1,7 |
| ВСЕГО | 100 | 100 |
Принимая во внимание основные причины, по которым люди присоединяются к панели, можно предложить следующую базовую типологию участников:
1) «любопытные» — эта группа объединяет людей, участвующих в панели ради интереса и развлечения;
2) «ответственные» — члены этой группы хотят помочь производителям улучшить качество продуктов и услуг, а также заниматься благотворительностью;
3) «прагматичные» — эти люди заполняют опросы, прежде всего чтобы заработать деньги.
Согласно результатам нашего исследования, в панели преобладают «любопытные» участники (причины №1, 5, 6, 7) — их общая доля составляла 55,5% в первой волне проекта и осталась стабильной (54,4% в шестой волне). Доля «ответственных» панелистов (причины №2 и 4) составляла чуть менее четверти опрошенных (24,3%) в первой волне, с течением времени «ответственных» панелистов стало немного больше (27,3%). Доля «прагматичных» респондентов (причина №3) на заре существования панели составляла 17,3%; в ходе развития проекта она уменьшилась до 16%.
Приведенная типология имеет ряд важных особенностей:
1) доли каждого из описанных типов участников могут сильно отличаться в различных панелях. Преобладание людей того или иного типа зависит от многих факторов, главными из которых являются:
— характер и источники рекрутирования панели;
— особенности мотивации участников и управления панелью;
— качество и частота коммуникации с панелистами (на панельном портале, в анкетах, сообщениях администрации, новостных бюллетенях и т.д.);
2) доли респондентов различных типов меняются с течением времени. При адекватном менеджменте панели доля «прагматичных» респондентов имеет тенденцию к снижению, а доля «ответственных» — к росту;
3) мотивация участников панелей практически не зависит от пола и возраста.
Перед тем как перейти к более глубокому анализу мотивации панелистов, нам бы хотелось более пристально взглянуть на «прагматичных» респондентов. По мнению большинства исследователей, именно они представляют наибольшую опасность.
«Прагматичные» респонденты: в чем опасность?
По мнению Андрея Постоаки, большая доля панелистов, участвующих в опросах только ради денег, «должна, как правило, вызывать вопросы и опасения всех компаний, занимающихся маркетинговыми исследованиями, которым небезразлично качество их панелей» [2, c. 114].
Почему высокая доля прагматичных респондентов должна настораживать панельных провайдеров и их заказчиков? Все дело в том, что людям, участвующим в опросах ради денег, более свойственно недобросовестное поведение.
Умников, желающих нагреть руки на онлайн опросах, действительно находится довольно много: ежедневно форум посещают несколько сотен человек. Анализ суждений этих людей на форуме позволяет обозначить основные причины того, почему «прагматичные» респонденты вызывают наибольшие опасения:
Негативный опыт панелистов
Следующий ключевой вопрос нашего исследования касается свойств панели, которые не нравятся ее участникам. Понимание негативного опыта респондентов позволяет провайдеру искать пути по его минимизации. В талице 4 приведены распределения ответов на вопрос: «Что вам не нравится в проекте «Анкетка»?»
Таблица 4.Что не нравится участникам панели?
| Что Вам не нравится в проекте Анкетка? | Волна 1,% | Волна 6, % |
| [1] Предварительный отбор перед каждым опросом | 33,9% | 42,5% |
| [2] Слишком длинные анкеты | 25,5% | 12,7% |
| [3] Приглашения к участию в опросах приходят недостаточно часто | 25,5% | 29,6% |
| [4] Необходимость оставлять личную информацию | 13,5% | 15,5% |
| [5] Формулировки вопросов | 5,1% | 14,3% |
| [6] Темы опросов | 3,1% | 11,8% |
| [7] Дизайн сайта | 3,1% | 6,4% |
| [8] Работа сайта | 2,8% | 7,2% |
| [9] Другие причины | 6,3% | 3,4% |
| [10] Все нравится | 14,0% | 11,3% |
| [11] Не знаю/ Затрудняюсь ответить | 20,1% | 9,9% |
Согласно результатам исследования, основной негативный опыт респондентов связан с процессом отбора участников опроса — скринингом или прохождением анкеты-фильтра. Не секрет, что целевые аудитории заказчиков все реже определяются только социально-демографическими характеристиками. Нередко опросить нужно пользователей тех или иных товаров и услуг или планирующих ими воспользоваться. В описаниях выборки все чаще встречается квотирование по маркам используемых продуктов, а также отбор респондентов на основе психографических характеристик. Это приводит к тому, что респондент перед переходом к основной анкете заполняет довольно объемную (до 20 вопросов) анкету-фильтр. Если выясняется, что человек не подходит под заданные характеристики, он получает соответствующее сообщение и не может продолжать опрос. В среднем на одну полностью заполненную анкету приходится 5–7 анкет, в которых респонденты не проходят скринер. Данное соотношение имеет тенденцию к увеличению; вместе с ним растет и доля участников панели, недовольных предварительным отбором (с 33,9 до 42,5% в первой и шестой волнах соответственно).
В данной статье мы не будем подробно останавливаться на способах минимизации негативного влияния процесса предварительного отбора на удовлетворенность панелистов. Укажем лишь основные из них: выплата небольшого вознаграждения отскринированным панелистам («плата за лояльность»); розыгрыши призов среди участников панели, которые часто не проходят отбор; различные варианты сокрытия факта скринирования (например, использование формулировки «вы прошли короткую версию анкеты» вместо «вы не подошли для участия» в сообщении о негативном результате скринирования) и т.п.
Кроме «пассивных» способов борьбы с негативным опытом скринирования, существуют и «активные», целью которых является сбор максимально подробной информации о каждом участнике панели, что позволяет таргетировать приглашения к опросам на целевую аудиторию, а значит, уменьшать долю участников, не прошедших предварительный отбор. Данной цели прежде всего служит профильная анкета, которую люди заполняют при регистрации в панели. Однако данные профили достаточно быстро устаревают и требуют регулярного обновления. Как показывает практика, даже простота процесса обновления профиля и периодические напоминания о необходимости это сделать не всегда позволяют добиться желаемого результата.
Также существуют и более передовые техники для ad hoc профилирования целевой аудитории. Помимо добавления новых характеристик и обновления персонального профиля панелистов по результатам каждого из проведенных исследований, все большую популярность приобретает инструмент под названием «экспресс-опрос» на панельном портале. Провайдер панели имеет техническую возможность отслеживать ID панелистов, принимающих участие в экспресс-опросах, а значит, ответы на эти мини-анкеты могут быть совмещены с индивидуальными характеристиками панелистов (профилем), оставленными при регистрации. Такой подход помогает решать следующие задачи:
— приглашать к участию в исследованиях панелистов, которые дали определенные ответы в экспресс-опросе;
— добавлять профильную информацию каждого респондента к ответам на экспресс-опросы, таким образом превращая один вопрос в исследование с более чем 100 вопросами;
— точно предсказывать уровень достижимости (пенетрации) труднодоступных целевых аудиторий.
Экспресс-опросы позволяют поддерживать коммуникацию с панелистами двумя способами: во-первых, они уменьшают негативный эффект предварительного отбора и создают активность на панельном портале; во-вторых, участники проекта постоянно чувствуют, что их мнение важно.
Важно также отметить, что с опытом участия в опросах происходит значимое снижение негативного восприятия слишком длинных анкет. Вместе с тем возрастает негативное влияние некорректно сформулированных вопросов и неинтересных тем исследования. У большинства участников панели формируется собственное мнение о проекте: так, доля затруднившихся с ответом на вопрос о негативном опыте снизилась более чем в два раза (с 20,1% в первой волне проекта до 9,9% — в шестой).
Существуют элементы негативного опыта, которые являются атрибутами современного исследовательского процесса и находятся вне зоны влияния панельных провайдеров. К таким элементам относятся необходимость оставлять личную информацию, слишком длинные анкеты, сложные формулировки или форматы вопросов (например, табличные вопросы). Вместе с тем исследователи по всему миру не оставляют попыток сделать опыт участия в маркетинговых исследованиях более позитивным. В качестве примеров можно привести переход к интерактивным анкетам; расширенное использование имиджей, аудио и видео в опросном инструментарии, включение онлайн форумов и блогов в набор инструментов, предназначенных для сбора информации о потребителях и так далее.
Как показывает практика, многие панелисты готовы мириться с наличием негативного опыта, если они доверяют проекту. Одним из ключевых инструментов формирования доверия является панельный портал.
Заключение
Качество данных уже несколько десятилетий остается ключевой темой для обсуждения в индустрии маркетинговых исследований. Дополнительные вопросы к качеству возникают с появлением новых методов сбора данных, например исследований с использованием онлайн access-панелей. К сожалению, борьба за качество нередко ведется по мере возникновения «сиптомов болезни». Иными словами, вместо здорового образа жизни, зарядки и закаливания мы просто пичкаем ребенка лекарствами при каждом недомогании. Чтобы начать работать с причинами, а не последствиями возможного ухудшения качества онлайн выборок, нужно прежде всего понять, что главным в исследовательском процессе является отношение к респонденту, поэтому всю тактику и стратегию развития нового метода нужно строить с опорой на мнения людей. В этом смысле создание онлайн панелей не отличается от других бизнесов: понимание потребностей и желаний потребителей помогает компаниям производить продукцию, которая будет пользоваться спросом. Одним из способов «держать руку на пульсе» является регулярный мониторинг мнений участников онлайн панели о самом проекте и его создателях.
Мы считаем, что качество данных онлайн исследований прежде всего зависит от того, кто и почему в них участвует, как строится коммуникация с респондентами, получают ли они адекватную моральную и материальную компенсацию за потраченное время, чувствуют ли уважение к себе. В этой связи существующие технические методы контроля качества являются важными, но не основными. Главной же задачей панельных провайдеров является повышение заинтересованности респондентов за счет создания интерактивных и удобных для заполнения анкет, использования медийных возможностей Интернета на всех этапах коммуникации, включения в исследовательский процесс привычных для людей способов самовыражения и взаимодействия в Интернете, таких как блоги, форумы, коллекции фотографий и видео.
Почти все существующие типы недобросовестного поведения участников панелей связаны с желанием некоторых людей получить вознаграждение, не выполняя работу должным образом. Тем не менее это случается не потому, что участники панели такие плохие, а потому, что мы как провайдеры панелей иногда оказываемся не в силах удержать добросовестных респондентов. Важную роль здесь играет формирование у людей понимания того, что участие в опросах является для них одним из немногих способов влиять на ситуацию и изменять мир вокруг себя. В результате активных действий в этом направлении появляется довольно большая группа лояльных панелистов, которые стремятся полно и честно выражать свое мнение по самым разным вопросам. Вместе с этим растет уверенность, что онлайн исследования вскоре станут основным инструментом сбора качественной и надежной информации.
Литература
1. Seymour Sudman, Brian Wansink. Consumer panels. — 2nd ed. — Chicago: American Marketing Association, 2002 (Сеймур Зюдман, Брайан Ванзинк. Панели потребителей. — 2-е изд. — Чикаго: Американская маркетинговая ассоциация, 2002).
2. Postoaca, Andrei. The Anonymous Elect: Market Research through Online Access Panels. — Berlin: Springer, 2006 (Постоака Андрей. Анонимный выбор: маркетинговые исследования с помощью панелей с онлайн доступом. — Берлин: Springer, 2006).
Дополнение маркетинговых исследований социальными сетями
Петит Анни (Ipsos Interactive Services, США), Чедвик Саймон (Peanut Labs, США)
Web 2.0 серьезно изменил наш способ восприятия и пользования Интернетом, что привело к появлению социальных сетей и программ, которые могут стать новым весьма серьезным источником выборки исследований. Как и в случае с любым новым инструментом исследований, следует ответить на вопрос, не приведет ли его использование в исследовании к какому-либо смещению, присущему данному источнику. В предлагаемой статье мы пытаемся ответить на данный вопрос, сравнивая результаты, полученные в ходе исследований с использованием выборки Peanut Labs (компании, предоставляющей выборку из социальных сетей) и выборки из других, более традиционных онлайн источников.
Существует множество параметров, помогающих определить, позволяет ли новый источник рекрутинга респондентов получить качественные результаты. Чтобы провести такой анализ, мы отобрали панелистов i-Say в возрасте от 18 до 34 лет, которые были рекрутированы в панель из различных онлайн источников с большим числом пользователей в то же самое время, что и респонденты Peanut Labs. Всего было выделено 25 различных источников рекрутинга, которые стали предметом последующего анализа.
В первую очередь следует понять, отвечают ли респонденты базовому критерию — активное участие в панели. Этот критерий требует, чтобы панелисты приняли участие хотя бы в одном исследовании в течение определенного периода времени. По сравнению с участни- ками из других 25 источников респонденты из панели Peanut Labs имели почти такой же уровень активности; по данному показателю Peanut Labs расположился ровно посередине среди других источников. Респонденты Peanut Labs имели не больше и не меньше шансов быть удаленными из панели по причине неучастия в исследованиях.
Принимая во внимание все более возрастающую важность качества данных, гораздо важнее, чтобы все источники были оценены по ряду качественных показателей. Первое, что делает Ipsos, когда оценивает новый источник выборки, — это проводит анализ ответов предварительного отборочного исследования с помощью программы оценки качества данных Ipsos Panel Integrity 4 (iPi4). Эта программа оценивает каждое отборочное исследование на предмет выявления недобросовестных ответов (ответов по прямой линии, противоречий, других подозрительных действий респондентов). По сравнению с другими источниками выборки мужчин и женщин в возрасте 18–34 лет, которые отвечают минимальным стандартам качества, Peanut Labs ничем не отличался от других и располагался ровно посередине ряда уже зарекомендовавших себя источников.
Разрешив панелисту присоединиться к панели, программа также отслеживает торопливое заполнение анкет на протяжении всех исследований, в которых респондент принимает участие. Например, панелист, который потратил на участие в трех исследованиях менее трех минут на каждое, будет обнаружен и тут же удален из панели. И снова панелисты Peanut Labs ничем не отличались от респондентов из других источников, которые отвечали минимальным стандартам качества и стали участниками панели.
Последним показателем качества, который мы рассматривали, была процедура ipiLive — процедура, которую Ipsos использует непосредственно в ходе опроса для измерения качества данных каждого конкретного исследования. Панелисты, которые не прошли оценку с помощью ipiLive 3 раза и более, удаляются из панели i-Say. Как и ранее, процент панелистов Peanut Labs, которые были удалены из панели в результате данной процедуры, не отличался от показателей других анализируемых источников выборки молодых людей. Панелисты Peanut Labs по данному показателю располагались ровно посередине.
Заключительный показатель анализа качества нового источника из числа основополагающих — это удовлетворенность респондентов.
В конце каждого исследования i-Say предлагает 4 вопроса для оценки удовлетворенности участием в исследовании. Вопросы касаются продолжительности исследования, степени интереса для участника, важности исследования и того, почерпнул ли участник что-то новое для себя. Прежде всего данные вопросы предназначены для оценки качества исследования, однако они также позволяют понять, насколько участники исследования из того или иного источника оказались довольным им. Иными словами, насколько высоки их ожидания от исследований i-Say. И опять панелисты Peanut Labs расположились посередине и заняли 14-ю позицию из 25 сравниваемых источников. Это означает, что несмотря на то, что респонденты Peanut Labs пришли из среды социальных сетей, для которых характерны максимальное использование возможностей Web 2.0 и высокая степень взаимодействия между участниками, они высоко оценили свой опыт участия в исследованиях.
Все полученные в ходе наших исследований показатели качества и рейтинги важны для получения всесторонней картины сравнения панелистов Peanut Labs с панелистами из других источников. Однако существует еще один очень важный показатель: существуют ли отличия в ответах панелистов Peanut Labs и панелистов других источников рекрутинга Даже если их показатели качества их ответов примерно одинаковы, совершенно различные по направленности ответы были бы серьезной проблемой. Должны быть определенные сходства в трендах, рейтингах и бизнес-выводах по результатам исследований, чтобы гарантировать, что новые источники выборки оценены надлежащим образом.
С другой стороны, важно понимать, что новые источники выборки могут давать совершенно иные, но тем не менее достоверные результаты. Мы должны стремиться обеспечить представленность всего населения с помощью процедур выборки, а не отдельных сегментов, которые могут отражать состояние Интернета в тот или иной момент времени. Как показывает ниже круговая диаграмма Венна, существует множество источников для набора новых панелистов. Различия в результатах дают возможность набора более широкого круга панелистов, а значит, позволяют принять участие в исследовании новым группам людей, которые могли быть не охвачены с помощью более традиционных источников рекрутирования панелистов.
Рисунок 1. Структура онлайн сообщества
Первое исследование касалось пользования электроникой — той сферы, где можно предположить наличие существенных различий между панелистами, использующими и не использующими новые возможности Интернета. Применялись стандартные процедуры формирования выборки, однако в выборке Peanut Labs по сравнению с выборками из других источников оказалась существенно более высокая доля мужчин в возрасте 18–24 лет. Сам по себе этот результат неудивительный, за исключением того, что это крайне сложная для рекрутинга группа, которую легко может предоставить Peanut Labs.
Были получены ответы более 450 респондентов из панели Peanut Labs и других более традиционных источников выборки. Чтобы гарантировать, что различия в ответах являются результатом истинных отличий во мнениях респондентов, а не обусловлены различиями демографических характеристик панелистов из различных источников, выборки были перевзвешены по переменным возраста, пола, дохода, образования, размера семьи и региона проживания.
На рисунке 2 показаны ответы на три вопроса о покупательских намерениях (один и два наивысших ответа по оценочной шкале — топ 1 и топ 2). Очевидно, что ответы панелистов Peanut Labs похожи на ответы панелистов, рекрутированных из традиционных источников. Высоким показателям для одного источника соответствуют высокие показатели для другого источника. Конечно, результаты не идентичны. Учитывая размеры выборок и интервал ошибки выборки в 2,3%, некоторые различия статистически значимы. Но, несмотря на эти отличия, ранговый порядок показателей примерно одинаков; единственное отличие между выборками — в рангах для второго и третьего показателей.
Рисунок 2. Ответы на вопросы о покупательских намерениях
Второе исследование касалось замороженных десертов и включало 300 интервью с панелистами Peanut Labs и более 2000 интервью панелистов из других источников. В этом случае не было оснований ожидать, что ответы панелистов из социальной сети будут отличаться от ответов панелистов из традиционных источников. Просто не было причин подозревать, что любители определенного типа мороженого соберутся в одной социальной сети.
Для начала данные были перевзвешены по различным демографическим показателям, чтобы гарантировать, что различия в ответах вызваны реальными различиями во мнениях, а не социально-демографическими различиями участников исследования. На рисунке 3 приведены ответы на вопросы данного исследования (наивысшие ответы согласия, топ-ответы). Здесь представлен широкий ряд вопросов, начиная с употребления продукта и цены и заканчивая доверием и предпочтениями.
Вполне предсказуемо, что ответы панелистов Peanut Labs похожи на ответы других панелистов. Ни по одному вопросу результаты не отличаются больше чем на 5%, в среднем разница составляет всего лишь 2%. Ранжировки показателей также достаточно схожи, что является косвенным показателем сходства результатов. Только по одному показателю расхождения в пунктах превысили три ранга, в то время как по остальным показателям различия были от 0 до 2 пунктов.
Рисунок 3. Ответы на вопросы исследования о замороженных десертах
Третье исследование было посвящено спортивным событиям, и здесь сравнивались 500 интервью панелистов Peanut Labs и 400 интервью с другими панелистами. И опять среди рекрутированных Peanut Labs респондентов оказалось больше труднодостижимых респондентов, в первую очередь молодых мужчин. Результаты данного исследования также подтверждают ранее сделанный вывод об отсутствии различий в ответах респондентов двух подвыборок. В данном случае вопросы касались интереса к различным видам спорта, согласия с высказываниями о характеристиках различных видов спорта. Те показатели, которые высоко оценивались респондентами из традиционных источников выборки панелистов, также получали высокую оценку и у панелистов Peanut Labs. Тем не менее по одному из показателей различия составили 10%, но по остальным различия не превышали 6%. За исключением этого одного случая, наибольшие отличия между ранжировками показателей у респондентов Peanut Labs и респондентов из других источников составляли 1 пункт. То есть если у панелистов Peanut Labs показатель имел ранг 4, то для респондентов из других источников он мог быть 3, 4 или 5.
Рисунок 4. Ответы на вопросы исследования о спорте
Данные результаты показывают, что ответы респондентов социальной сети Peanut Labs не отличаются существенным образом от данных, собранных на базе других источников. Небольшие различия вполне предсказуемы. В действительности исследователи хорошо знают, что различия в результатах будут даже при использовании одного и того же источника в разные периоды времени.
Онлайн анкетирование с использованием мобильных телефонов: результаты методического эксперимента
Давыдов Сергей Геннадьевич («ГфК-Русь»)
Введение
Методическое экспериментирование — неотъемлемая часть современной практики маркетинговых и социальных исследований. Социологи — как эмпирики, так и теоретики — находятся в ситуации постоянного повышения требований к эффективности осуществляемой ими деятельности. Снижение стоимости и сроков сбора информации, повышение точности и надежности результатов, поиск новых подходов к работе с узкими и (или) труднодоступными целевыми группами — вот лишь часть требований к исследовательским проектам, ставших привычными. Следует также принять во внимание, что интенсификация и дифференциация социальной жизни диктуют необходимость появления новых методических разработок. Наконец, благодаря развитию информационных технологий возникают возможности не только для более широкого использования в исследовательской работе специального оборудования, но и для принципиально новых форм взаимодействия с респондентами. Из числа многочисленных возможных примеров назовем использование сканеров для автоматизации потребительских панельных исследований, индивидуальные устройства фиксации медиапотребления (наиболее известные технологии — Media Watch компании GfK Telecontrol и Portable People Meter компании TNS), различные CAWI-исследования (онлайн опросы) и т.д.
Использование индивидуальных средств коммуникации: мобильных телефонов, смартфонов, КПК и т.п. — в рамках сбора социологической информации представляется одним из весьма перспективных направлений. Подобные устройства имеют высокий уровень распространения (ими пользуются 78,6% взрослых россиян8), удобны и относительно просты в эксплуатации. Многие обладатели мобильных телефонов расстаются с ними только на время сна. В то же время функциональные возможности данных устройств достаточно широки. Помимо голосовой связи с респондентами, имеются возможности записи голоса на диктофон, съемки на фотокамеру, написания текстовых заметок, обмена информации через Интернет и т.д. и т.п.
Особый интерес представляет возможность использования мобильных коммуникативных устройств в качестве терминалов для самостоятельного заполнения анкет респондентами. Действительно, в этом случае отпадает необходимость в привлечении к процессу сбора информации интервьюеров, что существенно снижает стоимость работ. Респонденты могут ответить на вопросы в любом месте, где бы они ни находились. Онлайн анкетирование посредством персонального компьютера с обычным монитором обеспечивает более широкие возможности в области программирования опросников и демонстрации стимульных материалов, однако через мобильные телефоны опросом можно охватить более широкие слои населения.
Безусловно, отмеченные преимущества и недостатки анкетирования с использованием мобильных телефонов носят спекулятивный характер. Помимо собственно технической возможности проведения исследования, необходимо наличие технологии взаимодействия с респондентами. Возможна ли сегодня разработка подобной технологии? Если анкетирование через мобильные телефоны возможно, то какие факторы позволят увеличить отклик респондентов при эффективных и экономных трудозатратах?
Чтобы ответить на эти, а также ряд других вопросов, компании «Интерэктив сервисез» и «ГфК-Русь» провели в апреле 2009 года совместный методический эксперимент, результаты которого легли в основу предлагаемой статьи.
Заключение
1. Проведенный эксперимент, с одной стороны, доказывает существование принципиальной возможности взаимодействия с участниками социальных исследований в России посредством рассылки WAP-анкет на мобильные телефоны. С другой стороны, также очевидно, что крайне низкий уровень отклика респондентов на WAP-анкеты связан с целым рядом факторов, причем лишь некоторые из них могут быть частично устранены. Рассматриваемый метод сбора информации, таким образом, не может быть использован для проведения опросов на базе репрезентативных населенческих выборок даже в условиях относительно широкого распространения мобильной телефонии и WAP-технологий. Данное обстоятельство существенно снижает исследовательский потенциал анкетных технологий для мобильной телефонии. При этом, впрочем, не исключается возможность проведения репрезентативных «голосовых» телефонных опросов населения посредством случайного отбора из списков номеров мобильных телефонов.
2. Рассылка SMS-сообщений на случайные телефонные номера на данный момент представляется неэффективным инструментом рекрута респондентов для участия в единичном опросе. Во-первых, данная форма коммуникации не является для респондентов ожидаемой в рамках социологического исследования, кроме того, она связана с возможностью получения нежелательной информации (спама) и потенциального мошенничества. Во-вторых, одно или два стандартных SMS-сообщения не способны вместить стандартный набор информации для рекрута респондента и его инструктажа. Увеличение же объема пересылаемого текста приводит к существенному повышению расходов на его отправку.
Возможное решение (нуждающееся в дальнейшем изучении) может быть связано с использованием мобильного телефона как одного из терминалов для заполнения анкет участников «панелей доступа» (access panel) наряду с персональными компьютерам. В этом случае рекрут респондента (по телефону или каким-либо иным образом), а также его тренинг представляется заведомо более расходной статьей бюджета, однако вложения оправдываются за счет многократного и периодического участия респондентов в различных опросах. Примером реализации подобного подхода является система IRM австрийской компании Domestic Data. Естественно, с мобильных телефонов могут быть заполнены лишь некоторые из программируемых анкет, однако наличие данной опции повышает оперативность сбора информации и делает систему более удобной для опрашиваемых.
Еще один альтернативный вариант использования WAP-технологий в целях опросов может быть связан с заполнением WAP-анкет в качестве альтернативы уличным опросам (например, опросы в торговых точках, опросы на выходе из кинотеатров и т.д.). В этом случае полевую группу должны формировать специалисты, призывающие скачать WAP-анкету и готовые оказать помощь на месте.
3. Основные технические барьеры, препятствующие участию в онлайн исследованиях с использованием мобильных устройств, связаны прежде всего со значительным количеством мобильных телефонных аппаратов, не поддерживающих WAP. Немаловажен и тот факт, что для значительной части россиян характерен низкий уровень технической грамотности. Настройка WAP на мобильном телефоне, поддерживающем эту технологию, скачивание, заполнение и отправка WAP-анкеты и даже отправка SMS заданного содержания могут оказаться для некоторых респондентов непосильными задачами. Организация WAP-опросов, таким образом, должна быть сопряжена с организацией всесторонней технической поддержки респондентов.
4. Психологические барьеры участия в WAP-опросах связаны с тем, что SMS-технологии ассоциируются у множества респондентов с формами обмана и мошенничества, а также распространением нежелательной информации (спама). Следует также отметить, что, хотя предложенное в рамках эксперимента вознаграждение (30 рублей для Москвы и 25 рублей для Оренбурга) и соответствовало объему запрашиваемой информации, оно показалось многим недостаточным стимулом ввиду необходимости оплаты SMS/WAP, а также из-за усилий, направленных на то, чтобы «разобраться с технологией».
5. Проведенный анализ собранных результатов свидетельствует о достаточно высоком качестве полученной информации. Об этом же говорит и высокая степень корреляции результатов WAP-исследования с результатами телефонного «голосового» опроса (CATI), и высокая доля ответов на каждый заданный вопрос по отдельности, и низкое количество «мусора» при ответе на открытые вопросы.
6. Результаты исследования позволяют сделать общий вывод о различном уровне готовности групп населения к участию в WAP-опросах. Данная проблема, однако, нуждается в более подробном изучении, чтобы появилась возможность говорить о характере готовности более детально.
Резюмируя результаты эксперимента, следует отметить, что в краткосрочной и среднесрочной перспективе WAP-опросы не имеют потенциала к использованию в качестве средства сбора социологической и маркетинговой информации. С одной стороны, это связано с большим количеством накладываемых ограничений, подробно рассматриваемых выше, а с другой стороны, с наличием других, зачастую более эффективных способов коммуникации с респондентами, среди которых в первую очередь назовем «классический» онлайн опрос и «голосовое» телефонное интервью. Перспективы развития WAP-опросов в ближайшие годы могут быть связаны с поиском специальных исследовательских ниш, в рамках которых использование «мобильных анкет» было бы оправдано как методически, так и экономически.
Возможности применения Flash шкал в онлайн исследованиях11
Кейп Пит (Survey Sampling International, США )
Памятуя о том восторге, который первоначально вызвали исследования в формате HTML, сегодня онлайн исследования зачастую воспринимаются как бестолковые, монотонные и лишенные элементов интерактивности. Некоторые утверждают, что маркетинговые исследования не являются (и не должны являться) формой развлечения, а представляют собой пример научного исследования. Другие смотрят, возможно, более прагматично, что может предложить Интернет и как новые технологии могут быть использованы для решения задач маркетинговых исследований. Последний подход заключает в себе большие возможности. Техники маркетингового исследования эволюционировали на протяжении десятилетий, чтобы вобрать в себя все лучшее в рамках используемой методологии. Интернет позволяет исследователю еще раз пересмотреть свои подходы к базовым методологическим вопросам.
Появление Flash как инструмента и практически повсеместное его присутствие на персональных компьютерах дало возможность и дальше придумывать новые дизайны вопросов и ответов, которые, помимо всего прочего, выглядят привлекательными и предполагают некоторую степень интерактивности при ответах на вопросы.
Многие компании, предоставляющие услуги по программированию онлайн анкет и хранению данных, а также исследовательские компании предлагают пакет Flash инструментов взамен неуклюжим и затратным по времени традиционным методам создания анкеты. Среди этих инструментов — слайдер12, который был разработан одним из первых и предназначался для замещения традиционных шкал. Однако, как ни парадоксально, этот инструмент до сих пор остается наименее популярным.
Возможно, такая непопулярность связана с отсутствием понимания, как именно слайдер воспринимается и используется респондентами, а также реальной боязнью потерять сравнимость с предыдущими данными, которые могли быть получены с помощью шкалы совершенно иного дизайна. Как индустрия, мы немного консервативны, и в отношении шкал есть ощущение, что «лучше не трогать то, что пока работает».
Данная статья стремится ответить на ряд вопросов относительно «стандартной» 5-балльной шкалы Лайкерта и помочь понять, как может работать альтернатива на базе Flash, во-первых, с точки зрения сбора данных, вызванной этим альтернативным вариантом, и, во-вторых, с точки зрения заинтересованности и удовлетворенности инструментом со стороны объекта, то есть респондента.
Шкалы
Шкалы располагаются где-то между образами и представлениями. Шкалы не являются реальными в том плане, что их нельзя потрогать, обонять или ощутить, но это образный конструкт, который стал реальным благодаря постоянному использованию в определенном культурном контексте. У людей нет потребности использовать формализованные шкалы в обыденной жизни. Каждый из нас может оценить продукты по ряду критериев и прийти к какому-то решению о покупке, основываясь на оценке продукта и сравнительной важности каждого критерия для нас; все это происходит без каких-то формальных баллов и оценочных процедур. Проблема для исследователей состоит в том, что такое поведение очень сложно поддается описанию и категоризации, поэтому нам необходимо формализовать этот процесс, как бы это ни казалось абсурдным.
Разработка шкалы, особенно в случае онлайн исследования, переносит нас в пространство образов. В момент зарождения онлайн исследований иллюстративные образы весьма спорно применялись в отношении шкалы Лайкерта. На рисунке ниже показаны некоторые примеры иллюстрированных слайдеров.
Рисунок. 4
Обратите внимание, что в первом слайдере используются картинки с большим пальцем вверх/вниз. В контексте данного слайдера подразумевается согласие, несмотря на то что во многих культурах большой палец вверх/вниз в реальности означает «одобрение». Конечно, одобрение это не то же самое, что согласие. Представьте, что оценивается какое-то негативное суждение — неприятный, но правдивый политический факт, например. Будут ли респонденты каким-то образом вынуждены (пусть даже бессознательно) одобрять этот факт с помощью символа «большой палец вверх»? То же самое справедливо и в отношении «шкалы со смайликами». Неужели согласие с чем-то действительно всегда приносит нам радость? Шкалу со смайликами также можно критиковать за «неприемлемость» и даже «инфантилизм», в зависимости от предмета исследования. Красный и зеленый означают «стой» и «иди», и опять же не всегда мы хотим сказать «стоп», если не согласны с чем-то.
Нет сомнений, что Ринзус Лайкерт пребывал бы в ужасе, если бы тогда, в 1932 году, ему предложили заменить его простую шкалу согласия/несогласия смайликами! Но хотел бы он, чтобы его шкала была представлена как континуум, что давало бы возможность собирать и анализировать мнения с той степенью тщательности, с какой это возможно в наше время? Истинный потенциал слайдера может заключаться в той степени детализации, с которой он способен собирать данные, нежели в том восторге, который приносит перемещение бегунка по шкале и наблюдением за тем, как меняется в связи с этим изображение.
Шкала Лайкерта
Существует бесконечное число способов использования шкалы Лайкерта исследователями и множество вопросов вокруг нее. Наше исследование сосредоточено на двух ключевых вопросах относительно традиционной шкалы Лайкерта:
1. Эквивалентность рейтингов. Если утверждение А оценено как «скорее согласен» и утверждение В оценено точно так же, означает ли это, что респондент согласен с ними в равной мере? Если ко- ротко, то является ли шкала Лайкерта подходящим инструментом для определения тонких различий между суждениями?
2. Пространство между пунктами шкалы. Есть ли какое-то значение между пунктами «скорее согласен» и «полностью согласен»? Есть ли какое-то значение за пунктом «скорее согласен»? Принуждаем ли мы человека выражать мнение, которое не является его истинным мнением, потому что мы предлагаем ему слишком мало альтернатив?
Как только мы поймем, есть ли необходимость в замене традиционной шкалы Лайкерта, мы сможем оценить ряд вариантов представления шкалы Лайкерта с помощью слайдера.
На первом этапе эксперимента случайной подвыборке респондентов была представлена традиционная 5-балльная шкала Лайкерта для оценки четырех суждений. После выполнения задания у респондентов спрашивали, в какой степени инструмент позволил им точно выразить свое мнение (принимая во внимание предмет данной статьи, автора не покидала ирония использования фиксированной шкалы для сбора информации).
После этого респондентам снова были представлены суждения для оценки; сначала были показаны те, с которыми они были полностью согласны, затем те, с которыми они были скорее согласны, и так далее. Респондентам была предложена возможность пересмотреть свои ответы, используя 5 пунктов выше и/или ниже первоначально указанного ответа (если это возможно), приближаясь, но не достигая крайних пунктов шкалы Лайкерта.
Шкала Лайкерта — слайдер
Следующая часть нашего эксперимента касалась выяснения того, какое влияние на данные оказывает дизайн шкалы-слайдера. Мы использовали четыре разных дизайна: все имели текстовое описание крайних пунктов шкалы, и все воздерживались от визуальных иллюстративных элементов.
Первый слайдер содержал названия всех пяти традиционных пунктов шкалы:
Рисунок 5
Рисунок 6
На втором все отметки пунктов присутствовали, но текстовое описание промежуточных пунктов было удалено:
На третьем мы удалили отметки пунктов:
Рисунок 7
На последнем слайдере показывалось число от 1 до 5, чтобы указать, на каком именно значении установлен «бегунок»:
Рисунок 8
Во всех случаях первоначальное положение «бегунка» было установлено на значении «полностью не согласен». Была применена система проверки ошибок на случай, если респондент не менял положение «бегунка», чтобы убедиться, что респондент действительно совершенно не согласен с суждением.
Стартовое положение «бегунка» могло вызвать эффект смещения в ответах, равно как и порядок расположения вариантов ответов на традиционной шкале Лайкерта. Однако изучение подобного эффекта не было частью нашего эксперимента.
Наше первое наблюдение заключалось в том, что респонденты используют отметки пунктов, когда они есть. Интересно, что они также используют числовые эквиваленты пунктов, когда они имеются. Возможно, это происходит потому, что респонденты ранее видели нумерованную шкалу Лайкерта.
Таблица 4. Количество респондентов, выбравших определенные пункты шкалы — утверждение 1 (получены для одной и той же базы респондентов)
| Совершенно не согласен | Скорее не согласен | Затрудняюсь | Скорее согласен | Полностью согласен |
| Традиционная шкала | 12 | 40 | 105 | 231 | 201 |
| Традиционная шкала с измененными оценками | 6 | 12 | 61 | 57 | 154 |
| Слайдер с названиями пунктов | 4 | 25 | 77 | 125 | 129 |
| Слайдер с отметками пунктов | 1 | 17 | 92 | 88 | 114 |
| Пустой слайдер | 1 | 8 | 27 | 21 | 97 |
| Слайдер со значением | 4 | 10 | 51 | 47 | 124 |
Каждый дизайн слайдера давал различное распределение данных. Это привело нас к предположению, что дизайн важен и должен использоваться с большой осторожностью. Мы определенно предостерегаем против небрежного использования визуальных/иллюстрированных слайдеров и рекомендуем придерживаться одного стиля в рамках одного исследования и в различных волнах сбора данных.
Где же истина в отношении утверждения 1? Этого мы, конечно, не можем сказать. Исследователи рынка используют различные описательные статистики, чтобы определить значение данных и интерпретировать их в разумном контексте.
После того как результаты для утверждения 1 объединены вокруг значений согласие/несогласие, лишь немногие исследователи не согласятся, что данные, вне зависимости от того, с помощью какой шкалы они были собраны (таблица 5), в общем-то говорят об одном и том же.
Таблица 5. % согласных и несогласных — утверждение 1
|
| Не согласен | Согласен |
| Традиционная шкала | 9% | 73% |
| Традиционная шкала с измененными оценками | 6% | 73% |
| Слайдер с названиями пунктов | 8% | 70% |
| Слайдер с отметками пунктов | 6% | 65% |
| Пустой слайдер | 6% | 77% |
| Слайдер со значением | 6% | 73% |
В терминах среднего значения (а рассматривать среднее значение, основываясь на данных шкалы слайдера, приемлемо) ответы снова очень похожи.
Таблица 6. Средние значения по всем шкалам — утверждение 2
|
| Британия | США | Германия | Китай |
| Традиционная шкала | 2,27 | 2,32 | 2,50 | 3,79 |
| Традиционная шкала с измененными оценками | 2,60 | 2,28 | 2,50 | 3,87 |
| Слайдер с названиями пунктов | 2,56 | 2,64 | 2,74 | 3,89 |
| Слайдер с отметками пунктов | 2,33 | 2,35 | 2,46 | 3,61 |
| Пустой слайдер | 2,32 | 2,39 | 2,29 | 3,62 |
| Слайдер со значением | 2,34 | 2,44 | 2,33 | 3,56 |
Мы четко можем видеть сходство между Великобританией, США и Германией (которые с чем-то не согласны) и их отличие по сравнению с Китаем (который склонен с чем-то соглашаться). Это справедливо вне зависимости от использованного инструмента сбора данных. Когда же мы увидим, что это суждение «Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым», то ответы также имеют смысл в данном контексте.
Что действительно меняется, так это суммарные доли согласных/несогласных (топ-позиции), которые имеют тенденцию к уменьшению. Уменьшения в отношении разных суждений могут быть различными, но мы можем предположить, что различные методы дают сходный рейтинг суждений. Уменьшение суммарной доли согласных/не соглас- ных должно быть одноразовым явлением при переходе на новый дизайн шкалы, но это может быть неприемлемо для клиента. Вся концепция определения топ-позиций теряет смысл, как только появляется континуум. Вместе с континуумом данных появляется возможность использовать такие статистики, как квартили и децили, хотя они сложны для объяснения и какого-то практического использования.
Наконец, как было замечено в ходе эксперимента по пересмотру оценок, данные шкал-слайдеров (на индивидуальном уровне) значительно лучше подходят для дифференцирования мнений относительно ряда суждений. Во многих случаях это дает явное преимущество по сравнению с традиционной методикой.
Привлекательность
Как исследователи мы вынуждены сегодня делать наши исследования более «привлекательными» и «интерактивными». Является или нет маркетинговое исследование частью бизнеса развлечений, должно ли покупаться внимание рядового респондента — эти вопросы лежат за пределами нашего исследования. Однако мы осознаем, что некоторые вещи, которыми мы занимаемся, скучны, определенно монотонны и, правду говоря, бестолковы и нередко затянуты. Флэш альтернативы часто позиционируются как более привлекательные и интерактивные.
Flash слайдеры не уменьшают длительность интервью. В среднем использование слайдера для набора из четырех суждений занимает на 20 секунд больше. Возможно, дополнительное время вызвано непривычностью инструмента и со временем может сократиться. Может быть, было бы неплохо добавить флэш технологии в табличные вопросы. Из многочисленных исследований восприятия респондентов мы знаем, что эти типы вопросов наименее популярны и уровень внимания к таким вопросам не всегда высок настолько, насколько этого хотелось бы исследователям.
В конце исследования мы задали несколько вопросов о том, что думают респонденты о самом исследовании. В таблице 7 сравниваются мнения респондентов, которым не был показан слайдер (отмечены в таблице как «традиционные»), с ответами тех, кому эта шкала была показана.
Таблица 7. Оценка качества исследования со стороны респондентов
| Исследование интересное | Британия | США | Германия | Китай |
| Согласен — традиционная шкала | 93% | 90% | 90% | 63% |
| Согласен — шкала-слайдер | 97% | 97% | 94% | 71% |
| Я получил удовольствие от участия в исследовании | Британия | США | Германия | Китай |
| Согласен — традиционная шкала | 92% | 89% | 83% | 73% |
| Согласен — шкала-слайдер | 97% | 96% | 89% | 81% |
| Приму участие в следующем исследовании | Британия | США | Германия | Китай |
| Согласен — традиционная шкала | 99% | 98% | 98% | 98% |
| Согласен — шкала-слайдер | 99% | 99% | 99% | 97% |
Результаты говорят об увеличении интереса к исследованию и удовлетворенности участия в нем (что может быть взаимосвязано) при использовании слайдеров по сравнению с использованием традиционных шкал Лайкерта. Слайдеры незначительно усиливают общую привлекательность исследования, когда речь идет о желании принять участие в следующем опросе.
Заключение
Традиционная шкала Лайкерта во многих случаях является достаточно грубым инструментом. Можно доказать, что истинное мнение респондента лежит в пространстве между обозначенными вариантами ответов. Также возможны случаи, когда истинное мнение лежит за традиционными границами шкалы.
Однако это не говорит о том, что шкала является неправильной. Респонденты полагают, что она достаточно хорошо отражает их мнение. Можно только гадать, в какой мере это мнение обусловлено привычностью шкалы.
Однако это абсолютно точно означает, что равенства между суждениями, которые были оценены одинаково, нет. Также переоценивается сила мнений в отношении суждений. Исследователи, которые захотят оценить на качественном уровне степень согласия и силу мнения, например, «полностью согласен», совершат ошибку.
Слайдер-шкалы не дают уровней или значений согласия/несогласия, которые бы существенно отличались от тех, которые дают традиционные шкалы. Это означает, что слайдеры могут заменить традиционные шкалы без существенных расхождений в данных. Любой исследователь, который анализирует крайние позиции, должен знать, что они уменьшатся при изменении типа шкалы.
В чем слайдер-шкала точно превосходит традиционную, так это в способности улавливать малейшие различия в суждениях. Если дизайн исследования направлен именно на это, тогда слайдеры будут именно тем инструментом, с которым не будет необходимости использовать дополнительные вопросы для ранжирования суждений, получивших одинаковый балл.
Следует отметить, что наши находки также будут полезны для тех, кто ищет нерадивых респондентов, которые отмечают один и тот же ответ в таблице (так называемые straightliners). Там, где возможно или обоснованно для отдельного респондента соглашаться (или не соглашаться) со всеми суждениями, любые явные ответы по прямой линии могут быть скорее ошибкой инструмента, нежели респондента: просто инструмент не позволяет респонденту выразить различия в его мнениях к суждениям в таблице.
Дизайн самого слайдера должен быть продуман тщательно во избежание смещений, вызванных визуальными образами.
Шкала-слайдер не улучшает существенным образом уровень привлекательности исследования и (по крайней мере, в первое время) увеличивает его длительность.
Наконец, в нашей погоне за привлекательностью мы не должны забывать, что шкалы-слайдеры не сделают затянутые, скучные и монотонные таблицы интересными.
Воздействие интерактивных элементов инструментария на качество данных и удовлетворенность респондентов онлайн опросов
Некрасов Сергей Игоревич (Online Market Intelligence)
Современные информационные и сетевые компьютерные технологии, переводя на новый уровень возможности работы с информацией, производят существенные изменения во всех отраслях знания, в том числе и в маркетинговых исследованиях. Так, компьютерно-опосредованные технологии открывают новые возможности для проведения эмпирических исследований, меняя нынешние представления о доступности респондентов, количестве затрачиваемых на исследование ресурсов, возможности модификации инструментария и т.д. Если еще пару десятилетий назад компьютеры использовались преимущественно для анализа уже собранных данных, то сейчас этот этап далеко не единственный, где проникновение компьютерных технологий является привычным. В этой связи можно обратиться к различным автоматизированным и полуавтоматизированным инструментам сбора данных, например: 1) телефонный опрос с помощью компьютера (CATI); 2) личное интервью с использованием компьютера (CAPI); 3) самозаполняемая при помощи компьютера анкета (CSAQ) и др.
Исследование, проведенное автором данной работы на базе компании OMI, посвящено современным мировым тенденциям в области онлайн опросов, переводящих использование компьютерно-опосредованных технологий на новый уровень. Связано это с общей тенденцией увеличения «собственно онлайновой» фазы в маркетинговых (социологических и т.д.) исследованиях: все больше этапов современного маркетингового исследования проводится с использованием компьютера и веб-сети. Эта закономерность на сегодня однозначно прослеживается на Западе. В современной России мы уже можем наблюдать аналогичную тенденцию: доля онлайн опросов стремительно увеличивается, хотя, разумеется, их проведение еще вряд ли возможно назвать нормой.
В чем причина столь быстрого распространения онлайн опросов? По большому счету, вопрос этот является риторическим: их основные преимущества хорошо известны уже достаточно давно. Одной из наиболее разработанных общепринятых классификаций сильных сторон онлайн опросов является схема, предложенная Дж. Уоттом [1], где упоминаются такие критерии, как скорость, стоимость, простота создания, скорость модификации и др. (см. рисунок 1). С точки зрения этого автора, наилучшие показатели по всем приведенным критериям не просто у онлайн опросов, среди которых можно выделять несколько видов, но у «Специальных систем для проведения онлайн опросов». Эти системы охватывают и автоматизируют практически все этапы исследования, проводимые с их помощью.
Рисунок 1. Основные преимущества онлайн опросов по Уотту*
|
| Рассылка анкет по Е-mail | Доработанные CATI системы | Доработанные диск-по-почте системы | Веб CGI программы** | Системы для онлайн опросов |
| Простота создания и внесения изменений | 5 | 3 | 4 | 2 | 5 |
| Простота доступа к предварительным результатам | 2 | 3 | 4 | 5*** | 5 |
| Контроль квот в выборке | 2 | 5 | 3 | 5*** | 5 |
| Проверка валидности данных | 2 | 4 | 4 | 5*** | 5 |
| Требование внимания респондента | 5 | 4 | 4 | 4 | 4 |
| Персонализация опросников | 3 | 3 | 2 | 5*** | 5 |
| Изменения существующего опросника | 3 | 5 | 4 | 4 | 4 |
| Уровень специальной подготовки, необходимый создателю опросника | 5 | 3 | 4 | 2 | 4 |
| Стоимость создания и проведения | 5 | 3 | 3 | 2 | 4 — 5 |
* Оценка производится по 4-балльной шкале, где 5 — отлично, 2 — плохо. ** Создаваемые под каждую анкету «с нуля». *** Требует дополнительного программирования.
На первый взгляд не менее однозначно дела обстоят и с недостатками онлайн опросов: главный из них заключается в сложностях обеспечения репрезентативности выборки. Именно решению этого вопроса и посвящена значительная часть теоретических и эмпирических работ в данной области.
Тем не менее наряду с повсеместным ростом компьютеризации и быстрым темпом распространения онлайн опросов изменяются и те элементы их методического обеспечения, которые получают внимание исследователей. Обеспечение только лишь репрезентативности было и является, безусловно, оправданным в электоральных опросах, где переход в онлайн использовался главным образом с целью повышения скорости, при практически полном переносе макета опроса на экран в «бумажном виде» [2]. Однако с выходом маркетинговых исследований в онлайн, сопряженным с необходимостью программирования длинных и сложных для респондента анкет, все больше внимания уделяется еще и вопросу воздействия ситуации переноса опроса в среду Интернет на качество данных онлайн опросов. По сути, речь идет о том, насколько различаются данные оффлайновых и онлайн опросов при разном способе реализации последних. Ведь контакт с интервьюером или «бумажной» анкетой полностью заменяется взаимодействием в рамках интернет-среды. Поэтому стоит говорить о «дизайне» онлайн опроса в широком смысле слова как о факторе, воздействующем на качество получаемых данных.
В результате анализа существующих подходов к организации онлайн опросов автором данной работы было предложено в свете рассматриваемой проблематики выделять два основных подхода (см. рисунок 2). В первом из них — информационном — компьютерные технологии предстают исключительно как информационный канал, способ доступа к респонденту. Такой взгляд однозначно доминирует в электоральных опросах и приводит к «бумажному» взгляду на требования к инструментарию. То есть к попытке максимально приблизить вид электронной анкеты к традиционной «бумажной». В рамках второго подхода — виртуального — наоборот, основной акцент делается на адаптации инструментария к интернет-среде и обеспечении за счет этого повышения качества собираемой информации. Инструментарий такого типа мы называем «интерактивным», т.к. он не мог бы быть реализован на бумаге, а может существовать только в качестве динамических интерактивных элементов веб-среды.
Рисунок 2. Подходы к организации онлайн опросов
Обратившись к современным западным работам, посвященным маркетинговым и социологическим онлайн исследованиям, можно отметить значительный рост интереса к проектированию инструментария онлайн опроса (см., например, работы таких авторов, как Манфеда [3], Купер [4; 5], Диллман [6], Буккер [7], Слип [8] и др.). Однако, как и в любой относительно новой теме, в этой области не хватает систематизации и полноты охвата различных ее аспектов. Русскоязычных работ, рассматривающих вопрос дизайна онлайн опроса как элемента веб-среды, практически нет. Соответственно о полноценном осмыслении специфики использования того или иного инструментария для онлайн-опросов в России обоснованно говорить пока невозможно.
Поэтому в данной работе мы предлагаем рассмотреть результаты собственного исследования, посвященного изучению воздействия интерактивного инструментария на качество данных онлайн исследований, а также те практические выводы, которые были получены на его основе. При этом главной целью проведенного исследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса.
Описание схемы эксперимента
Эксперимент, который был нами проведен, включал опрос 432 жителей городов-миллионников в возрасте от 16 до 44 лет.
При планировании схемы эксперимента мы исходили из трех основных мотивов.
Во-первых, необходимо максимально использовать результаты уже проведенных тестов в данной области [см. 3; 6; 8 и др.].
Во-вторых, нужно реализовать такую схему эксперимента, по результатам которой можно было бы делать обоснованные выводы о разном (или одинаковом) уровне качества данных с использованием или без использования интерактивного инструментария. В итоге в качестве такой схемы нами была выбрана модель дисперсионного анализа (в рамках общей линейной модели, general linear model).
Наконец, в-третьих, необходимо позаботиться о том, чтобы экспериментальные данные были получены на основе работы с полноценными, жизнеспособными системами онлайн опросов, а не просто с некими индивидуально запрограммированными анкетами.
Последний пункт, пожалуй, требует отдельного пояснения. По большому счету, казалось бы, ничто не мешало нам провести эксперимент на основе индивидуально запрограммированных в единственном экземпляре анкет двух разных типов (с интерактивным инструментарием и без него), а затем сравнить результаты. Однако, возвращаясь к классификации основных преимуществ онлайн опросов по Уотту (см. рисунок 1), мы бы хотели еще раз подчеркнуть различие между «системами для проведения онлайн опросов» и индивидуально запрограммированными анкетами. Последние позволили бы проводить экспериментальное сравнение на «идеальных типах» онлайн опросников, в которые можно заложить любые параметры. Однако при таком решении мы бы упустили, что перед нашим исследованием были поставлены и практические задачи. Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость и степень пригодности для «систем онлайновых опросов» отдельных элементов нашего инструментария. В то же время, именно говоря о системе опросов, мы можем сохранить очень значимые преимущества онлайн опросов, которые отмечаются в любой работе, их затрагивающей: это скорость, стоимость, возможность модификаций и т.д. Никакие преимущества в качестве или удовлетворенности респондентов не могли бы рассматриваться как «значимые» для улучшения схемы онлайн опросов, если бы они привели к отказу от общепринятых преимуществ.
В итоге в качестве первого исследуемого фактора нами был выбран способ технической реализации онлайн опросника: 1) стандартный, написанный на html опросник, который соответствовал бы «бумажному» инструментарию; 2) Flash опросник, позволяющий легко интегрировать любые графические и мультимедийные элементы и соответствующий интерактивному инструментарию. При этом первая модель — html — была реализована на одной из самых используемых в мире систем для маркетинговых опросов (Net-MR от компании GMI). Вторая — на собственной платформе для Flash опросов, которая была подготовлена автором данной статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований и по всем уровням — трудоемкости, скорости, гибкости и т.п. — оказалась сравнима с известными нам международными аналогами.
В дополнение к техническому способу реализации опросника мы добавили еще один фактор — использование или неиспользование логотипов и изображений в анкете. Связано это с гипотезой о том, что в обычных оффлайновых опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что в веб-среде различные сопровождающие текстовое содержание изображения являются «нормой» и поэтому имеет смысл проверить воздействие их присутствия на данные опроса14. Наша гипотеза, как и в случае с интерактивным инструментарием, заключалась в ожидании положительного воздействия на качество данных от использования графических элементов в анкете.
Таким образом, в эмпирическом исследовании сравнение различных опросников проводилось нами на основе данных четырех опросов, выполненных по одной и той же по содержанию анкете. При этом общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:
1. html без логотипов;
2. html с логотипами;
3. Flash без логотипов;
4. Flash с логотипами.
Что касается соотнесения выбранной схемы эксперимента с теми исследованиями, что нам удалось обнаружить в литературе, то отметим следующее: единственными авторами, из тех, которых нам удалось найти, публикующими результаты методических исследований графических элементов в онлайн опросах, полученных с полноценной статистической оценкой, были М. Купер, М. Трауготт и М. Лэмиас (см, например, [5]). Однако стоит отметить, что в фокусе их анализа была фактически проверка работы уже известных для традиционных опросов закономерностей и способов составления анкеты в онлайн среде. Так, изучение табличных вопросов и выгодности их использования в онлайне осуществлялось на основе сравнения таблиц с одной стороны и серии простых вопросов — с другой. Т.е. авторы в первом случае задавали табличный вопрос, а во втором — разбивали его на столько простых, сколько строк в таблице (при условии одного ответа в строке). Вывод, который в таком случае был сделан, по большому счету, сводится к заключению о выгодности использования таблиц и в онлайне тоже.
При выборе собственного экспериментального плана мы пошли несколько дальше: скажем, на примере тех же табличных вопросов, цель нашего тестирования заключается в сравнении различных форм их представления, в том числе с привлечением интерактивных элементов и метода drag-and-drop.
С графическими элементами ситуация во многом схожа: по-настоящему интересные с практической точки зрения работы (и по актуальности решаемых задач) встречаются редко и только в иллюстративных маркетинговых статьях (см., например, [8]). В них же, как известно, слабая сторона — это не сомнение в получаемых выводах, а скудность описания и обоснования схемы эксперимента. Кроме того, даже в подобных статьях нам не удалось обнаружить серьезного сравнения флэш анкет с обычными.
Что касается проверки различий в качестве данных и уровне удовлетворенности респондентов, то здесь мы, опираясь на технические возможности Flash платформы, использовали следующие критерии для сравнения с html опросами (зависимые переменные в экспериментальном плане):
1. Время заполнения анкеты в целом;
2. Время заполнения отдельных (контрольных) вопросов;
a. Табличных;
b. Открытых;
3. Успешность преодоления «ловушек» на внимательность прочтения вариантов ответа к вопросу (см. описание используемого для сравнения показателя ниже);
4. Количество символов в открытых вопросах;
5. Количество выбранных вариантов ответов в вопросах с множественным выбором;
6. Прямые оценки удовлетворенности респондентов различными аспектами опроса:
a Графическим оформлением анкеты;
b. Темой опроса;
c. Длиной опроса;
d. Опросом в целом.
Основные результаты
Заключение. Роль интерактивного инструментария
Полученные результаты в целом согласуются как со сходными исследованиями, так и с нашими предположениями об интерактивных элементах как улучшающих качество данных опроса за счет повышения соответствия динамическим характеристикам веб-среды. Так, использование технологии Flash и интерактивных элементов в анкете, как правило, приводило к значимому снижению времени заполнения анкеты при учете того, что мы добавляли в расчеты и время загрузки вопросов (оно было несколько больше для интерактивных вариантов). Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.
Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее на основе проведенного эксперимента может быть сделан следующий общий вывод: при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов (таких, как табличные) продуманное включение интерактивных элементов в опрос может способствовать повышению качества его данных.
Литература
1. Watt J. H. Using the Internet for Quantitative Survey Research [on-line] // Marketing research review. 1997. № 7. Доступ через. <http://www.unt.edu/rss/class/survey/watt.htm>
2. Докторов Б.З. Отцы-основатели: история изучения общественного мнения / Под ред. М.Я. Мазлумянова. М.: Центр социального прогнозирования. 2006.
3. Manfreda K.L, Batagelj Ъ., Vehovar V. Design of Web Survey Questionnaires: Three Basic Experiments [on-line] // Journal ofComputer-Mediated Communication. 2002. № 3. Доступ через: <http://english.fdvinfo.net>
4. Couper M.P. Web Surveys: A Review of Issues and Approaches // Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464–494.
5. Couper M.P, Traugott M.W., Lamias M.J. Web Survey Design and Administration // Public Opinion Quarterly. 2001. № 2. P. 230–253.
6. Dillman, D.A., Tortora R.D, Bowker D. Principles for Constructing Web Surveys [on-line] // SESRC Technical Report. 98–50. Pullman. Washington. 1998. Доступ через: <http://survey.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf >
7. Bowker, D, Dillman, D. A. An experimental evaluation ofleft and right oriented screens for Web questionnaires // <http://survey.sesrc.wsu.edu/dillman/papers/ AAP0Rpaper00.pdf>. 2000.
8. Sleep D, Puleston J. Panel quality: Leveraging interactive techniques to engage online respondents // Conference paper — ARF convention & expo. 2009.
9. Gunn H. Web-based surveys: Changing the survey process [on-line] // First Monday. 2002. № 7. Доступ через: <www.unt.edu/rss/class/survey/gun.html>
Качественные онлайн исследования1
Дим Петер («ГфК-Австрия», Австрия)
1 Перевод статьи выполнен Давыдовым С.Г., «ГфК-Русь»
Цель настоящей статьи — дать общее описание практики качественных маркетинговых исследований с использованием Интернета. За последнее десятилетие онлайн методики зарекомендовали себя в качестве оперативных и экономичных средств изучения рынков и общественного мнения. Это стало возможно благодаря росту числа потребителей, с которыми можно установить контакт через Сеть. Рисунки 1 и 2 наглядно демонстрируют, что Интернет можно использовать для исследования не только развитых рынков Северной и Западной Европы, но также Центральной, Южной и Восточной Европы, где проникновение Интернета на данный момент весьма существенное.
Рисунок 1 Рисунок 2
В Польше, например, Сетью пользуются 52% взрослого населения, то есть 16,6 миллиона жителей. В большинстве Балканских государств ежедневно выходят в Интернет около трети граждан. В Российской Федерации показатель проникновения равен 26%; однако, принимая во внимание численность населения, можно констатировать, что Интернет в этой стране охватывает более 30 миллионов человек.
Столь впечатляющие показатели не могли не вдохновить маркетинговых исследователей на разработку разнообразных количественных интернет-методик. Существует множество программных решений для формирования электронных анкет и администрирования панелей. Компании — лидеры рынка маркетинговых исследований поголовно предлагают реализацию количественных онлайн проектов на базе предоставляемых клиентом списков адресов электронной почты или «панели доступа» (access panel). Некоторые фирмы специализируются на продаже заказчикам выборок, для построения которых используются огромные международные панели; таким образом, появляется возможность доступа к очень специфическим целевым группам. В связи со снижением эффективности телефонных опросов более 40% маркетинговых исследований в Соединенных Штатах реализуются через онлайн. Каждое третье интервью проводят в онлайн режиме. Тем не менее многие индустриальные клиенты по-прежнему не желают пользоваться такими преимуществами интернет-исследований, как оперативность, возможность демонстрации мультимедийного контента и сравнительно низкая стоимость. Основной аргумент противников онлайна заключается в том, что последний может обеспечить контакты только с частью населения. При этом игнорируются несколько важных факторов.
1. Пользователи Интернета — в основном высокообразованная, более молодая и довольно состоятельная часть населения, то есть наиболее интересная целевая аудитория, если идет речь о выпуске новой продукции.
2. Онлайн исследования «бизнеса для бизнеса» («B2B») позволяют установить связь практически со всеми потенциальными респондентами.
3. Многие актуальные исследовательские направления — включая опросы сотрудников предприятий и членов профессиональных ассоциаций, исследования удовлетворенности клиентов — построены на базах адресов электронной почты, предоставляемых заказчиками.
4. Для некоторых исследований, например тестов образцов рекламы («победители — всегда победители, а проигравшие — всегда проигравшие») или качественных подходов, требуется лишь небольшое число респондентов.
В наши задачи не входит подробное рассмотрение сферы практического использования количественных онлайн исследований. Решение проблемы репрезентативности может быть связано с тщательной проработкой процедуры взвешивания, однако решающими аргументами в пользу Интернета как средства коммуникации с респондентами могут стать использование мультимедийного контента, скорость реализации и стоимость проекта. Аналогичные аргументы можно привести в защиту качественных онлайн исследований.
Работа с объемным текстом
Как мы упоминали выше, результатом качественных исследований обычно бывают большие тексты. Чтобы облегчить процедуру кодирования и анализа, можно начать с подсчета частоты упоминаемости слов. Простейший способ решить эту задачу — сгенерировать «облако слов». Весьма любопытно, что подобную возможность предоставляет польский сайт, распложенный по адресу: http://tocloud.com
Вот что получится на выходе, если ввести туда полный текст настоящей статьи (рис. 7).
Легко заметить, что программное обеспечение показывает частоту упоминания как для слов, так и для словосочетаний. Эта простая процедура, которая может быть проделана бесплатно за несколько секунд, дает исследователю возможность получить общее представление, о чем говорится в «теле текста».
Рисунок 7
Можно детальнее проанализировать тексты, воспользовавшись более сложными программами подсчета частоты упоминания. Прекрасный образец такой программы — российское программное обеспечение Textanz (http://www.cro-code.com/textanz.jsp">www.cro-code.com/textanz.jsp). Оно разработано в Санкт-Петербурге и продается за 18 евро. Textanz вычисляет не только частоту использования слов, но и целый ряд других текстовых статистик, например среднюю длину слова, лексическую плотность и др. Одна из ее замечательных возможностей — маркировка заданных слов для того, чтобы показать их в исходном контексте.
На практике текстовый анализ может быть проведен либо посредством «вдумчивого чтения», либо путем квантификации с использованием кодирования. Эту процедуру можно упростить, если использовать сложные и соответственно более дорогостоящие программы Atlas.ti или MaxQDA. Информацию об этих разработках можно найти на сайте http://www.textanalysis.info/qualitative.htm
Примечание. При работе с досками объявлений главное — не переусердствовать. Не стоит проводить более трех обсуждений по одной теме. Большой объем текста, собранного таким образом, станет помехой для вдумчивого анализа. Исследователь будет вынужден пойти на решение «бесконечной» задачи кодирования текста — заканчивая количественным анализом вместо качественного.
Резюме
Качественные онлайн исследования — это спящая красавица, по-прежнему ждущая принца, который ее разбудит. Как было показано выше, такие исследования позволяют преодолевать пространственные ограничения, обеспечивая возможность собирать мнения вне зависимости от местоположения респондентов. Можно тестировать любые мультимедийные стимульные материалы. Репрезентативность — не проблема. На получаемые результаты не оказывают влияния фактор интервьюера или социальное давление. Ответы респондентов получаются более откровенными, а тексты — более длинными. Качественные онлайн исследования позволяют по-новому взглянуть на многие аспекты исследовательской деятельности, не говоря уже о том, что проводятся они значительно быстрее, а стоят дешевле. В этой связи хочется еще раз подчеркнуть, что оптимальным решением являются доски объявлений.
Онлайн фокус-группы в формате форума: эффективность, проверенная международной практикой
Лонго Джим (Itracks International Inc., США)
Качественные онлайн исследования уже являются проверенным методом проведения маркетинговых исследований, а получаемые в онлайн фокус-группах данные очень близки по содержанию к результатам традиционных фокус-групп. Имея опыт проведения тысяч онлайн групп, модераторы научились понимать особенности формулирования людьми своих ответов в виде текста в онлайн режиме, а также научились определять эмоции людей при общении в Сети. Мы обнаружили, что независимо от того, в какой форме подается текст — в письменной или устной, — основные результаты исследования практически не отличаются.
Передача текстовых сообщений в онлайн режиме уже стала частью нашей повседневной жизни, а электронная почта, чат и мгновенные сообщения (например ICQ) становятся такими же важными инструментами общения, как телефон. С недавних пор ведется дискуссия об использовании блогов в качестве эффективного инструмента сбора качественных данных, но я рекомендую использовать их в качестве источника информации для проведения вторичных исследований. В блогах может быть много «подставных лиц» со своими собственными скрытыми мотивами (например, продвижение определенных товаров), поэтому блоги не являются достоверным инструментом для сбора данных. В настоящий момент основная реакция профессионалов на блоги сводится к мнению, что модератор не обладает достаточным контролем для эффективного направления дискуссии к ее цели. Для того чтобы провести хорошее исследование, методика должна быть надежной.
Мы рекомендуем осуществлять рекрутирование для качественных онлайн исследований с помощью онлайн панелей. Важно, чтобы компания-рекрутер придерживалась жесткой системы отбора в соответствии с профессиональными нормами и стандартами. Как правило, авторитетный провайдер панели может обеспечить качественную выборку для вашего исследования.
В настоящее время существует две основные методики онлайн качественных исследований; с их помощью можно в полной мере контролировать процесс проведения проекта. Первая методика — это онлайн фокус-группы (ОФГ) или чат-группы, которые проводятся в реальном времени и подходят для отслеживания первоначальной реакции на концепцию или идею. Как происходит чат-группа? В основном, такие группы позволяют «снять» поверхностную реакцию, а также получить базовую «направляющую» информацию. Однако в чат-группе сложно инициировать диалог между респондентами, который показал бы глубокое понимание вопроса. Вторым типом онлайн качественных исследований являются фокус-группы в формате форума (ФГФФ). ФГФФ проводятся в асинхронном (разделенном во времени) режиме. При внедрении этой схемы основная идея состояла в проведении дискуссии в течение определенного времени и разделении ее на несколько тематических частей. Исследователи посчитали, что, если дать респондентам возможность входить в систему и выходить из нее, когда им удобно, у них будет больше времени на обдумывание своих ответов и чтение комментариев других респондентов. Фокус-группы в формате форума позволяют достичь более глубокого и полного понимания в ходе онлайн дискуссий, если их будет вести модератор, владеющий техниками онлайн общения. Мнение о том, что люди не будут принимать участие в дискуссиях в течение длительного времени, в действительности оказалось ошибочным. В то время как большинство ФГФФ проводятся в течение трех дней, некоторые из них могут длиться несколько недель, а иногда и месяцев.
Таким образом, ФГФФ эволюционировали в платформу, которая дает качественным исследователям больше контроля над их виртуальной комнатой для фокус-групп. В конце концов, контроль является краеугольным камнем любой эмпирической конструкции. ФГФФ проводятся на платформе, где респондентов приглашают присоединиться к защищенной паролем онлайн дискуссии или фокус-группе в отношении продукта, бренда или услуги. Такие группы, как правило, проходят в течение трехдневного периода.
Модератор имеет полный контроль над временем размещения вопросов, а также временем и продолжительностью демонстрации стимулов (таких как концепции, рекламные объявления или видеоролики). Модератор ФГФФ может размещать в меню вопросы, а также повторно размещать те вопросы, которые были введены ранее; просматривать и пояснять вопросы в реальном времени для всех участников или в частном порядке. Дополнительно можно разбивать участников на подгруппы, что позволяет использовать определенные проективные техники и уточнять полученную информацию. Вы можете обеспечить вход респондента в систему в установленный день в течение нескольких недель или даже нескольких месяцев.
Вопросы могут задаваться с подсказкой — когда респонденты могут видеть ответы других участников — или без подсказки, когда они должны дать свой ответ прежде, чем смогут увидеть чужие ответы. Это похоже на методику, когда респондент пишет что-нибудь в блокноте перед тем, как поделиться этим с остальными участниками очной группы.
ФГФФ позволяет клиентам наблюдать за происходящим и общаться с модератором посредством виртуальной «темной комнаты». Это дает возможность наблюдателям быть частью исследовательского процесса и вносить свой вклад в многочисленные обсуждения тестируемой концепции до ее выхода на рынок. ФГФФ также несет и образовательную функцию, ведь более молодые исследователи могут учиться, наблюдая, как ведет группу опытный модератор.
ФГФФ может придать дополнительную динамику исследовательскому циклу, если будет использоваться совместно с количественными методиками. Количественные опросы гибридного типа, в которых респондентов спрашивают, заинтересованы ли они в участии в ФГФФ, сразу же после или во время количественной части, могут дать дополнительную информацию о том, почему определенные группы респондентов дают те или иные ответы. Это увеличит полноту и качество отчетов, которые вы предоставляете клиентам по итогам проектов. Другое преимущество состоит в возможности пригласить на ФГФФ респондентов, принимавших участие в первоначальном количественном тестировании концепции, после ее пересмотра. Такие респонденты уже являются высокоин- формированными об изучаемой концепции, а значит, могут с легкостью давать комментарии по ее доработке, что не требует дополнительных затрат или времени, необходимых в случае набора новых респондентов.
Веб 2.0 все больше проникает в наш мир, и мы видим, какие новые возможности дает Интернет в области интерактивных и проективных методик. Речь идет о таких возможностях, как; классификация, подчеркивание ключевых слов или размещение собственных фото и видео.
В процессе проведения ФГФФ наши респонденты выполняют домашние задания: например, ходят по магазинам, рассматривая расположение товаров в точках продаж или пытаясь оценить конкурентов, а затем делятся мыслями и наблюдениями со всей группой. Модераторы, которые проводят традиционные оффлайн фокус-группы, используют ФГФФ для продолжения дискуссии или предварительного обучения респондентов, предлагая им заранее концепцию на тестирование. Это способствует более продуктивному использованию времени людей на очной фокус-группе. Клиенты используют ФГФФ как инструмент для ведения личных блогов респондентов или дневников с результатами домашнего тестирования продуктов. Респонденты могут также регулярно размещать на форуме свои комментарии о процессе пользования определенными продуктами или услугами. ФГФФ идеально подходят для качественных В2В исследований, так как они дают топ-менеджерам возможность входить в систему в подходящее для них время; а возможность в любое время наверстать упущенное, ответив на уже заданные модератором вопросы, позволяет респондентам не переживать по поводу того, что они не смогли зайти на форум в строго определенное время. Это дает респондентам чувство контроля над процессом участия в исследовании, предоставляя им время на обдумывание ответов без отвлечения на повседневные дела. Такой формат гораздо удобнее для занятых или высокодоходных участников, чем необходимость приезжать на оффлайн-группу.
ФГФФ используются уже во многих исследовательских проектах. Профессиональные исследователи по всему миру теперь смотрят на них как на надежный, многоцелевой и качественный инструмент. Применив и освоив фокус-группы в формате форума в дополнение к привычным исследовательским инструментам, вы будете удивляться, как могли так долго жить без них.
Форумная онлайн дискуссия: проблемы организации и проведения
Лебедев Павел Андреевич, Полякова Валентина Валерьевна (Общероссийский общественный фонд «Общественное мнение»)
Об онлайн исследованиях уже давно говорят как об основном тренде в развитии методов прикладных социологических и маркетинговых исследований. Еще 9 лет назад Б.Докторов, опираясь на западный опыт16, говорил об онлайновых опросах как об обыденности наступившего столетия, во многом предвосхищая тот интерес, который наблюдается к ним сейчас [1]. В российской исследовательской (прежде всего маркетинговой) среде практика использования массовых опросов в Сети, онлайн панелей уже успела оформиться, но совсем недавно начала получать научную легитимацию17.
C развитием качественного исследовательского подхода в Сети дела обстоят еще хуже. Исследовательские компании уже включают методы онлайн фокус-групп и онлайн интервью в список предоставляемых услуг, однако устоявшегося общепринятого понимания того, что же скрывается за данными понятиями, до сих пор нет.
В западной литературе существует не очень большой, но все же вполне заметный корпус текстов, посвященных особенностям использования метода фокус-групп в Интернете. Среди российских публикаций нам удалось обнаружить небольшое количество работ по этой проблематике. Все они представляют собой краткие описания методики ознакомительного характера, ограничивающиеся перечислением ее потенциальных возможностей и ограничений [2;3;4].
Задача данного текста заключается в том, чтобы совместить теоретические описания метода с демонстрацией ее практического применения. При этом акцент будет сделан именно на процедурных моментах методики и иллюстрации ее применения на конкретном примере. За рамками текста остаются вопросы, касающиеся содержательной стороны исследования и получаемых в результате полевых материалов. Это предмет отдельного обстоятельного разговора.
Таким образом, в первой части статьи будет описана основная специфика сетевого взаимодействия (коммуникации), которая влияет на его сущностную составляющую. Затем будут рассмотрены некоторые основания для различения качественных онлайн методов. После этого мы последовательно рассмотрим основные этапы проведения онлайн дискуссии (рекрутирование участников, проведение дискуссии, завершение дискуссии), сфокусировавшись на возникающих в процессе сложностях и проблемах.
За практическую основу для данной статьи взят исследовательский проект фонда «Общественное мнение» «Поколение XXI: структура и «среды» достижительных стратегий»18, в рамках которого за период с февраля по октябрь 2008 года было проведено 43 онлайн дискуссии со студентами ряда вузов и активистами некоторых молодежных общественно-политических движений. Дискуссии были посвящены ценностям и целям молодежи, обсуждались вопросы об образовании, работе, семье, досуге, планах на будущее.
В основе используемой методики лежит широко известный в интернет-среде Живой Журнал (Livejournal)19, представляющий собой совокупность персональных онлайн дневников (журналов, блогов) пользователей и их объединений (сообществ) по интересам. Онлайн дискуссия в формате Живого Журнала представляет собой закрытое обсуждение определенной темы по заранее разработанному гайду. Участники оставляют свои комментарии на запись (пост) модератора. Модератор может уточнять ответы участников, стимулируя и разворачивая обсуждение в нужное русло, а сами участники могут комментировать не только вопросы модератора, но и ответы других участников. В зависимости от активности участников и широты тематической рамки исследования дискуссия может длиться от трех дней до недели и более. Важный принцип дискуссии подобного рода: участник может включаться в нее в удобное для себя время, не отвлекаясь от повседневных дел. В каждой дискуссии участвуют от 8 до 15 человек.
Также необходимо объяснить, почему мы используем термин «онлайн дискуссия», а не «онлайн фокус-группа», хотя речь по большому счету идет именно об адаптации этого популярного метода к сетевым реалиям. Известный специалист в области использования метода фокус-групп Т.Гринбаум в своем руководстве по проведению фокус-групп, отмечая достоинства и перспективы адаптации этого метода к использованию в Интернете, весьма убедительно показывает, что подобные обсуждения не отвечают ключевым методологическим требованиям, предъявляемым к методу фокус-групп. Именно поэтому он призывает использовать другую терминологию для обозначения нового исследовательского подхода [5, p. 98–101]. В данном случае мы полностью солидарны с позицией Гринбаума и используем нейтральный термин «онлайн дискуссия» (ОД).
В завершение вводной части мы хотим выразить благодарность Л. Паутовой за организационную помощь и моральную поддержку, И. Климову и Е. Рождественской — за важные замечания и конструктивную критику первого варианта текста, а также С. Петуховой, Ю. Брыксиной, О. Завадскому, принимавшим участие в полевых работах. Отдельная благодарность — О. Фейгиной, с которой началась практика использования ОД в ФОМе.
Набор участников
Рекрутирование в Интернете характеризуется тремя сложностями, которые в обычной ситуации проявляются в гораздо меньшей степени. Во-первых, мы не можем быть до конца уверены, что наше приглашение дойдет до адреса: различные спам-фильтры, блокирующие сообщения от неизвестных получателей, сбои в работе систем и т.п. Кроме того, даже если потенциальный участник получит приглашение, очень велика вероятность несерьезного к нему отношению из-за множества рекламной информации, постоянно рассылаемой по почте или через программы обмена мгновенными сообщениями. Во-вторых, исследователь не всегда может проверить, насколько информация о человеке, имеющаяся в открытом доступе в Сети, соответствует истине. В-третьих, не все пользователи предоставляют в открытом доступе те характеристики, которые могут представлять интерес для рекрутера (пол, возраст, учебное заведение и т.п.).
В данном исследовании было только два жестких условия набора участников (которые тем не менее были несколько раз нарушены): возраст — представители молодежи до 25 лет; принадлежность к молодежному движению или обучение в вузе (был конкретный список вузов и движений).
Исходная схема поиска респондента выглядела следующим образом: в ЖЖ отбирались пользователи, указавшие свою принадлежность к нужному нам вузу или отметившие название движения среди информации о себе, своих интересах. Этим ЖЖ-пользователям отправлялось приглашение по почте или через программу обмена мгновенными сообщениями. Надо отметить, что в рассматриваемом исследовании рекрутментом занимались сами модераторы. Это было сделано для того, чтобы модератор мог в предварительном общении до дискуссии выяснить, действительно ли респондент соответствует требуемым параметрам, а также чтобы модератор имел возможность контактировать с участниками не только на дискуссионной площадке, но и с помощью альтернативных средств связи. Это дает возможность модератору хотя бы как-то контролировать включенность дискутантов в обсуждение, в случае отсутствия должной активности стимулировать участников к обсуждению.
Сложности с рекрутированием возникли практически сразу. Скорость отклика потенциальных дискутантов была невысока. Некоторые участники, дав первоначальное согласие, затем исчезали. Кроме того, начали возникать проблемы с базой потенциальных респондентов. Представителей некоторых вузов и движений в ЖЖ оказалось не так много. У многих возможных участников отсутствовали контакты, по которым с ними можно установить связь (электронная почта, номер программы обмена мгновенными сообщениями). Поэтому, помимо личных приглашений пользователям ЖЖ с соответствующими интересами или необходимыми характеристиками через электронную почту, программу обмена мгновенными сообщениями, были использованы следующие способы приглашения на дискуссию:
1. Объявление в рабочем ЖЖ (http://moderator-fom.livejournal.com) о наборе участников на дискуссию.
2. Личные приглашения на дискуссию участников массового опроса, оставивших свои координаты (электронный адрес или ICQ).
3. Общие приглашения на дискуссию в тематических ЖЖ-сообществах.
4. «Снежный ком» — обращение к друзьям и знакомым по рекомендации уже согласившегося участника.
5. Обращение к лидерам (например, руководителям движений, модераторам сообществ) с просьбой о помощи в наборе участников для дискуссии.
6. Объявления в вузах на информационных стендах.
7. Личные контакты сотрудников ФОМа.
В сложившейся ситуации не всегда можно было четко проконтролировать действительное соответствие участников необходимым параметрам. Так, например, лидер молодежного движения (чаще всего старше 25 лет) может пригласить участников движения старшOго возраста и участвовать сам. Через метод снежного кома на группу также могут попадать бывшие студенты/участники движений и т.п. Можно выделить несколько причин, повлиявших на процесс набора участников:
— Вероятно, многие интернет-пользователи, которым делалась рассылка с приглашением участвовать в дискуссии, относились к нему как к спаму, рекламе.
— В процессе поиска по интересам в различных ЖЖ-сообществах часто попадались люди, интересующиеся какой-то проблемой, например молодежной политикой, но не имеющие нужной институциональной привязки.
— Многие потенциальные участники отказывались участвовать, ссылаясь на занятость, нагрузки в учебе или в деятельности движения или отсутствие интереса к такого рода занятиям. Для активистов молодежных движений также характерно желание передать наше приглашение более компетентным людям, в пресс-службу, информационный или пиар-отдел, тем самым избавившись от необходимости участвовать в непонятной процедуре.
— Еще одной возможной причиной отказа некоторые интернет- пользователи считают неясность предложения. Не всем понятно как, что и для чего будет происходить.
— Очень интересна причина отказа от участия представителей ряда оппозиционных молодежных движений. Многие потенциальные респонденты высказывали опасения, что сотрудниками ФОМа на самом деле представляются агенты спецслужб или ФОМ проводит исследование по заказу спецслужб28.
Проведение онлайн дискуссии
Ключевой этап исследования — это непосредственное проведение, модерирование дискуссии. Стоит отметить, что некоторые исследователи прямо отмечают, что проведение онлайн дискуссий — это настоящий вызов модератору. В ситуации, когда сразу несколько человек пишут свои комментарии по какой-то теме, модератор должен очень оперативно реагировать на происходящее, задавать уточняющие вопросы, быть очень внимательным для того, чтобы не упустить какого-то важного замечания, суждения и т.п. Некоторые даже советуют работать в паре — модератор и ассистент, чтобы облегчить работу [15, p. 82]. Такие сложности особенно характерны для синхронных ОД. Однако это не значит, что в асинхронных дискуссиях подобных сложностей не может возникнуть. Так, например, в рамках нашего проекта вечерами, когда большинство участников собирались на дискуссионной площадке, обсуждение в блоге мало чем отличалось от чата. С другой стороны, в асинхронных дискуссиях присутствует и другая сторона медали — длительные периоды затишья, когда участники или совсем не пишут, или пишут мало. Тем не менее модератор все равно должен постоянно следить за происходящим, быть начеку, чтобы включиться во вдруг оживившееся обсуждение, пока оно вновь не стихло. Таким образом, во время полевых работ модераторам приходилось находиться около компьютера практически круглые сутки, во время активной стадии дискуссии занимаясь только модерированием, а в периоды затишья — наблюдать за дискуссией и рекрутировать участников для следующей ОД.
Достаточно большой период времени, отводимый на дискуссию, приводит к тому, что участники включаются в нее в разное время. При этом запоздалое включение некоторых участников в дискуссию нельзя считать аномальным. Но это меняет привычный линейный ход дискуссии. Участник может включиться в обсуждение какой-то темы в тот момент, когда остальные дискутанты уже перешли к другим вопросам. Кроме того, протяженность во времени также создает благоприятные условия для преждевременного выхода из дискуссии, если интерес респондента пропадает или у него меняется жизненная ситуация таким образом, что он далее не может участвовать. Также в данных условиях крайне важную роль начинает играть интерес респондентов к различным темам дискуссий, ответственность и память. В условиях отсутствия жестких временных ограничений участник может просто забыть про дискуссию, если у него появятся какие-то очень важные дела.
Помимо всего этого существенная временная продолжительность ОД отражается и на типе получаемой информации. Респондент оказывается одновременно в двух ролях: участника и внешнего наблюдателя. Встать на позицию внешнего наблюдателя в ОД гораздо легче, чем при реальной дискуссии. Включаясь в дискуссию периодически, участник имеет возможность прочитать уже состоявшееся обсуждение, что дает ему возможность увидеть со стороны и оценить разные позиции, линии аргументации. Последние не всегда осознаются при единовременной включенности в обсуждение, когда участники взаимодействуют от высказывания к высказыванию и отвечают спонтанно. Когда респондент подключается позже, то он может реагировать разными способами. Во-первых, он может обдумать высказанные точки зрения, в том числе и ту, которая у него была ранее, и изменить свое мнение; во-вторых, увидев общий настрой участников, он может побояться высказать свое собственное мнение и выдать конформистское мнение; в-третьих, возможно высказывание критического замечания к уже существующим позициям, что может привести к возобновлению дискуссии в подтеме после того, как участники уже подключились к другой.
Таким образом, возникает феномен, который мы называем содержательной дискретностью ОД. Дискуссия в формате ЖЖ (или форума) подразумевает сохранение предыдущих, ранее обсуждавшихся постов (тем). С учетом того, что обычно дискуссия состоит из 10–15 постов (включая формальные посты-приветствия, означающие начало обсуждения и заключительные посты, информирующие о том, что дискуссия завершается), во второй половине дискуссия представляет собой определенное количество постов, в которых обсуждение с разной степенью интенсивности может вестись параллельно. Участник дискуссии, особенно включившийся в обсуждение с опозданием, может сразу высказаться по нескольким темам. Таким образом, временная последовательность ответов на вопросы не соотносится с последовательностью обсуждаемых тем (т.е. с линейной логикой гайда). Именно здесь и возникает содержательная дискретность ОД.
На степень раскрытия темы большое влияние оказывает интерес к ней. В случае заинтересованности участники отвечают гораздо более развернуто, в большей степени склонны к коммуникации с другими участниками. В таком случае модератору гораздо сложнее контролировать группу и ее отклонения от сути дискуссии, однако здесь возникает необходимая групповая динамика, и исследователь имеет возможность получить больший спектр информации.
Когда тема не представляет интереса или оказывается слишком сложной для обсуждения такого формата, дискуссия может превратиться в набор диалогичных линий, реплик модератора и каждого участника и фактически сводится к групповому интервью. Так, например, в ходе рассматриваемого исследования вопросы о жизненных целях приводили некоторых участников в замешательство, поскольку ранее им не приходилось серьезно задумываться по этому поводу.
Еще одной важной отличительной чертой ОД является проблема включенности участников дискуссии (включая модератора) в несколько параллельных коммуникативных пространств, начиная от общения в Интернете за рамками ОД, заканчивая повседневными взаимодействиями лицом к лицу. Актуальное наличие этих пространств может оказывать влияние на конкретного респондента и соответственно на саму дискуссию несколькими способами. Во-первых, это может отвлекать респондента от дискуссии и приводить к потере какой-то части информации. Во-вторых, респондент может в параллельном режиме начать обсуждать с кем-то вопросы, которые ставятся на дискуссии, и потом привнести часть информации из параллельного пространства в дискуссию. В-третьих, сам модератор может параллельно общаться с респондентами. Причем информация, получаемая вне групповой дискуссии, может вступать в противоречие с информацией, получаемой от того же самого респондента в рамках дискуссии. Это особенно характерно для ОД, в которых нет анонимности участников, а обсуждаемые вопросы являются сенситивными. В частности, такая ситуация наблюдалась в группах с представителями молодежных движений (набирались гомогенные группы), в которых обсуждались различные вопросы, связанные с их организацией. Таким образом, роль параллельных пространств крайне неоднозначна.
Все вышеперечисленные особенности трансформируют привычные для фокус-групп в режиме лицом к лицу представления о групповой динамике и роли модератора. Учитывая, что в ОД участники обладают большей свободой действий, чем в реальной группе, а контроль модератора над процессом гораздо слабее, особую роль начинают играть лидеры мнений внутри группы. При этом основная задача модератора заключается в том, чтобы корректировать поведение таких респондентов, чтобы они способствовали обсуждению тем, важных для исследования, а не переключали внимание участников на отвлеченные темы.
Завершение дискуссии
После того как все значимые для исследования темы обсуждены, ОД вступает в стадию завершения. Этот этап начинается с того момента, как модератор выкладывает заключительный пост о том, что тем для обсуждения больше нет и дискуссия подходит к концу. Однако с момента публикации этого поста до окончательного завершения дискуссии проходит еще какое-то время, обычно около суток, чтобы все участники имели возможность добавить то, что, по их мнению, было упущено и т.п. По истечении этого периода все дискуссионные посты переводятся в разряд архивных и становятся видны только модератору. Каждому посту дискуссии присваивается метка (tag), характерная только для данной ОД. Затем по этой метке отбираются все посты дискуссии по порядку, и получается почти готовый транскрипт, который быстро переносится из площадки ЖЖ в текстовый редактор. На этом формально ОД можно считать завершенной. Однако не все так просто.
Из-за того, что модераторы принимают участие в рекрутменте, у них остается связь с участниками дискуссий после ее завершения. Так возникает возможность для постдискуссионой коммуникации. С течением времени у постоянно практикующего модератора образуется большое количество профессиональных контактов. Здесь возникает отдельный вопрос о формировании карьеры исследователя и о том, как именно должен вести себя модератор со своими рабочими контактами.
Формированию постдискуссионной составляющей в данном случае способствует сама площадка на открытой платформе, подразумевающей наличие длительных взаимоотношений между людьми, ведущими блог. Подавляющее большинство участников ведут свои блоги не только для участия в дискуссиях. Поэтому они следят за происходящим в дискуссионном журнале, периодически заявляя о своем желании принять участие в очередном обсуждении.
***
Подводя итоги, стоит отметить, что для нас данный текст представляет прежде всего попытку отрефлексировать и систематизировать личный опыт полевой работы. Даже сейчас у нас осталось немало вопросов к использованной методике, а следовательно, к самим себе. Тем не менее полученные в ходе рассмотренных дискуссий содержательные результаты29 свидетельствуют о том, что подобные подходы вполне могут быть использованы для сбора социологических данных. И все же дальнейшая экспериментальная и теоретическая проработка вопросов, связанных с использованием качественных методов в Интернете, просто необходима. Перспективы данного подхода в прикладных исследованиях очевидны. Однако для того, чтобы онлайн методы стали социологическим мейнстримом в России, необходима долгая работа. Эта работа связана не только с улучшением используемых методик. Не меньшую важность здесь имеет социальная проблема нарастающего информационного неравенства и необходимости развития информационного общества в России.
Литература
1. Докторов Б.З. Онлайновые опросы: обыденность наступившего столетия // Телескоп: наблюдения за повседневной жизнью петербуржцев, 2000, №4.
2. Лагун Л. Онлайн фокус-группы как новый метод исследований в сети Интернет // Маркетинг и маркетинговые исследования, 2001, №2.
3. Лагун Л. Онлайновые фокус-группы // Интернет-маркетинг, 2002, №2.
4. Шашкин Л. Фокус-группы онлайн! Новые технологии маркетинговых исследований // Рекламодатель, 2006, №6. [Электронный документ]. http://www.reklamodatel.ru/?id=831
5. Greeenbaum T.L The handbook for focus group research / Sage, 1998.
6. Schneider S.J, Kerwin J, Frechtling J, Vivari B.A. Characteristics of the discussion in online and face-to-face focus groups // Social science computer review. Vol. 20, No. 1, p. 31–42.
7. Гусейнов Г. Берлога веблога Введение в эрратическую семантику // «Говорим по-русски», март 2005. [Электронный документ] http//www.speakrus.m/gg/micrcprosa_erratica-1.htm
8. Гусейнов Г. Заметки к антропологии русского Интернета: особенности языка и литературы сетевых людей // НЛО, №43, 2000. [Электронный документ] http://maga- zines.russ.ru/nlo/2000/43/main8.html
9. Couper M. P. Web surveys: a review ofissues and approaches // The public opinion quarterly. Vol. 64, No. 4, p. 464–494.
10. Bryman A. E-research: using the Internet as object and method of data collection // Bryman A. Social research methods / 3rd ed. Oxford University Press, 2008, p. 627–659.
11. Hughes J, Lang K.R Issues in online focus groups: lessons learned from an empirical study of peer-to-peer filesharing system users // Electronic journal of business research methods. Vol. 2, No 2, 2004, p. 95–110.
12. Шурыгина И.И. Интернет — пространство свободы выбора // Онлайн исследования в России: тенденции и перспективы / Под редакцией Шашкина А.В. и Поздняковой М.Е. — М., Изд-во Института социологии РАН, 2006, с. 129–139.
13. Garcia A.C., Standlee АЛ, Bechkoff J, Cui Y. Ethnographic approaches to the Internet and computer-mediated communication // Journal of Contemporary Ethnography. Vol. 38, No. 1, p. 52–84.
14. Левинсон А. Открытые групповые дискуссии как метод прикладных социологических исследований // Вестник общественного мнения. №6, 2007. [Электронный документ] http://www.polit.ru/research/2008/02/20/ogd.html
15. Grossnickle J, Raskin O. The handbook of online marketing research / McGraw-Hill, New York, NY, 2000.
16. Van Nuys D. Online focus groups save time, money // Silicon Valley / San Jose Business Journal, 1999. [Электронный документ] http://www.sanjose.bcentral.com/sanjose/stories/1999/11.29/smallb4.html
17. Лебедев П. Вместе веселее, или Один в поле не воин. Очерк о молодежном общественно-политическом активизме // Социальная реальность, №5–6. 2008, с. 41–69, 64–71.
18. Лебедев П. Категория успеха в представлении активистов молодежных движений. // Трансформации «политического» и социальные институты в современной России. Сборник статей аспирантов факультетов прикладной политологии и социологии ГУ- ВШЭ. Отв. ред. МЮ.Урнов, Л.В.Поляков, Г.В.Иванченко. М., 2008, с. 158–171.
19. Лебедев П.А., Паутова Л.А. Ресурсы и средства достижения цели: на примере активистов молодежных движений // Вестник Омского университета. Серия «Социология», №1/2, 2008, с. 4–16.
20. Шилова Л..С. Образ успеха и жизненные стратегии молодежи // Вестник Омского университета. Серия «Социология», №1/2, 2008, с. 24–36.
1 Разумеется, речь идет о совокупностях с практически полным доступом к телефонной связи.
2 Такие совпадения, конечно, случаются, как случаются и сбывшиеся предсказания при гадании по внутренностям животных или точные прогнозы погоды на сезон.
3 Существование многочисленных и впечатляющих экспериментальных исследований в социальной психологии, а также вклад, внесенный в методологию экспериментирования в социальных науках Д. Кэмпбеллом и его учениками и последователями, позволяют надеяться на то, что нынешнее положение дел в социологии еще может измениться к лучшему.
4 То есть выборки, привязанной к некоторой социальной группе, образованной сетью прямых и опосредованных диадических взаимодействий. Ранний пример использования сетевой выборки в социологии — [6]. Обоснование методов оценки выборочного смещения для выборок типа «снежного кома» было впервые представлено в: [7].
5 Здесь и далее мы употребляем словосочетание «социальные сети» в расширительном и нетерминологическом смысле слова, получившем распространение в публичном дискурсе.
6 Создатели и администраторы социальных сетей нередко заинтересованы в развитии социологических и маркетинговых исследований на их основе, рассчитывая использовать полученную информацию для планирования целевой рекламы [см., например, 11].
7 Существуют и светлые стороны быстрого клонирования агентств и институций, пытающихся играть роль «Больших Братьев» в сети: переизбыток «информации о персональной информации» в конечном счете служит надежной защитой от перспективы тотального надзора, маскируя значимые сигналы в изобилии случайных данных.
8 Данные исследования «ГфК-Русь Омнибус», всероссийский массовый опрос населения в возрасте от 16 лет и старше, n=2204, полевые работы прошли 18 ноября — 1 декабря 2008 года.
9 ООО «Интерэктив сервисез» — российская компания, предоставляющая полный спектр интерактивных услуг: SMS-сервисы, голосовые меню (IVR) и услуги call-центра для решения маркетинговых, сервисных, исследовательских и прочих задач. Основана в 2003 году.
10 ООО «ГфК-Русь» — институт маркетинговых и социальных исследований, основанный в России в 1991 году и входящий в международную исследовательскую организацию GfK Group.
11 Перевод статьи выполнен Мавлетовой А.М., Online Market Intelligence (OMI).
12 Слайдер — это шкальный вопрос, где респондент имеет возможность перемещать по шкале «бегунок» при помощи мыши, тем самым выбирая то положение на шкале, которое наилучшим образом отражает его мнение.
13 При этом мы не выделяем отдельно неответ как тотальный отказ от участия в опросе, т.к. в данном случае было бы очень трудно установить его причину (скажем, связана ли она с техническими сложностями, со случайными факторами и т.д.).
14 Впрочем, это также, на наш взгляд, верно и в отношении возможных экспериментальных планов по изучению инструментария оффлайновых опросов, однако этот вопрос остается за рамками рассмотрения в данной работе.
15 Уровень удовлетворенности респондентов онлайн опроса
16 Как показал анализ публикаций на тему онлайн исследований, в западном социологическом дискурсе первый значимый всплеск интереса к проблематике онлайн исследований приходится как раз на конец 90-х — начало 00-х.
17 В качестве примера можно привести первый сборник «Онлайн исследования в России». Хотя при этом в трех главных социологических журналах страны («Социологический журнал», «Социологические исследования», «Социология 4М») на период до мая 2009 года не было ни одной публикации, проблематизирующей практику применения онлайн методов. При этом история одного из самых популярных интернет-исследований «Онлайн монитор», проводимого компанией MASMI, насчитывает уже около 8 лет.
18 Проект поддержан Фондом подготовки кадрового резерва «Государственный клуб» в соответствии с распоряжением Президента РФ № 367-РП от 30 июня 2007 года о государственной поддержке некоммерческих неправительственных организаций, участвующих в развитии гражданского общества.
19 Дискуссии проходили в рамках журнала «Модератор-ФОМ» http://moderator-fom.livejournal.com
20 Хорошей иллюстрацией данного феномена может служить так называемый жаргон подонков («Жаргон падонкафф», «Олбанский язык») — распространившийся в российском Интернете стиль употребления русского языка с нарочно неправильным написанием слов, употреблением определенного сленга и т.п. Подробнее об этом см., например, [7; 8].
21 Интересно, что о сходной проблеме в 2000 году писал М. Купер, пытаясь систематизировать разнообразные технологии проведения интернет-опросов. В конце девяностых исследователь предсказывал, что широкое распространение методов сбора данных в Интернете приведет к разделению всех интернет-исследований на два поля — высококачественных исследований, использующих стандарты классических опросов, и низкокачественных исследований, ставящих во главу угла низкую стоимость и высокую скорость получения данных. Прогноз не оправдался, и М. Купер констатирует, что произошла фрагментация исследовательского поля, в котором образовалось множество отличающихся друг от друга подходов, не относящихся к одной или другой крайности, а находящихся где-то в промежутке. Исследователи стремились занять свою нишу для каждого конкретного подхода или продукта [9, p. 466].
22 Весьма распространена методика онлайн дискуссий в формате чата. Именно ее имеют в виду, когда говорят об онлайн фокус-группе. Интересный анализ метода представлен, например, [11].
23 Примером исследования свободных форумных обсуждений является, например, анализ мнений о допустимости употребления легких наркотиков, проведенный И. Шурыгиной [12].
24 Здесь мы, с одной стороны, вступаем в зону этнографических исследований в Интернете (по этой теме см. [13].) С другой стороны, спонтанные обсуждения в естественных условиях для информантов очень похожи на метод открытых групповых дискуссий, о котором пишет А. Левинсон [14].
25 Конечно, пользователи ЖЖ и пользователи блогов вообще — это разные совокупности, которые могут отличаться между собой, в том числе и по социально-демографическому профилю. Однако в данном случае нам важно зафиксировать специфику блоггеров как группы, а не описать точные параметры пользователей ЖЖ.
26 В этой связи весьма показательна публикация Д. Ван Нюйса, которая называется «Онлайн фокус-группы экономят время и деньги» [16].
27 Здесь и далее будут приводиться цитаты, иллюстрирующие те или иные значимые моменты в процессе проведения полевых работ. Практически все цитаты взяты из разговоров с участниками не в рамках непосредственно дискуссии, а в параллельном общении с помощью электронной почты, программы обмена мгновенными сообщениями и т.п.
28 Весьма показательным в данном случае является следующее сообщение в ЖЖ участника одного из молодежных движений. См. http://a-vistababy.livejournal.com/50842.html.
29 С некоторыми содержательными результатами исследования, полученными в ходе данного проекта и прежде всего метода ОД, можно познакомиться здесь [17; 18; 19; 20].
Онлайн исследования как метод
http://hrm.ru/onlajjn-issledovanija-kak-metod
Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности
Девятко Инна Феликсовна (Государственный Университет — Высшая Школа Экономики, Институт социологии РАН)
Рассуждения о принципиальной методологической новизне онлайн исследований в социальных науках нередко основаны на явном или неявном противопоставлении сетевого опроса, обследования или онлайн эксперимента как техник, обладающих очевидными преимуществами с точки зрения эффективности затрат, широты охвата людей, мест и временных интервалов, использованию Интернета как принципиально новой исследовательской среды: интерактивной, коммуникативно прозрачной, децентрализованной (во всяком случае, с точки зрения наивного пользователя) и в силу этих обстоятельств предполагающей радикальное переосмысление привычных отношений исследователей и респондентов (информантов, испытуемых). В данной небольшой статье я сделаю попытку проблематизировать некоторые кажущиеся очевидными преимущества онлайн исследования как техники традиционного выборочного опроса и указать на возможные направления ее действительно новаторского использования. Кроме того, я кратко остановлюсь на угрозах и возможностях для методологии социальных наук, скрытых в конкурирующих исследовательских программах, ориентированных на «невключенный» или неявный мониторинг коммуникативных потоков в социальных сетях.
Безусловно, с точки зрения: 1) технологичности доступа к респондентам, 2) широты пространственного охвата при фиксированном бюджете, 3) управления временными параметрами опроса для обеспечения его одномоментности (или при необходимости — для реализации сложных процедур последовательного, повторного или привязанного к времени значимых оффлайн событий контакта с отдельными группами опрошенных), 4) контроля за качеством ввода ответов и процессом кодирования и обработки опросных данных, 5) легкости реализации процедур контроля над выборочными единицами, 6) обратной связи с респондентами и некоторых других извечных методологических трудностей — онлайн опросы имеют явные преимущества в сравнении с привычными опросными техниками.
Оценивая в целом качество, т.е. валидность и надежность данных, получаемых в онлайн опросах, мы можем исходить из следующих представлений о диапазоне их значений: внутренняя валидность (по меньшей мере конструктная) сопоставима с валидностью данных, получаемых при использовании других дистантных техник опроса. Хотя для онлайн панелей показана несколько большая тенденция опытных респондентов к систематическому выбору первых ответов, переносу установки на ответ между пунктами табличных вопросов и «быстрой» стратегии заполнения [1], систематические данные относительно конструктной валидности результатов онлайн опросов, позволяющие указать на специфические для данной техники угрозы качеству измерения, пока отсутствуют. Надежность-согласованность данных онлайн опросов в общем случае может достигать нижней границы, а при реализации разумных и ненавязчивых процедур автоматизированного контроля над качеством и полнотой заполнения вопросника быть несколько выше, чем в оффлайн опросе, надежность-воспроизводимость, насколько можно судить по существующим оценкам, примерно равна надежности данных, собранных оффлайн (по крайней мере, с точки зрения основных угроз надежности).
Однако внешняя валидность онлайн данных как возможность обоснованного обобщения выводов выборочного обследования на генеральную совокупность составляет подлинную методологическую проблему, не имеющую легких и очевидных решений. Прежде всего рассмотрим такой специфический и редко упоминаемый аспект внешней валидности, как валидность статистического вывода, т.е. обоснованность базирующихся на выборочных данных статистических выводов об отношениях (т.е. популяционных значениях) мер связи между переменными. Одна из хорошо известных угроз валидности статистического вывода связана с низкой надежностью используемых индикаторов, искажающей оценки величины отношения между изучаемыми переменными, однако в этом аспекте, как отмечалось выше, данные онлайн опросов не отличаются принципиально от других опросных данных. Другие три угрозы валидности вывода требуют большего внимания. Слишком маленькая вероятностная выборка может не обеспечивать достаточной мощности статистического теста, однако выборки онлайн исследований обычно велики и стоимость рекрутирования дополнительных респондентов сопоставима с нижней границей стоимости увеличения объема выборки оффлайн. Вместе с тем мы обычно не располагаем данными о гомогенности или гетерогенности исследуемых совокупностей в тех случаях, когда выборка для онлайн опроса не основана на вероятностной оффлайн выборке (предпочтительно территориальной). Даже если речь идет об опросе, результаты которого предполагается обобщить на такую «привилегированную» совокупность, как пользователи Интернета, мы не располагаем пока данными для оценки угрожающей валидности вывода случайной гетерогенности такого рода выборок. Следует также помнить о том, что существующие выборочные оценки параметров «населения Всемирной сети», на которые мы могли бы опираться, зачастую основаны на выборках из онлайн панелей, сильно смещенных в сторону «профессиональных» респондентов, постоянно участвующих во множестве онлайн панелей в силу утилитарной или иной мотивации. Вместе с тем имеющиеся эмпирические свидетельства относительно систематических ошибок измерения, связанных с «панельным обусловливанием» опытных участников опроса, противоречивы: тренированные респонденты обнаруживают некоторые отличия от новичков в подверженности эффектам социальной желательности и в использовании «низкозатратных» стратегий заполнения, однако не слишком отличаются с точки зрения своей подверженности позиционным эффектам и доли неответов для разных форматов вопроса [1].
Однако главные угрозы внешней валидности связаны все же с задачей обобщения оценок и выводов, полученных на онлайн выборках, на какую-либо генеральную совокупность. Возникающие здесь проблемы более или менее удовлетворительно решаются в тех случаях, когда генеральная совокупность — это пользователи Сети (предпочтительно члены локального языкового сообщества), подписчики тех или иных сетевых сервисов либо объединенные организационной принадлежностью пользователи локальной сети (например, студенты университета, сотрудники фирмы). Из трех главных угроз реперезентативности: 1) отсутствия основы выборки, 2) проблем охвата, т.е. неспособности используемой выборочной процедуры охватить реальную генеральную совокупность (т.е. задать известную ненулевую вероятность попадания в выборку для каждой единицы совокупности) и 3) неответов либо отказов от участия — в описанных случаях обычно удается решить первые две. (Отметим здесь уникальные преимущества интернет-обследований для изучения деловых и бизнес-организаций, для которых существуют множественные сетевые основы выборки и источники данных.) Также проблемы универсализации результатов онлайн опросов поддаются решению в тех случаях, когда онлайн выборка получена в результате оффлайн опроса (например, в результате рекрутирования респондентов телефонного опроса со случайным дозвоном, RDD1). Конечно, в этих случаях возникают систематические ошибки выборки, связанные с систематическими различиями в отклике на приглашение участвовать в опросе, различиями в вероятности полного заполнения анкеты и т.п. Однако наличие априорной информации об исследуемой генеральной совокупности, основанной на оффлайн выборке, позволяет провести апостериорную коррекцию данных онлайн опроса, в том числе выборочных оценок коэффициентов связи между исследуемыми переменными, с помощью подхода, основанного на моделировании отношений между переменными (model-based approach), перевзвешивания или более спорных приемов приписывания отсутствующих значений на основе сопоставления респондентов по некоторым ключевым переменным (matching). Серьезные методические исследования возможностей устранения выборочных ошибок онлайн опросов с помощью основанных на данных из базовых (т.е. служивших источником рекрутирования респондентов для онлайн исследования) оффлайн панелей пока немногочисленны. Недавнее масштабное исследование такого рода, нацеленное на уточнение возможностей использования процедур перевзвешивания и коррекции выборочных оценок, полученных в онлайн опросе с помощью основанных на общенациональной оффлайн выборке оценок предрасположенностей (propensity scores), продемонстрировало возможности некоторого улучшения выборочных оценок для дихотомических переменных, однако для остальных переменных перевзвешивание и приписывание значений не привели к существенным изменениям в точности оценивания параметров генеральной совокупности, что, как отмечают авторы исследования, бросает тень сомнения на применимость стандартных post hoc процедур коррекции ошибок отбора для участников онлайн опросов [2].
Однако все эти процедуры неприменимы, если речь идет о наиболее распространенном типе онлайн панелей, основанных на добровольном саморекрутировании (именуемых также access или opt-in панелями). Во всех этих случаях мы не можем определить генеральную совокупность и применить методы вероятностного отбора. Соответственно, валидные обобщенные выводы о характеристиках изучаемых субъектов, помимо тех, кто был непосредственно охвачен опросом, невозможны. Попытки некоторых исследователей рынка обосновать использование случайных подвыборок из целевых выборок, основанных на самоотборе, через апелляции к модельному подходу, джекнайфу или чудесному совпадению оценок отдельных параметров целевых выборок с оценками, полученными в оффлайн обследованиях, проведенных на вероятностной выборке2, часто осознанно или неосознанно мотивированы понятным, но не оправдывающим отступление от выстраданных в давних методологических дискуссиях правил обоснованного статистического вывода желанием снизить издержки на проведение масштабных маркетинговых опросов в мире, где массовизация опросного ремесла и сверхэксплуатация респондентов привели к «опросной усталости», выражающейся в устойчивом росте доли неответов и отказов от участия в исследовании. Как справедливо отмечает Г. Натан, «...изобилующие повсюду интернет-версии развлекательных опросов, потребительских обследований и анкет, нацеленных на получение обратной связи, а также опросов, основанных на самоотборе и добровольной регистрации, адресованы любому, кто захочет отвечать. Никакие валидные выводы не могут основываться на таких попытках, никак не связанных с научными опросами. К сожалению, большое число широко распубликованных призывов к участию потенциальных респондентов в этих интернет-опросах привело к появлению огромного количества респондентов, которые, однако, не являются репрезентативными по отношению к какой-либо хорошо определенной совокупности. Тот факт, что число полученных таким образом респондентов очень велико (исчисляясь иногда сотнями тысяч), пытаются представить как залог надежности результатов, однако в действительности не существует даже возможности оценить внутренне присущие этим подходам смещения. Попытки преодолеть последствия отсутствующего планирования выборки с помощью постстратификации или других методов взвешивания либо приписывания значений (imputation) неэффективны для исправления возникающих смещений» [3].
Существуют ли очевидные перспективы преодоления описанных угроз внешней валидности для онлайн обследований? Возможно, некоторые технические решения проблем множественного заполнения, манипулирования идентичностью и, вероятно, центральной проблемы — создания надежных основ для олайн выборок — будут найдены по мере развития все более персонализированных средств коммуникации (в частности, распределения нынешней функциональности ПК между новыми специализированными устройствами, предназначенными для сетевой коммуникации, хранения текстовых и графических данных и т.п.). Не исключено также, что постоянно трансформирующееся законодательство в области «цифрового гражданства», т.е. прав и ответственности, возникающих при использовании сетевых технологий, также приведет к сужению области анонимности пользователя (эти процессы необязательно послужат росту свободы и демократии, однако решат некоторые методические проблемы онлайн исследований). Однако мне представляется, что социологам стоит воспользоваться нынешней «технологической паузой» для более широкого внедрения в исследовательскую практику альтернативных целевым онлайн выборкам методов сетевых исследований, обладающих не только внешней, но и внутренней валидностью.
Первая альтернатива несовершенным opt-in опросам, являющаяся во многих отношениях методически безупречным решением, пусть и требующим мобилизации значительных финансовых ресурсов и создания инфраструктуры для академического сотрудничества (с возможным участием бизнеса), — создание полноценной общенациональной онлайн панели, основанной на вероятностной выборке. Имеющийся зарубежный опыт такого рода исследовательских коллабораций, предполагающий при необходимости обеспечение доступа в Интернет для респондентов, отобранных с помощью полноценной (оффлайновой) основы выборки, может расцениваться как преимущественно позитивный. (Впечатляющим европейским примером такого опыта может служить нидерландский проект MESS «Продвинутая междисциплинарная среда для измерения и экспериментирования в социальных науках», включающая в себя лонгитюдную панель LISS, сопоставимую по своим возможностям с лучшими общенациональными территориальными выборками домохозяйств.)
Еще одна методическая альтернатива, незаслуженно игнорируемая социологами, — экспериментальные и квазиэкспериментальные планы. Далеко не всегда стратегическая цель исследования, академического или прикладного, в действительности требует решения задачи выборочного оценивания параметров генеральной совокупности. Во многих ситуациях осмысленные вопросы относительно структуры причинных связей между независимыми и зависимыми переменными (например, между политическими установками и электоральным поведением или стилем рекламного сообщения и его эмоциональной оценкой и т.п.) предполагают разработку именно экспериментального плана, обладающего несомненными преимуществами в проверке каузальных моделей. Оценка величины эффекта в генеральной совокупности по имеющимся выборочным наблюдениям во всех этих случаях — задача столь же вторичная по отношению к задаче обнаружения собственно эффекта в эксперименте, как, скажем, оценивание популяционного значения коэффициента корреляции между воздействием медицинского препарата и продолжительностью ремиссии для совокупности всех потенциальных и реальных пациентов в сравнении с задачей экспериментальной проверки самого факта наличия описанного воздействия. Иными словами, лишь инерция методических предпочтений и отсутствие прочной традиции экспериментирования в социологии3 препятствуют осознанию чрезвычайно широких возможностей онлайн экспериментов, для которых внутренняя ваUидность и рандомизация условий являются куда более существенными, нежели обеспечиваемая вероятностным отбором респондентов внешняя валидность. В последние годы эти возможности столь активно осваивались представителями других наук о человеке (прежде всего психологами), что возникла необходимость в создании не только методических пособий и соответствующих сетевых ресурсов, но и специальных руководств, регулирующих соблюдение этических норм при проведении экспериментов в сети [4].
Особого упоминания заслуживает такая недооцененная перспектива онлайн экспериментирования, как факторные опросные планы (factorial survey design), использующие технику виньеток. Факторные опросные планы, ныне преимущественно используемые в компьютеризованных телефонных опросах и методических экспериментах, могут быть легко реализованы и в онлайн опросах. В момент опроса встроенные в компьютерную программу соответствующие каждому фактору, т.е. независимой переменной экспериментального плана, операторы случайным образом выбирают его конкретное значение, воплощая практически любой по уровню сложности полностью рандомозированный многофакторный эксперимент. План может быть сколь угодно методически изощренным, но его реализация не требует никаких усилий со стороны интервьюера и проходит незамеченной со стороны респондента. Техника виньеток — специально созданных, часто вымышленных, описаний социальных объектов, индивидов и ситуаций, составленных из отдельных, систематически варьируемых переменных-признаков, была специально разработана для исследования установок, повседневного восприятия и имплицитных «причинных моделей» (подробнее см.: [5]). Использование виньеток в факторном эксперименте позволяет систематически варьировать уровни переменных-факторов, определяющих установки, убеждения, коллективные представления и социальные категоризации, и выявлять причины их формирования. Таким образом, легко реализуемые в онлайн среде, в том числе на любой из уже существующих платформ для онлайн экспериментов, факторные опросные планы позволяют совместить внешнюю валидность репрезентативных выборочных опросов с несомненной внутренней валидностью рандомизированного, многомерного (несколько независимых переменных), многоуровневого эксперимента.
Наконец, онлайн исследования открывают перспективу новых приложений для методологии respondent-driven sampling, RDS — «выборок, управляемых респондентом», активно развиваемой в социологии и за ее пределами (в частности, в биомедицинских исследованиях). Выборка, управляемая респондентом — разновидность сетевой выборки4, типологически близкая к выборке, создаваемой методом «снежного кома». Сетевые выборки, в исходной своей форме рассматриваемые в качестве целевых (т.е. неслучайных), при использовании методологии RDS позволяют количественно оценивать вероятность включения в выборку для отдельного респондента и величину систематической ошибки, связанной с межиндивидуальными различиями в этой вероятности, а следовательно — получать валидные оценки параметров совокупности. Выборки, управляемые респондентом, это адекватный метод исследования ограниченных или даже «закрытых» популяций, границы которых могут быть заданы небольшим количеством признаков и для которых характерна высокая плотность внутригрупповых связей (студенты университета, профессиональные группы и т.п.). При достаточной длине цепочек (циклов) рекрутирования респондентами друг друга такие полностью связанные совокупности обладают следующим важным свойством: состав финальной выборки при достижении равновесия становится независимым от того, каков был набор первичных респондентов (seeds) [8; 9; 10]. Не вдаваясь здесь в технические детали, отметим, что соблюдение некоторых методических правил, связанных с выбором первичных респондентов (выбор социально активных «социометрических звезд»; учет территориального размещения целевой генеральной совокупности; выбор первичных респондентов, максимально гетерогенных по социально-демографическим признакам, влияющим на формирование социальных связей и т.п.), позволяет обеспечить переход от целевой выборки-«посева» к собственно вероятностной выборке с поддающейся оцениванию ненулевой вероятностью попадания в выборку для каждого респондента. Возникающие в процессе отбора различия в вероятности включения в выборку, а также соответствующие систематические смещения могут быть учтены в оценках параметров, поскольку сам процесс создания сетевой выборки в данном случае позволяет получать необходимую априорную информацию о целевой генеральной совокупности (кто кого рекрутировал, каков состав личных связей в совокупности для каждого последующего звена и т.п.). Отметим, что в отличие от более традиционных выборочных методов собственно основа выборки (sampling frame) здесь создается после завершения отбора на основе информации о респондентах и их социальных связях, собранной в этом процессе.
Каковы перспективы использования методологии RDS в онлайн исследованиях? Хотя недавние методические эксперименты с использованием этого подхода в онлайн опросах показали не очень высокую точность получаемых выборочных оценок для сравнительно небольших совокупностей (при многократно превосходящей традиционные методы выборочных опросов дешевизне и скорости построения выборки) [10], нам представляется, что в ближайшем будущем в этой области возможны радикальные методические новации. Открывающиеся возможности связаны с потенциальным переходом от построения RDS-выборок институционально замкнутых групп (например, студентов конкретного университета) к потенциально неограниченным и многомерным, т.е. определяемым на основе множества переменных-признаков, популяциям, использующим в качестве платформ для коммуникации и взаимодействия современные социальные сети5 (MySpace, Facebook, «ВКонтакте» и т.п.). Преимущества использования таких базирующихся на интернет-платформах социальных сетей для построения RDS-выборок очевидны: необходимая для оценивания выборочной ошибки личная информация о социально-демографических характеристиках потенциальных первичных респондентов и их списки контактов принципиально доступны для исследователей до начала самой процедуры построения выборки. Эта информация с легкостью может быть использована для оценки и коррекции выборки в процессе ее построения (а не апостериорно). В частности, более точной оценке уже на первом этапе отбора могут быть подвергнуты «коммуникативные возможности» первичных респондентов. (Известно, что эффективность выборки такого типа связана с возможностью изначально отобрать небольшое количество super-seeds — респондентов, дающих начало длинным цепям рекрутирования и имеющих высокую «степень», определяемую через количество социальных связей в исследуемой совокупности.) Кроме того, социальные сети содержат много априорной информации о целевых совокупностях и первичных социальных группах, представляющих значительный исследовательский интерес, однако не имеющих однозначно заданной институциональной принадлежности (т.е., например, не студенты конкретного учебного заведения, а студенты-гуманитарии, не члены локальных киноклубов, а любители кино и т.п.), что позволяет использовать множественные основы выборки6.
Заметим, однако, что все эти новые возможности требуют ускоренной работы над созданием методических и этических «кодексов» онлайн исследований, а также ответственных за их воплощение в жизнь выборных органов профессиональной саморегуляции и контроля. Это позволит уменьшить опасность ведущей к росту доли неответов неоправданной эксплуатации потенциальных респондентов (особенно реальной в силу легкости доступа в данное исследовательское поле для непрофессиональных исследователей) и создать минимальные барьеры для злоупотреблений возможностями социальных сетей в пропагандистских, рекламных и иных целях, не связанных с производством такого публичного блага, как научное знание об обществе или отдельных социальных группах.
Говоря о перспективах и опасностях использования многообразной информации о группах и индивидах, разбросанной во Всемирной сети, нельзя не упомянуть о тех тенденциях массового персонального профилирования, не основанного на информированном согласии трекинга сетевого поведения и, говоря шире, применения неопросных и не предполагающих контакта с изучаемыми индивидами подходов к получению онлайн данных, которые довольно отчетливо проявились в последние несколько лет. Методы сбора и анализа данных об индивидуальных предпочтениях, субъективных семантических пространствах (индивидуальных и групповых системах значений), автоматизированного контент-анализа публичных и частных документов, исходно разрабатывавшиеся психологами и социологами, в силу многократного увеличения доступности «дружелюбных к непрофессиональному пользователю» средств автоматизированного анализа данных, а также экспоненциального роста корпуса сетевых документов и их метаописаний стали все чаще применяться для альтернативных академическим и прикладным исследованиям целей — коммерческого и некоммерческого сбора персонализированной информации о предпочтениях, убеждениях и поведении, не предполагающего информированного согласия исследуемых индивидов, а также «невключенного» (т.е. скрытного, иногда с использованием троянских программ) наблюдения за отдельными пользователями и их группами. Разумеется, такого рода «исследованием мнений», помимо социологов, психологов и культурологов, издавна занимались разного рода спецслужбы и самодеятельные энтузиасты сыска, однако нынешние масштабы явления создают ощутимую угрозу возможностям добросовестного использования сетевой информации в науч- ных или практических целях. Можно ожидать, что растущее общественное осознание скрытых здесь угроз личным свободам приведет в ближайшем будущем к трансформации по крайней мере некоторых национальных законодательств, определяющих границы между приватным и публичным и ограждающих граждан от несанкционированного сбора явно или неявно представленной в сети персональной информации. Однако существует как минимум две причины для того, чтобы работающие в области социальных наук исследователи осознали существующие здесь проблемы в качестве не только общегражданских, но и профессионально значимых. Во-первых, генерирование разного рода информационного шума, описывающего результаты таких «сетевых наблюдений», ведет к определенной инфляции валидных исследовательских данных, по крайней мере в глазах части потенциальных заказчиков и потребителей7 подрывая сложившиеся основы исследовательской роли социолога. Во-вторых, несколько замедленная реакция специалистов по методологии социальных наук на быстрые изменения способов и технологий онлайн репрезентации социальной информации приводит не только к утрате исследовательских возможностей, но и к снижению статуса социологической методологии в глазах представителей других наук. Успехи в разработке новых методов исследования в значительной мере обеспечили дисциплинарную автономию и престиж нашей науки. В 1930–1950-е гг. в схожей ситуации революционных изменений в средствах массовой коммуникации работы П. Лазарсфельда и его коллег, в частности в области исследования социальных эффектов новых медиа [12; 13] и процессов распространения личного влияния на установки, мнения и предпочтения в первичных группах и территориальных сообществах [14; 15], привели к формированию того, что сейчас воспринимается и внутри нашей дисциплины, и за ее пределами как методологическое «ядро» социологии. Для того чтобы сохранить способность к лидерству и сегодня, социологическая методология должна ускорить продвижение в разработке новых методов анализа агрегированной онлайн информации, новых подходов к контент-анализу символических репрезентаций, новых моделей, описывающих распространение социального влияния и трансляцию мнений и предпочтений во Всемирной сети, сопоставимых с теми блестящими результатами, которые были получены более полувека назад ее отцами-основателями.
Литература
1. Toepoel V, Das M, and A. Van Soest. Effects ofDesign in Web Surveys: Comparing Trained and Fresh Respondents // Public Opinion Quarterly. 2008. Vol. 72(5). P. 985–1007; doi:10.1093/poq/nfn060.
2. Schonlau M, Van Soest A, Kapteyn A, Couper M. Selection Bias in Web Surveys and the Use ofPropensity Scores // Sociological Methods and Research. 2009. Vol. 37. # 3 (February). P. 291–318; doi:10.1177/0049124108327128.
3. Nathan G. Internet Surveys // Encyclopedia of Survey Research Methods. 2008. SAGE Publications. 20 Mar. 2009. <http://www.sage-ereference.com/survey/Article_n234.html>.
4. Barchard K. A, Williams J. Practical Advice for Conducting Ethical Online Experiments and Questionnaires for United States Psychologists // Behavior Research Methods. Vol. 40. # 4. P. 1111–1128. doi: 10.3758/BRM.40.4.1111.
5. Девятко И. Ф. Причинность в обыденном сознании и в социологическом объяснении: контуры нового исследовательского подхода / / Социология: 4М (методология, методы, математическое моделирование). 2007. № 25. С. 5–21.
6. Coleman J. S. Relational Analysis: The Study ofSocial Organization with Survey Methods // Human Organization. 1958–1059.Vol. 17. P. 28–36.
7. Goodman L. A. Snowball Sampling // Ann. Math. Statist. 1961. Vol. 32. # 1. P. 148–170.
8. Heckatorn D. Respondent-Driven Sampling: A New Approach to the Study of Hidden Populations // Social Problems. 1997. Vol. 44. P. 174–199.
9. Salganik M. and D. D. Heckatorn. Sampling and Estimation in Hidden Populations Using Respondent-Driven Sampling // Sociological Methodology. 2004. Vol. P. 193–239.
10. Weinert C, Heckathorn D.D. Web-Based Net Sampling: Efficiency and Efficacy ofRes- pondent-Driven Sampling for Online Research // Sociological Methods and Research. 2008. Vol. 37. #1 (August). P. 105–134. doi: 10.1177/0049124108318333.
11. Wray R Facebook aims to market its user data bank to businesses // Guardian. Sunday, February 1, 2009. http://www.guardian.co.uk:80/business/2009/feb/01/facebook-seeks- to-exploit-user-information.
12. Lazarsfeld P. F. Radio and the Printed Page: An Introduction to the Study ofRadio and Its Role in the Communication ofldeas. New York: Duell, Sloan and Pearce, 1940.
13. Lazarsfeld P. F, Merton R K. Mass Communication, Popular Taste and Organized Social Action / / Lyman Bryson, ed. Communication of Ideas. New York: Harper & Brothers, 1948. P. 95–118.
14. Lazarsfeld P. F, Berelson B, and H. Gaudet. The People's Choice: How the Voter Makes Up His Mind in a Presidential Campaign. New York: Duell, Sloan and Pearce, 1944.
15. Lazarsfeld P., and E. Katz. Personal Influence: The Part Played by People in the Flow of Mass Communications. Glencoe, IL: Free Press, 1955.
Борьба за качество и надежность данных в онлайн исследованиях.
Мавлетова Айгуль Маратовна (Online Market Intelligence)
По мере увеличения количества онлайн панелей в западных странах заказчики онлайн исследований начали выражать сомнения относительно качества полученных данных. В 2006 году компания Comscore Networks выступает на конференции CASRO с шокирующим по содержанию для исследовательской области докладом, в котором утверждается, что более 30% онлайн исследований проводятся на основе опроса всего 1% населения. Проблема связана со множественным членством респондентов в панелях. Уже в 2005 году Пит Кумли, председатель компании Virtual Surveys, фиксирует, что более 75% панелистов являются участниками трех и более панелей [1]. Ник Спэрроу предполагает, что панельные провайдеры должны находить новые источники рекрутирования респондентов, не используемые другими компаниями, для того чтобы минимизировать количество профессиональных респондентов. Однако в любом случае, уверен Н. Спэрроу, «незатронутые другими компаниями респонденты останутся членами одного проекта только до тех пор, пока не поймут, что можно заработать больше денег, присоединяясь к еще ряду онлайн панелей» [2, p. 182]. Проблема усугубляется тем, что панелисты регистрируются не только в нескольких панелях одновременно, но и в одной панели под разными именами и электронными почтовыми ящиками.
Другим источником ошибки выступает эффект от постоянного участия в опросах (так называемый эффект «приспособления» — panel conditioning). Эффект состоит в том, что ответы тех людей, которые принимают участие в опросах на регулярной основе, отличаются от ответов респондентов, принимающих участие в опросе впервые. Можно предположить, что сам факт участия респондента в панельных исследованиях оказывает влияние на ответы, оценки и поведение индивидов. Рег Бейкер приводит пример исследования, проведенного компанией General Mills на основе построения двух выборок одной онлайн access-панели. Проблема оказалась в том, что в двух выборках были обнаружены прямо противоположные результаты. Исследователи General Mills предположили, что одним из наиболее значимых факторов, повлиявших на результаты, был опыт участия респондентов в панели: в выборке, в которой индивиды имели меньший опыт участия в опросах, отнеслись к тестируемой концепции положительно в противоположность второй выборке, в которой опыт участия респондентов в панели был более продолжительным [3].
Третья проблема видится в респондентах, некачественно заполняющих анкеты. Отсутствие фигуры интервьюера, который не только ведет интервью, но и проверяет искренность респондента на основе наблюдений за поведением опрашиваемого, приводит к введению технологических проверок за ответами респондентов в онлайн анкетах. В целом, по данным исследованиям Harris Interactive, около 75% респондентов допускают как минимум одну ошибку в опросе [4, p. 1]. Каким же образом можно убедиться, что респондент действительно читал вопросы и внимательно заполнял анкету, если нет фигуры интервьюера, выполняющего функцию визуального контроля над процессом заполнения анкеты? Данный вопрос и по сей день волнует многих заказчиков онлайн исследований.
Каковы основные решения в области качества данных в онлайн опросах, которые предлагают международные панельные провайдеры на сегодняшний день? В данной обзорной статье мы рассмотрим вопросы и предлагаемые решения, которые обсуждались на конференции CASRO (Council of American Survey Research Organizations) по онлайн панелям 2009 года. Мы рассмотрим основные методологические работы, представленные на конференции.
Дата: 2019-12-22, просмотров: 451.
