Российским исследователем Т.Дридзе' был разработан еше один вид формализованного анализа, правда, только текстовой информации — информативно-целевой. В рамках этого подхода текст рассматривается как целостная иерархиче ская содержательно-смысловая структура, объединенная авторским замыслом (коммуникативным намерением). Это объединение функционально, т.е. ориентировано на достижение конкретной цели общения.
Основная задача метода состоит в том, чтобы оценить конкретный текст с точки зрения его первичной и вторичной ин формативности.
Первичная информативность характеризуется не абсолютным количеством информации в тексте, а лишь той ее частью, которая станет достоянием реципиента (т.е. человека, воспринимающего информацию). Первичная информативность описывает потенциальную способность конкретного текста донести замы сел, основное коммуникативное намерение автора до потребителя.
Вторичная информативность понимается как потенциальная способность конкретного текста служить источником тех
сведений, которые ишет читатель, не задумываясь о целях порождения автором этого текста. Как правило, читатели находят много полезного, интересного в тексте «поверх» или вопреки коммуникативным намерениям автора. Это означает, что первичная и вторичная информативности чаще всего не совпадают друг с другом, создавая «смысловые ножницы*.
Социолог, приступая к анализу текстов, исходя из своих ис следовательских задач, тоже рассчитывает на вторичную инфор мативность: преобладающее большинство документов, циркулирующих в обществе, не создается для социолога, для целей научного анализа, у их авторов — свои собственные коммуникативные замыслы, далекие от интересов социологии.
В этом случае информативно-целевой анализ больших тек стовых разноплановых массивов ориентирован на изучение со держания с целью выявления, сопоставления, систематизации и сведения в системы данных о социальных явлениях или процессах. Здесь конкретный текст признается информативным в той мере, в какой в его содержании обнаруживаются сведения, соответствующие целям исследования.
В этом своем варианте информативно-целевой анализ соединяет в себе элементы дедуктивного анализа (контент-анализ), индуктивного, где исследователь «идет» от текста, и инфор мационного, когда извлеченные из текста индикаторы смысловых единиц «ставятся в жесткие координаты существующих между ними семантических отношений»1.
Для оценки первичной информативности текста исследователь анализирует макро- и микроструктуры текста, где макроструктура — это иерархия разнопорядковых смысловых блоков, а микроструктура — набор внутритекстовых связей между опорными смысловыми узлами текста (фактами), образующими логико-фактологическую цепочку, на основании которой рассчитывается гипотетический коэффициент информа тивности2. По величине этого коэффициента судят об уровне первичной информативности текста: при максимальном значе-
1 Дридзе Т . М . Информативно-целевой анализ содержания текстовых источников // Методы сбора информации в социологических исследованиях. М.: Наука, 1990. Ки. 2.
' Дрнцзе Т . М . Указ. соч. С. 102.
г Он рассчитывается как отношение синтаксем, составляющих логи ко-фактологическую цепочку, к общему количеству синтаксем в тексте.
340
Часть II - Исследовательские практики
Тема 5 ' Метод анализа документов
341
нии его (К=1) текст в высшей степени информативен, т.е. воспринимается (или, точнее, будет восприниматься) реципиентом максимально адекватно цели коммуникации. В целом чем «дальше» этот коэффициент от единицы, тем в меньшей степени он будет адекватно восприниматься.
Оценка первичной информативности текста помогает сделать ряд практически важных операций:
— внести изменения в текст таким образом, чтобы его лингвистический план (языковые средства), логика его развертывания в наибольшей степени соответствовали содержательно-смысловой структуре, т.е. коммуникативным намерениям коммуникатора;
— сократить (сжать) текст, снять его избыточность без устранения смысловых узлов.
В социологии оценка первичной информативности может быть использована и в методических целях. В частности, И.П.Киселева проводила такой анализ текстов интервью с путеводителем, которые использовала на разведывательной стадии исследования: успех взаимодействия интервьюера и респондента и на этом этапе зависит в значительной мере от того, насколько адекватны друг другу «фокусы вопросов и ответов»1.
Информативно-целевой анализ здесь выступает средством обнаружения и устранения «смысловых ножниц» между порождением текста и его восприятием респондентом. Анализ макро- и микроструктуры восьми интервью, расчет коэффициентов информативности каждого из них позволили оценить качество формулировок вопросов с точки зрения их соответствия целям исследования (коммуникативного замысла исследователя).' Это, в свою очередь, дало возможность определить лучшие из них, т.е. такие, при которых соответствие вопросов и ответов на них оказалось максимально полным. Понятно, что использование таких формулировок в тексте интервью сослужит наибольшую пользу исследователю.
1 Подробно см.: Киселева И . П - Информативно-цел ев ой анализ текста свободного интервью // Социологический журнал. 1994. №3.
2.5. Проблема надежности документальной информации
Классическая парадигма социологического исследования с ее нацеленностью на достоверное знание всегда ставит важный вопрос: насколько надежна документальная информация, насколько ей можно доверять?
Прежде всего, качество получаемой таким методом информации зависит от надежности источника информации. Как оценить его? Считается, что первичные документы, содержащие информацию виз первых рук» (дневники, тексты интервью), всегда надежнее вторичных, «перекраивающих», «перемалывающих» первичную информацию для целей анализа (отчеты по исследованию, материалы государственной статистики и т.д.). При использовании вторичных документов полезно знать цель их написания, чтобы представить себе степень их надежности. Так, отчет о деятельности организации, представленный в вышестоящие органы, как правило, не очень надежный документ, т.к. реализует установки администрации «выглядеть лучше», «не выносить сор из избы». В то же время отчет о деятельности подразделений, подготовленный для «внутреннего использования», для реального анализа ситуации, заведомо более надежен. Исследователю, использующему вторичные документы, необходимо представлять себе и ситуацию подготовки документа, чтобы определить меру его надежности: кто готовил документы, откуда, из каких источников брались первичные данные, каким методом осуществлялся их сбор и т.д. Наиболее надежными являются документы, подготовленные независимыми экспертами: социологами, финансовыми аналитиками и т.д.
Особенное значение это требование имеет применительно к официальным личным документам: книгам, газетным статьям, мемуарам. Знание ситуации, при которой готовился официальный документ, помогает оценить меру возможного смещения, отделить «ритуальные» пассажи, диктуемые социальным контекстом, от «истинной» информации, соответствующей мнениям автора.
Данные формализованных интервью или Карточек наблюдения считаются надежными, если они выполнены в соответствии со всеми требованиями, предъявляемыми к ним: шкалы
342
Часть II • Исследовательские практики
Тема 5 • Метод анализа документов
343
проверены на обоснованность и устойчивость данных, а Карточки наблюдения являются результатом контролируемого (самого надежного) вида наблюдения.
Анализируя тексты личных документов (дневников, мемуаров, писем), полезно помнить, что фактуояьноя информация всегда более надежна, чем оценочная. Кроме того, видимо, более достоверны те детали, которые автор считает несуществен ными, неважными.
3. Анализ документов в качественной
парадигме социологического исследования
3.1. Традиция нзучевия человеческих документов
В качественном социологическом исследовании могут использоваться самые разнообразные документы. В то же время особой любовью здесь пользуются личные, и особенно так называемые «человеческие документы» как особая их разновидность: письма, дневники, воспоминания, автобиографии и т.д.
К этим документам следует отнести такие, где человек «сам рукой водит», т.е. не пропущенные сквозь чью-либо интерпретацию, «живые*. Транскрипт интервью, тоже личный документ, с этой позиции не может быть отнесен к «человеческим документам» по той причине, что «прошел» сквозь стадию транскрибирования, т.е. определенной обработки и потому неизбежной интерпретации «живого» языка интервью. Мы помним, что многие связывают само возникновение качественного подхода с анализом писем польских эмигрантов, проведенным У.Томасом и Ф.Знанецки в «Польском крестьянине».
Новый всплеск интереса к личным и особенно «человеческим документам» происходит в 1980-х годах. В этот период начинает остро осознаваться плюральность социальной жизни, разнообразие ее форм, традиций, жизненных стилей, языковых игр. Новая культурная и познавательная ситуация в гуманитарном познании побуждает обратить внимание исследователей на «цветущую сложность культуры», когда рядом с вполне современными модернистскими формами жизни соседствуют немодернистские, традиционные, столь же ценные и важные и отнюдь не должные «отмирать», уступив место со-
временным. В рамках такого умонастроения среди социологов возникает мощная потребность восстановить неведомую, замалчиваемую историю, «дать голос» «маленьким» людям, чьи наивные тексты «забивались» «большими нарративами», создаваемыми учеными, политиками, интеллектуалами в целом.
Внимание к таким документам стало своего рода знаком эпохи и превратилось в особую традицию использования метода анализа документальной информации.
Погружение в «человеческие документы» дает возможность исследователю проникнуть в незаметность повседневной жизни «простого человека», в которую так или иначе «вписана» история, понять социальный контекст одной-единственной человеческой судьбы: события, «правила игры», идеологемы, представления и ожидания. Понять этот социальный фон социолог может, используя реалистический и нарративный подходы (мы об этом говорили в Теме 4, Часть I). Кроме того, очень важное значение здесь имеет и анализ языка текста. Язык пишущего — это выражение и производство его статуса, его «места» в социальной структуре, характеристика его символического капитала1.
Как правило, «документы жизни» анализируются методом традиционного (качественного) анализа, «внимательного вгля- дыванияр. Результатом такого изучения чаще всего выступает комментарий, в котором теоретические понятия «переплетены» с метафорами, аналогиями, фрагментами «живого» текста.
Сами по себе эти «документы жизни» достаточно разнородны. Одни из них написаны на «нелитературном языке», без точек и запятых, с орфографическими и стилистическими ошибками. Это так называемое «ручное», «наивное» письмо. Отрывок из такой «книги жизни», написанной женщиной «из народа», крестьянкой с пятью классами образования Е.Киселевой, мы приводили в Теме 4, Часть I. Чтение подобных текстов, по мнению Н.Н.Козловой, блестяще анализировавшей «наивное письмо», большей частью подобно переходу в «мир иной», не похожий на мир литературного языка, субъектности и рационального мышления, в котором привык жить интеллектуал. «Это тексты,
' Козлова Н ., Сандомирская И . «Наивное письмо» и производители нормы. С. 165.
344
Часть II • Исследовательские практики
Тема 5 • Метод анализа документов
345
в которых ощущается присутствие пишущего живого тела и живого голоса»'.
В других — сплошные клише, как будто в человека заложена машинка, которая пишет «за него». Самые уникальные события своей жизни здесь описываются одинаковым официальным, «газетным» языком.
В третьих — обе эти разновидности письма смешаны, переплавлены, дополняя и конкурируя друг с другом. Особый интерес для социологов представляют такие «человеческие документы», которые люди ведут всю жизнь: меняется сам пишущий, и вместе с ним меняется и язык текста — ручное «самодельное» письмо постепенно превращается в «нормальный», литературный язык.
3.2. Аналитическая индукция и grounded theory (обоснованная теория) как способы обработки информации в качественном исследовании
В качественном исследовании, ориентированном на производство теоретического знания (мини-концепции), для обработки документальной информации могут использоваться методы grounded theory и «аналитической индукции». О технологии осуществления grounded theory мы уже говорили в Теме 2, Часть II. Там «обоснованная теория» рассматривалась прежде всего как особый тип качественного социологического исследования, предполагающий специфическую организацию сбора и анализа полученной информации2. Между тем «обоснованная теория» — это и определенный способ обработки уже готовой собранной информации, содержащейся в документах — транскриптах интервью. Пример, приводимый в этой теме из нашего исследования, демонстрирует такую возможность grounded theory.
Метод аналитической индукции направлен на описание «процесса разработки и верификации гипотез и определения
новых понятий в качественном исследовании»1. Мы уже говорили ранее, что в качественном исследовании реализуется индуктивная логика получения знания: от частного — конкретной первичной информации, содержащейся в документе, к общему — мини-теории, общей для некоторой совокупности случаев (в нашем случае документов). Одним из вариантов ее и является аналитическая индукция как определенная логика получения теоретического знания из частных случаев, «сырых данных».
Кратко эту логику можно проиллюстрировать следующим образом. Есть некоторый набор случаев (документов — тран-скриптов интервью), например А, В, С D, E, F. Берем документ А и изучаем его характеристики. Ему присущи признаки Р, R, S. Кратко это можно записать так: А (Р, R, S). Исследуем другие документы таким же образом: В (Q, R, S); С (Q, P, S); D (К, R, S);E(K,P,S);F(K,Q,S).
Сравнивая эти случаи (документы), можно сделать вывод: общим и повторяющимся будет признак S. Остальные признаки либо специфичны только для отдельного случая, либо исследователь не сумел выделить нечто существенное, что объ единяло бы эти разные признаки. Во втором случае, а у нас — именно он, для признаков К, Р, Q, R, ищутся обобщающие их объяснения, которые могли бы быть применимы для каждого случая из исследуемых. В конечном итоге вывод может быть следующим: для существования феномена N необходимым и достаточным является наличие признака S и любых других, общих для изучаемых случаев. Отсутствие этих признаков свидетельствует и об отсутствии самого феномена.
Метод аналитической индукции, таким образом, направлен на выявление типического, общего для совокупности изучаемых элементов. Американский социолог Д.Тернер' назвал эту логическую процедуру поиском универсального, т.е. эмпирически установленных общих причин, основанным на тщательном изучении каждого из отобранных случаев.
1 Козлова Н ., Сандомирская И . Указ. соч. С. 154.
1 Впрочем, А.Страусе рассматривает grounded theory в более широком значении — как особый стиль проведения любого качественного исследования.
' Плюшкина О . Б . Построение теории на основе качественных данных. С. 93.
г Тернер Д . Аналитическое теоретизирование // Теория общества. М.: Канон-Пресс-Ц, 1999. С. 105.
346
Часть II ' Исследовательские практики
Тема 5 • Метод анализа документов
347
Впервые аналитическая индукция подробно была описана американским исследователем У.Робинсоном1, где он выделял шесть этапов:
1 — приблизительное определение изучаемого феномена;
2 — формулирование гипотез, его объясняющих;
3 — исследование одного случая с целью определения соответ-
ствия гипотезы реальным данным;
4 — пересмотр гипотезы, если она не соответствует данным,
либо переосмысление самого феномена, либо исключение случая как не соответствующего изучаемому явлению.
5 — исследование нескольких случаев, чтобы была достигнута
некоторая определенность.
В качестве такового Робинсоном была выдвинута идея необходимости продолжения анализа случая до тех пор, пока не будут установлены достаточно надежно «универсальные взаимосвязи».
Таким образом, в этой процедуре зафиксированы две важнейшие процедуры, характерные для качественного исследования:
— пересмотр гипотезы, если имеются данные, противоречащие ей;
— возможность изменения самого определения изучаемого феномена.
3.3. Специфические методы обработки документальной информации
В качественном исследовании для поиска типических паттернов (образиов) поведения и сознания, а также их интерпретации на теоретическом языке могут использоваться достаточно разнообразные методы. Л.Ньюман1 выделяет пять из них: иллюстративный, поступательную аппроксимацию, аналитическое сравнение (техники согласия и различия), анализ доменов и построение идеальных типов.
• Иллюстративный метод используется для того, чтобы проиллюстрировать или «привязать» теорию. При помощи
' См.: Клюшкина О . Б . Указ. соч. С. 94. * Newman L.W. Op. cit. P. 416.
такого метода исследователь примеривает теорию к конкретной социальной ситуации или организует данные, содержащиеся в документах, в соотвествии с предшествующей теорией. Существовавшая ранее теория предоставляет «открытые ящики» (белые пятна), а исследователь смотрит, в какой мере информация, содержащаяся в документах, может заполнить эти «ящики». Эта новая информация подтверждает или не подтверждает теорию, которую исследователь использует как инструмент для интерпретации изучаемых документов.
• Поступательная аппроксимация предполагает возобновляемые итерации (повторения) или циклические возвраты при прохождении шаг за шагом сквозь текстовую информацию к результату — мини-концепции. Социолог начинает с исследовательских вопросов, а также с некоторых предположений (гипотез). Затем он апробирует их на данных, содержащихся в первых документах массива. Это позволяет увидеть, насколько предварительная гипотеза соответствует данным, раскрывает их характеристики. При несоответствии создается новая гипотеза, в большей степени соответствующая текстовой информации.
Затем исследователь анализирует следующий документ, чтобы проверить уточненную гипотезу на предмет ее соответствия данным второго документа. На этой стадии все повторяется сначала. Гипотеза может уточняться или быть отброшенной вовсе. Тогда исследователь формулирует новую гипотезу. На каждой такой стадии свидетельства и теория оформляют друг друга. Этот процесс называется аппроксимацией, сближением, так как «модифицированные концепции приближаются к более полным свидетельствам и модифицируются снова и снова, пока постепенно не становятся более аккуратными»1. Каждое прохождение через «сырые» данные здесь принципиально предварительно и неполно, выступает лишь этапом в циклическом движении к адекватной мини-концепции.
• Логические процедуры согласия и различия, составляющие суть метода аналитического сравнения, были разработаны
' Newman L.W. Op. cit. P. 94.
343 Часть It • Исследовательские практики
английским философом Дж.Ст.Миллем как возможные логические основания эксперимента (логика «единственного различия» и «единственного сходства»). Вместе с тем они могут успешно применяться и при анализе информации в качественном исследовании. В отличие от иллюстративного метода, где нужно в готовой теории только заполнить «пустые ящики», исследователь здесь в полном соответствии с логикой качественного подхода ишет повторяющиеся образцы «внизу», в текстовой информации, чтобы противопоставить их альтернативным объяснениям и теоретически описать.
Используя логический прием согласия, социолог акцентирует свое внимание на том, что является сходным во всех текстах. Он устанавливает тождественный результат, а затем пытается найти общие черты, которые можно было бы квалифицировать как причины. При этом типические черты ищутся путем исключения (элиминирования) тех возможных причин, которые не являются общими для всех анализируемых текстов. Затем те сходные моменты, которые могут быть причинами одинакового результата, могут объединяться в более общие тер мины. Смысл такой логики заключается в том, чтобы доказать, что в изучаемых документах, несмотря на некоторые различия, есть сходные типические черты, которые могут быть квалифицированы социологом как некоторые причины и их следствия (результаты).
Логический прием различия состоит в том, что социолог классифицирует документы как по сходным чертам, так и по противоречащим им. При этом он не только фиксирует тождественные причины и результаты в документах, но и ищет сходства (общие причины и результаты) в альтернативных случаях. Определенная симметрия в анализируемых документах в этой логике усиливает доказательность предположительной гипотезы. Обобщения, получаемые с помощью такой логики (в т. ч. и логики согласия), не носят универсальното характера, т.е. не являются законом, и тем не менее теоретически описывают явление в определенном социальном контексте (время, место, условия).
Например, в одних транскриптах нарративного интервью с жителями Самары трудоспособного возраста в конце 1990-х годов мы фиксируем высокий уровень образования и высокую
Тема 5 • Метод анализа документов 349
ценность работы в сочетании с достаточно высоким уровнем материального достатка. В другой совокупности текстов мы отмечаем низкий уровень образования в сочетании с другим набором ценностных ориентации и низким материальным статусом. В итоге мы можем сделать обобщение: уровень образования, а также характер ценностных ориентации являются факторами, определяющими успешность или неуспешность экономического поведения трудоспособного населения Самары в конце 1990-х годов.
* Анализ доменов как метод обработки информации в качественном исследовании был разработан американским исследователем Дж.Спрэдли1. Доменом Спрэдли называет едини цу культурного окружения, организующую концепцию. Домены включают три части: покрывающий термин или фразу, семантическое отношение и включенный термин. Покрыва ющий термин — это просто название домена. Включенные термины — это подтипы или части доменов. Семантическое отношение показывает, каким образом включенный термин ло гически встраивается внутрь домена. В качестве семантического отношения могут быть использованы такие суждения: «такой стиль жизни, как», «человек подобного рода», «товары этого вида» и т.д.
Л.Ньюман2 как пример домена приводит исследование В.Зелицер, которая изучала изменение ценности «дети» в американском обществе, анализируя документы, так или иначе относящиеся к детской смертности в конце XIX века. В этом исследовании в качестве домена выступало отношение к детской смертности (покрывающее суждение). Суждения о различных представлениях по поводу этого явления, которые были обнаружены в текстах, — это включенные термины. Семантическое отношение здесь, включающее эти термины в домен, «является примером чего-либо». Такого рода домены называются аналитическими: покрывающие термины «идут от исследователя», из его предварительных гипотез, предзнания в целом. Они — конструкция исследователя, пытающегося таким
' SpradleyJ . P . The Ethnographic Interview. N.Y: Halt, Rinehart andWinston, 1979.
1 Newman L W. Op. cit. P. 422.
350
Часть II • Исследовательские практики
Теме 5 • Метод анализа документов
351
образом структурировать анализируемый текст. В то время покрывающий термин «вырастает из текста», соответствует ему.
Исследователь, использующий этот метод, «продвигаясь по тексту», создает аналитические заметки, из которых потом и черпает покрывающие термины, формируя домены. После того как домены созданы, осуществляется организация доменов путем установления различия и сходства между ними. Исследователь затем объединяет домены, где это возможно, в типы как более общую конструкцию, куда домены входят уже в качестве включенных терминов. Так происходит индуктивное восхождение от «сырых данных» к некоторым обобщающим ка тегориям, к построению типологии социального явления, «вырастающей» из текстовой информации.
• Метод идеальных типов, предложенный М.Вебером, предполагает использование моделей, ментальных образований, описывающих то или иное социальное явление, в качестве базы для сравнения с «живой» социальной реальностью. Модель представляет собой «чистый» образец, идеальную умоз рительную конструкцию, созданную исследователем. Сравнение ее с конкретным «случаем», как правило, далеким от идеала, помогает исследователю понять специфические черты изучаемого объекта, его «особость», увидеть сходство или различие с подобными явлениями, подчеркнуть уникальность контекста. В этом смысле идеальный тип выступает своеобразным инструментом, организующим текстовую информацию в определенном направлении для реконструкции социального явления.
Вопросы для самоконтроля
1. Как понимается термин документ в социологии?
2. Опишите основания для классификации видов документов.
3. Что такое человеческие документы ?
4. Какие виды анализа документальной информации используются в классическом социологическом исследовании?
5. Что такое традиционный анализ документов?
6. Опишите основные понятия контент - анализа .
7. Как обрабатывается информация в контент - анализе ?
8. Опишите сущность и назначение информативно - це левого анализа документов.
9. Опишите условия появления интереса к человеческим документам .
10. Опишите алгоритм обработки документальной информации в логике grounded theory .
11. В чем состоит основная идея метода аналитической индукции ?
12. Опишите основные этапы этой логики.
13. Опишите основную идею поступательной аппрокси мации .
14. В чем особенности метода аналитического сравне ния ?
15. Как используется метод анализа доменов при обработке текстовой информации?
Литература
1. Исупова О. Г. Различные подходы к анализу текстов и возможность их применения в социологических исследованиях // Методология и методы социологических исследований. Программа магистерского обучения. М.: Ин-т социологии РАН, 1996.
2. Киблицкая М. Дневники как метод тендерной социологии: стратегии выживания одиноких матерей // Женщина не существует: современные исследования полового различия. Сыктывкар: Сыктывкарский университет, 1999.
3. Клюшкина О.Б. Построение теории на основе качественных данных // Социс. 2000. N° 10.
4. Козлова N. Документ жизни: опыт социологического чтения // Socio-Logos'96. M.: Socio-Logos, 1996.
5. Козлова Н., Сандомирская Я. «Наивное письмо» и производители нормы // Вопросы социологии. 1996. Вып. 7.
6. Малышева М. Способы кодирования и анализа качественных данных // Возможности использования качественной методологии в гендерных исследованиях: Материалы семинара. М,, 1997.
7. Методы сбора информации в социологических исследованиях. М.: Наука, 1990. Кн. 2.
352
Часть II * Исследовательские практики
Тема 6
8. Рябинская Н.С. Текст и социальная структура // Социологический журнал. 2000. № 3/4.
9. Татарова Г. Методология анализа данных в социологии. М: Стратегия, 1998.
10. Чураков А.Н. Компьютерный контент-анализ. М.: Институт социологии РАН, 1996.
11. Ярская-Смирнова Е. Социокультурный анализ нетипичности. Саратов: СГТУ, 1997.
12. Ярская-Смирнова Е. Социальное пространство глухоты: анализ кинорепрезентации // Трансформация социального пространства в посткоммунистических странах и новые подходы в социальных науках. Тез. докл. Междунар. науч. конф. 25—27 сентября 1998 г. Самара, 1998.
13. Newman L.W. Social Research Methods: Quantitative and Qualitative Approaches. Boston: Allyn and Bacon, 1991.
14. Silverman D. Doing Qualitative Research. A Practical Handbook. L.; Thousand Oaks; New Delhy: Sage, 2000.
15. Strauss A.L. Qualitative Analysis for Social Scientists. Cambridge: University Press, 1987.
Качественный и количественный
подходы: возможности сочетания
в одном отдельно взятом исследовании
Ключевые понятия : Законодательный разум, интерпретативный разум, радикальная, экзистенциалистская, прагматическая, узкоэмпиристская позиции, параллельное сочетание, последовательное сочетание, интерфейс
Черное и белое — Только не горелое.
Детская считалка
1. Соотношение подходов
Эта тема является своеобразным итогом нашего разговора о качественном и количественном подходах в социологическом исследовании. Мы более или менее подробно рассмотрели теоретические предпосылки становления каждого из них, описали их сущностные черты, основные типы и свойственные им исследовательские стратегии, познакомились со спецификой методов интервью, наблюдения и анализа документов в каждой из этих парадигм. Теперь «законным образом» встает вопрос «Как сочетаются эти два подхода и возможно ли это сочетание вообще?». Сегодня можно выделить по меньшей мере четыре позиции социологов по этой проблеме.
• Первая, назовем еерадикалистской, разделяется прежде всего методологами З.Бауманом, Ж.Габриумом, Дж.Холстей-ном и др. Она состоит в том, что эти две социологии, «взаимоотношения которых воспроизводят пропасть, разделяющую
12 Готлиб Л.С.
354
Часть It • Исследовательские практики
Тема 6 ' Качественный и количественный подходы 355
законодательный и интерпретативный разум, нельзя прими-ритьъ'.
Законодательный разум здесь — методология классического социологического исследования, в рамках которой исследователь — «востроглазый обществовед» — производит закон, единственно верную истину для всех остальных людей, «сборища невежд» здесь.
Интерпретативный разум — это методология качественного исследования, где в режиме диалога на равных рождается множественность толкований социальной реальности'. Интерпретативный разум, по З.Бауману, — это разум, который отказывается законодательствовать.
• В наиболее радикальной версии в рамках этой позиции
считается, что вместе с «медленным разложением модернис
тского проекта» должна уйти со сцены и классическая социо
логия (законодательный разум), как ошибочная, устаревшая,
уступая место качественной социологии (интерпретативному
разуму). Здесь отношения между этими социологиями — отно
шения исторической последовательности: сначала — потом. Эта
версия справедливо вызывает возражения: пришествие эпохи
«постмодернизма» вовсе не означает, что «модернистские» со
циологические практики уйдут со сиены.
Более умеренная форма этой позиции состоит в том, что принципиально полярные социологии существуют все же синхронно, параллельно, но вес качественных исследовательских практик, как более соответствующих «духу времени», будет возрастать. Фактически такая позиция достаточно жестко или в мягкой форме рассматривает эти два подхода в терминах «лучше — хуже».
• Вторая позиция, назовем ее экзистенциалистской, за
ключается в том, что каждая из этих парадигм имеет свой
спектр познавательных возможностей, свои достоинства и не-
1 Бауман 3. Философские связи и влечения постмодернистской социологии. С. 14.
! В целом законодательный и интерпретативный разум по З.Бауману — более широкие понятия, соответствующие методологии классического и не классического гуманитарного знания . См .: Бауман 3. Указ. соч. С. 15.
достатки, и потому не может быть оценена по шкале «лучше — хуже». Главный пафос такой позиции в том, что «не существу-ет критериев, которые позволили бы окончательно доказать превосходство» одного подхода над другим. Вопрос о том, «к какому знанию мы стремимся... есть экзистенциальный выбор»1 исследователя.
• Третья позиция, назовем ее прагматической, является в некотором смысле продолжением второй, и разделяется прежде всего социологами, имеющими значительный опыт эмпирических исследований. В западной социологии это Д.Силверман, К-Панч, К.Риссман и др., в российской социологии — О.М.Маслова, В.Б.Якубович, Г.ГТатарова, Ю.Н.Толстова и др. Она заключается в том, что каждая из этих парадигм имеет свою «зону релевантности», т.е. область исследовательских за дач, где использование конкретного подхода является наиболее эффективным или может быть единственно возможным. Выбор того или иного подхода определяет сам исследователь, руководствуясь целями и задачами своего исследовательского проекта.
Каковы же эти «зоны релевантности» для каждой из анализируемых нами парадигм? Фрагментарно мы так или иначе уже говорили об этом. Здесь лишь в компактном виде постараемся еще раз «собрать все».
Итак, считается, что классический подход необходимо использовать в такой исследовательской ситуации, где требуется определить:
— меру выраженности, распространенности того или иного социального свойства в изучаемой социальной общности;
— меру представленности отдельных элементов изучаемого со циального явления или процесса, т.е. описать количественно его структуру;
— меру представленности типов изучаемого явления в той или иной социальной группе;
— взаимосвязь между социальными признаками, ее тесноту и направленность.
1 Монсон П . Лодка на аллеях парка. Введение в социологию. М.: Весь мир, 1S95. С.13.
355
Часть II • Исследовательские практики
Тема 6 ' Качественный и количественный подходы
357
Мы уже говорили, что этот класс исследовательских задач может быть реализован в рамках классического подхода, если в распоряжении исследователя есть теоретическое описание изучаемого явления или процесса (их может быть несколько); только в этом случае возможна эмпирическая интерпретация, осуществление эмпирического исследования в целом. Это означает, что в рамках данной парадигмы могут быть исследованы только относительно изученные, теоретически осмысленные социальные явления, при этом их теоретическое описание удовлетворяет исследователя.
Качественный подход в наибольшей степени соответствует такой исследовательской ситуации, когда:
— изучается малоизученное или вовсе новое, неизученное явление, т.е. когда отсутствует его теоретическое описание или исследователя не устраивает имеющееся;
— необходимо изучить социальный объект в его изменчивости во времени;
— необходимо изучить уникальное явление в его целостности и неповторимости;
— необходимо дать «слово» замалчиваемым социальным группам.
• Четвертая позиция, назовем ее узкоэмпиристской, если ее упростить, сводится к тому, что различия между качественным и классическим подходом не столь уж велики: социологи издавна используют самые различные методы. Поэтому сама дискуссия об этих подходах носит надуманный характер и непродуктивна.
Наиболее популярная в социологическом сообществе сегодня — прагматическая позиция, которая, признавая «особость» каждого из этих подходов, тем не менее не водружает между ними «китайской стены». Сторонники такой точки зрения полагают, что применительно к отдельно взятому исследованию возможно сочетание двух подходов — количественного и качественного, если это обусловливается целями и задачами исследовательского проекта. Введенные авторами этой точки зрения новые для социологии словосочетания: «принцип дополнительности», «метод золотой середины» — тому свидетельство. В рамках подобной позиции отвергается все еще распространенная среди российских социологов точка зрения, что качественный подход (и, соответственно, «мягкие» методы) может выступать
только вспомогательным средством: или в качестве разведывательного этапа до осуществления основного классического, или в качестве уточняющего, детализирующего, после него.
Конечно, в рамках разведывательного этапа традиционного социологического исследования действительно чаще всего используются «мягкие» методы: свободное интервью, включенное наблюдение и т.д. Вместе с тем его все-таки нельзя назвать качественным: мы уже говорили, что здесь не производится полноценного знания. Задача разведывательного этапа — быть вечным «предзнанием», «до того знанием»: отрефлекси-рованные здесь проблемы и предмет исследования не имеют самостоятельного статуса.
Еше раз подчеркнем, что идея взаимосвязи двух парадигм в едином исследовательском цикле предполагает их равнознач ное «сосуществование», равный вес и значимость исследовательских задач, которые решаются в их рамках.
Как возможно сочетание этих парадигм? Какие организационные, логические очертания оно принимает? Социологическая практика показывает, что возможно по меньшей мере два вида сочетания:
— качественный и количественный подходы используются параллельно;
— качественный и количественный подходы используются последовательно, на разных этапах социологического исследования.
2. Параллельное использование качественного и количественного подходов
Для такого «параллельного» сочетания характерно изучение различных срезов одного и того же предмета исследо вания. Это различные методологические фокусы исследуемого интереса. Они могут «накладываться, соединяться и перекликаться в процессе познания»1. Т.Шанин для такого
' Шанин Т . Методология двойной рефлексивности в исследованиях современной российской деревни // Ковалев Е.М., Штейнберг И.Е. Качественные методы в полевых социологических исследованиях. М.: Логос, 1999. С. 328.
358
Часть II • Исследовательские практики
Тема 6 • Качественный и количественный подходы
359
сочетания парадигм в одном отдельно взятом исследовании вводит термин «интерфейс». Он полагает, что близкие термины «связь», «взаимодействие», подчеркивая единство поля исследования, тем не менее не отражают принципиальной разнородности качественного и количественного фокусов
исследования.
Блестящим использованием такого «интерфейса» было исследование российского крестьянства под его руководством, о котором мы уже говорили ранее (Тема 4, Часть I). В нем, например, в рамках классической методологии проводились бюджетные обследования домохозяйств1 — анализ доходов и расходов, вобравшие традицию сельских статистических бюджетных исследований. Такие исследования проводились еще в 1920-х годах в рамках ЦСУ и Тимирязевской академии и связаны с именами А.В.Чаянова, В.С.Немчинова и др. В исследовании под руководством Т.Шанина чаяновские таблицы были скорректированы и с их помощью собирались количественные данные о балансах семейного производства, об инвестициях, комбинировании натуральных и денежных ресурсов.
Параллельно в этих же семьях шел сбор качественных данных о стратегиях материального обеспечения, планах производства, использования труда, материальных ресурсов и денег, а также бартера и неэквивалентного обмена в рамках сети взаимопомощи родственников и соседей.
Такое сочетание двух полярных методологических подходов применительно к одному и тому же предмету исследования дало возможность соотнести «сухие» цифры доходов и расходов с субъективно значимыми решениями, соображениями членов изучаемых семей, позволило понять их способ организации своей собственной экономической жизни, а в конечном итоге и российского крестьянства образца начала 1990-х годов
в целом.
Попытки такого параллельного сочетания характерны и для
польских социологов, которые еще в конце 1960-х годов использовали «жесткие» и «мягкие» методы для перепроверки
1 Домохозяйство в исследовании рассматривалось как семейная единица производства .
данных. Так, В.Адамский' в своем исследовании польского движения скаутов комбинировал мемуарные материалы с почтовым анкетным опросом, а Б.Гамбьевский2 использовал стратегию «историй жизни» в сочетании с анкетным опросом для изучения проблем сельской молодежи.
3. Последовательное сочетание качественного и количественного подходов
В мировой социологии сегодня существует целый ряд эмпирических исследований, представляющих собой сочетание качественного и количественного подходов на разных этапах одного исследования. Чаще всего на первом этапе используется качественная методология и, соответственно, «мягкие» методы, а на втором — традиционная, классическая, с соответствующими процедурами. При этом на первом, качественном этапе исследователь «схватывает» явление как целостность, как палитру, содержащую самые разнообразные его краски. Именно на этом этапе изучаемое явление предстает своими новыми, неожиданными для исследователя гранями.
На втором, количественном этапе, как правило, определяется мера выраженности найденного, описанного на предыдущем этапе. Следует подчеркнуть, что качественный этап здесь имеет самостоятельное значение: в его рамках уже произведено знание, представляющее интерес для исследователя. Чаще всего это описание («тонкое» или «толстое») малоизученного или не изученного вовсе социального явления. Продолжение исследовательского поиска, переход ко второму этапу здесь вовсе не обязателен и диктуется только соответствующими целями и задачами исследования.
В отечественной социологии примерами такой логической последовательности — качественный—количественный этапы — могут быть известная аксиобиографическая методика выявления ценностных ориентации социальной группы А.П.Вардо-
' Томпсон П . Гуманистическая традиция и жизненные истории в Польше. С. 57.
г Там же. С. 57.
360 |
Часть II ' Исследовательские практики
матского1, а также методика анализа экономических стереотипов, разработанная и реализованная молодым исследователем О.Н.Ваниной2 в 1999 году под руководством автора. Остановимся на них подробнее.
На первом, качественном этапе аксиобиографическая методика А.П.Вардоматского предполагает выделение ценностных ориентации индивидов. Для этого информантов просят написать (или рассказать) о самых значимых для них событиях в их жизни (вот откуда вторая часть названия этой методики — «биографическая»). После этого интервьюер, используя метод глубинного интервью, пытается понять те смыслы, которыми информант наделяет выделенные события. Анализируя получаемую информацию, исследователь (он же, как правило, здесь и интервьюер) конструирует в итоге ценностные ориентации индивидов как некоторые обобщающие теоретические понятия.
На втором, классическом этапе изучается представленность выделенных ценностных ориентации в той или иной социальной общности, которая выступает объектом исследования5.
Теперь обратимся к последовательному использованию качественного и количественного подходов для изучения экономических стереотипов современного российского общества'1. Цель его заключалась в выявлении и определении уровня распространенности в различных социально-демографических группах стереотипов новых экономических групп, появившихся в российском обществе в 1980-х годах: богатых, бедных, наемных работников, хозяев, безработных.
На первом, качественном этапе исследования задача состояла в описании всего спектра стереотипов каждой из выделенных групп, а также в выявлении структуры стереоти-
1 Вардоматский А . П . Аксиобиографическая методика.
3 Ванина О . Н . Экономические стереотипы россиян в постсоветский период: социологический анализ.
5 Подробнее см.: Вардоматский А . П . Указ. соч.
' Ванина О . Н . Указ. соч.
Тема б • Качественный и количественный подходы 361
па1. При этом представление полноты разнообразия этих стереотипов относительно объектов оценивания: богатых, бедных и т.д. — имело самостоятельную ценность, демонстрируя «веер», разброс восприятия новой постсоветской социально-экономической реальности российскими людьми.
Так, например, применительно к группе бедных методом свободного интервью были получены различные, хотя и преимущественно негативные стереотипы. По мнению опрошенных, бедные — это:
— «безынициативные, пассивные, апатичные люди»;
— «лентяи»;
— «слабаки-неудачники»;
— «злые, агрессивные».
Был выделен также и единственно положительный стереотип бедных — «нравственно совершенные», добрые, сострадательные, готовые помочь другим, стереотип, видимо, берущий свое начало из христианского православного вероучения.
Относительно социальной группы богатых были выделены всего два вида стереотипов:
— позитивный — «честный бизнесмен, трудоголик»;
— негативный — «нечестный, вороватый, с сомнительными источниками дохода (мафиози)».
Здесь уже сам факт существования таких стереотипов бедных и богатых свидетельствовал о тех сдвигах в ценностном сознании россиян, которые начали происходить в связи с кардинальными общественными преобразованиями. В самом деле, трудно предположить существование таких стереотипов бедных в советском обществе, когда сам термин этот применительно к советским людям никогда не использовался: в соответствии с идеологическими установками такого феномена просто не было в Советском Союзе. В то же время присутствие полярных стереотипов в общественном сознании показывает сложность переориентации общественного сознания, его двойственность, расколотость.
На втором этапе исследования, количественном, определялся уровень распространенности выявленных стереотипов
1 На этом этапе был использован целевой отбор, объем опрошенных составлял 50 человек.
364
Часть II • Исследовательские практики
Тема 6 • Качественный и количественный подходы
365
о существовании четырех таких групп, которая и проверялась на данном этапе:
— успешные адаптанты;
— успешные дезадаптанты;
— неуспешные адаптанты;
— неуспешные дезадаптанты.
С помощью формализованного интервью было опрошено 1162 человека, отобранных методом квотного отбора по критериям пола, возраста, образования.
Ранее в Теме 2, Часть I, мы уже говорили о результатах этого этапа. Здесь лишь добавим, что статистический анализ полученной информации позволил нам определить и социально-демографическое «лицо» каждой из выделенных групп. Для этой цели нами был использован метод структурных коэффициен тов1, в рамках которого сравниваются доли определенной социально-демографической группы в общем массиве опрошенных и в конкретной типологической группе. Значение структурного коэффициента больше 1 означает, что данная конкретная социально-демографическая группа преимущественно представлена в данной типологической группе, является чертой ее своеобразия. Так, например, анализ показал, что группа «успешных адаптантов», представленная прежде всего предпринимателями и управленцами разных уровней, имеет преимущественно мужское и очень молодое «лицо». Для этой группы характерен довольно высокий уровень образования. Напротив, группа «неуспешных адаптантов» представлена прежде всего специалистами-гуманитариями с лидирующим возрастом 41-50 лет и преимущественно высшим образованием.
В целом использование типологического анализа как логики классического социологического исследования позволило нам на первом этапе представить население Самарской области как совокупность определенных типологических групп, раз-
личающихся по уровню и результату процесса социально-экономической адаптации, определить количественную представленность этих групп, описать их социально-демографические параметры.
На втором этапе в соответствии с другой задачей исследования — определение спектра факторов, обусловливающих успешность социально-экономической адаптации, была использована качественная методология с соответствующими процедурами: методом нарративного интервью и grounded theory как способом обработки качественной информации. Использование этой методологии вызвано тем простым обстоятельством, что сегодня в российской социологии отсутствует теоретическое знание, корректно описывающее этот аспект изучаемого процесса. На этом этапе нами изучались жизненные истории двух полярных групп: «успешных адаптантов» и «неуспешных дезадаптантов», по 25 человек в каждой'.
Содержательно на данном этапе ставились такие исследовательские вопросы: есть ли что-то сходное (типичное) в жизненных историях, социальных ситуациях людей, удачно вписавшихся в новые становящиеся социально-экономические условия? Есть ли что-то сходное в индивидуально-психологических, социальных характеристиках этих людей? Если эти черты все же существуют, то каковы они? Этот же круг вопросов был адресован нами и другой полярной группе — тем, кто не предпринимал сколько-нибудь значимых усилий для изменения своей жизненной ситуации к лучше му. Главный исследовательский вопрос, который ставился здесь, сводился к поиску различий между этими противоположными группами.
В итоге нами были выделены три группы факторов, так или иначе являющихся условиями успешности адаптационного процесса: социальные, личностные и индивидуально-психологические.
1 Величина структурного коэффициента рассматривалась как отношение доли конкретной социально-демографической группы в объеме опрошенных определенной типологической группы к доле этой группы в общем обьеме опрошенных.
1 Для корректности выводов нами были взяты группы, одинаково включающие информантов в возрасте 25-45 лет.
366 |
Часть II • Исследовательские практики
Вопросы для самоконтроля
1. В чем состоит основная мысль радикалистами позиции?
2. Какова основная идея экзистенциалистской позиции?
3. В чем смысл прагматической позиции?
4. Какова суть узкоэмпиристской точки зрения?
5. Опишите зоны релевантности количественного и качественного подходов.
6. Что означает параллельное сочетание качественного и количественного подходов?
7. Опишите возможные варианты последовательного сочетания этих подходов.
Литература
1. Альмодавар Ж.-П. Рассказ о жизни и индивидуальная траектория; сопоставление масштабов анализа // Вопросы социологии. 1992. №2. Т. 1.
2. Бауман 3. Философские связи и влечения постмодернистской социологии // Вопросы социологии. 1992 № 2. Т. I.
3. Белановский С.А. Методика и техника фокусированного интервью. М.: Наука, 1993.
4. Вардоматский А.П. Аксиобиографическая методика // Социс. 1991. №7.
5. Ванина О.Н. Экономические стереотипы россиян в постсоветский период: социологический анализ // Трансформация социального пространства в посткоммунистических странах и новые подходы в социальных науках: Тез. докл. Междунар. науч.-прак-тич. конф. 23-25 сентября 1998 г. Самара: САГА, 1998.
6. Готлиб А.С. Социально-экономическая адаптация россиян: опыт сочетания количественной и качественной методологии в одном отдельно взятом исследовании // Социология-4М. 2000. Т. 12.
7. Готлиб А.С. Социально-экономическая адаптация: факторы успешности-неуспешности//Социс. 2001. № 7.
8. Демин А. И. О совмещении количественного и качественного подходов в исследовательском цикле // Социология-4М. 2000. Т. 11.
9. Маслоеа О.М. Количественная и качественная социология: методология и методы // Социология-4М. 1995. Т. 5—6.
Тема 6 • Качественный и количественный подходы __________ 367
10. Маслоеа О.М. Методология и методы // Социология в России. М.:
Институт социологии РАН, 1996.
11. Татарова Г.Т. Методология анализа данных в социологии (введе
ние). М.: Стратегия, 1998.
12. Толстова Ю.Я. Идеи моделирования, системного анализа, «качественной социологии»: возможность стыковки (на примере метода репертуарных решеток) // Социология-4М. 1997. Т. 8.
13. Томпсон П. Гуманистическая традиция и жизненные истории в Польше // Биографический метод. История, методология, практика. М.: Институт социологии РАН, 1994.
14. Шанин Т. Методология двойной рефлексивности в исследованиях современной российской деревни // Ковалев Е.М., Штейн-берг И.Е. Качественные методы в полевых социологических исследованиях. М.: Логос, 1999.
15. Якубович В.Б. Качественные методы или качество результатов // Социс-4М. 1995. Т. 5-6.
16. Gubrium J.F., Holstein J.A. The New Language of Qualitative Method. N.Y.; Oxford: Oxford University Press, 1997-
17. Punch K.F. Introduction to Social Research. Qualitative and Quantitative Approaches. L.; Thousand Oaks; New Delhi: Sage, 1998.
380
Приложение
Указатель терминов
1. когда человек сам на себя работает? Я считаю, что здесь
2. карьеры — никакой. Материальное благо ты можешь себе
3. улучшить, повысить, а больше — ничего. Ну торгаши, какие
4. они карьеристы? Они не карьеристы. Имеют деньги и все.
5. Которых у нас мало. Ну, вот и все, что я хотела сказать о
6. карьере. Так что, Нин, о карьере я и не думала никогда.
7. Никогда не думала. Обычный, простой — как раньше
8. говорили — советский человек.
9. И, как вы говорите, простая жизнь...
10. Да, такая простая жизнь, без вспышек, никаких вспышек
11. не было. А я и не жалею. Да и не надо, нет. Нет. Потому что,
12. как это говорят обычно, после вспышек бывает падение, да?
13. После взлетов.
14. Да, после взлетов бывают падения. Нет, нет. У меня как-то
15. гладко все, размеренно в жизни. Обычная семья. Нормально
16. в общем-то. Но я не жалею. Не жалею, нет. Все нормально.
Аналитическая индукция Аналитическое описание Асимметрия приписывания Виды документов Виды наблюдения Включенное наблюдение Внутреннее переживание Внушающее воздействие «Восходящая* стратегия анализа Глубина понимания Групповая динамика Действующий субъект «Дерево» возможных решений «Дерево» принятых решений Директивная стратегия Дневник наблюдения Документ
Документальный метод интерпретации Достоверность Драматургический подход Единица счета Жизненный мир Закон
Законодательный разум Изменение социальной ситуации
Измерение
Индивидуальная свобода Индивидуальное самосознание Индикатор
Интерпретативный разум Интерпретация Интерфейс
Информативно-целевой анализ исследовательская стратегия «История жизни» (life story)
Карточка (протокол) наблюдения
Качественное интервью Качественные данные Качество исследования Качество структурированного наблюдения
Квазифундаментальное исследование
«Кейс-стади» (case study) Классификатор Количественный подход Коммуникация Конструкт конструктов Контекст изучаемой ситуации Контент-анализ Коэффициент информативности
Массовые явления Математические методы Мемос Метод
Методология Микропроцесс ы Модератор
Монологичное знание Надежность Нарративное интервью Нарративный подход Научное объяснение Научный тип знания Незавершенность Нисходящая стратегия Номинальная шкала Обоснованная теория (grounded theory)
382
Указатель терминов
Объективная социальная реальность
Объект исследования Описание «тонкое» и «толстое» Овладение миром Определение ситуации Осевое и селективное кодирование
Панельное исследование Парадигма
Параллельное сочетание количественного и качественного
ПОДХОДОВ
Пересмотр гипотезы Плюральность методов Повседневность Позитивизм Позиция исследователя Полуформализованное интервью Понимание
Последовательное сочетание качественного и количественного подходов Прагматизм
Прагматическая позиция Практические объяснения Предмет исследования Прикладное исследование Прикладные задачи Принятие роли другого Проблема истины Проблема исследовании Проводник Прогнозирование Простое описание Радикалисте кая позиция С точки зрения действующего Семантическое объяснение
Символический интеракиио-низм
Смысл социального действия Смысловая единица анализа Социальная группа Социальное управление Социальный институт Социальный факт Сравнение
Стандартизованное интервью Становление Стратегия власти Структурированное наблюдение Сциентизм Тип
Типизация
Традиционный анализ Требование адекватности Узкоэмпиристская позиция Универсальный закон «Устная история» (oral story) Феноменологическая социология
Фокус анализа Фокус-группа
Фундаментальное исследование Функция
«Человеческие документы* Экзистенциалистская позиция Элементы наблюдаемого поведения
Этнографический тип качественного исследования Этном етодоло гия Эффект интервьюера Язык результата исследования «Я» рассказчика
Учебное издание
Анна Семеновна Готлиб
Дата: 2019-07-24, просмотров: 320.