Вопросы лекции:
1. Введение.
2. Объекты экспертизы.
3. Шкалы.
3.1. Качественные шкалы.
3.2. Количественные шкалы.
4. Способы оценивания.
4.1. Способы качественного оценивания.
4.2. Способы количественного оценивания.
4.3. Выбор способа оценивания.
5. Анкета.
6. Выводы.
1. Введение.
Цель постановки экспертного опроса состоит в формализованном описании процедуры получения экспертных оценок. Так как экспертный анализ может объединить несколько разнородных экспертиз, в ходе которых исследуются разные способы оценивания, постановка должна выполняться как для всего экспертного анализа в целом, так и для каждой экспертизы в отдельности.
Постановка экспертизы включает:
- идентификацию объектов экспертизы, подлежащих оцениванию;
- выбор критерия оценки объектов экспертизы и формулирование предложения (вопроса), раскрывающего этот критерий эксперту и позволяющего ему выявить смысл своих оценок;
- разработку и описание шкалы оценок;
- выбор способа оценивания.
После того, как все экспертизы сформированы, выполняется постановка экспертного анализа, состоящая в разработке, изготовлении и тиражировании анкет экспертного опроса.
2. Объекты экспертизы.
В качестве объектов экспертизы могут выступать:
1) исследуемые объекты или явления предметной области (предметом такой экспертизы является оценивание интенсивности проявления одного из факторов в иерархии факторов для каждого из этих объектов);
2) факторы одного семейства иерархии (предметы экспертизы – оценивание их относительной важности).
Формулирование вопроса является одним из наиболее тонких и важных моментов подготовки экспертизы. Эксперт, как правило, не посвящен в тонкости моделирования, методов обработки, шкал измерения и других специальных разделов экспертного анализа. Для него вопрос является воплощением всех стараний поставщика экспертизы сделать ее как можно более эффективной. Даже при адекватных модели, шкале и способе оценивания неправильно сформулированный вопрос может испортить все дело. Рассмотрим основные формы и принципы формулирования вопросов.
По форме различают следующие виды вопросов:
- открытые и закрытые;
- прямые и косвенные.
Вопрос называется открытым (свободным), если ответ на него ничем не регламентирован и может быть дан в любой форме. Вопрос называется закрытым, если в его формулировке содержаться варианты возможных альтернативных ответов и эксперт должен выбрать один из них. Разновидностью закрытого вопроса является дихотомический, предполагающий ответ «да-нет».
Косвенные вопросы используются, чтобы замаскировать цель экспертизы в тех случаях, когда нет твердой уверенности, что эксперт не заинтересован в объектном освещении проблемы или что он сумеет дать определенную информацию. Необходимо отметить, что косвенным вопрос – не единственный способ маскировки цели. Аналогичного, даже более эффективного результата можно добиться введением группы дополнительных факторов, косвенно характеризующих исследуемое явление.
3. Шкалы.
Проектирование шкал относится к одному из разделов теории измерений. Измерение – это алгоритмическая операция, которая данному объекту (процессу, явлению, состоянию, фактору и т.д.) ставит в соответствие определенное обозначение: число, номер или символ.
Перечислим основные классификационные признаки шкал: начало отсчета; единица масштаба; тип отношения, определенного на шкале; вид эквивалентного преобразования и допустимые операции над оценками.
3.1 Качественные шкалы.
Номинальная шкала (шкала наименований, классификационная шкала). Шкала, в которой значения определяются с точностью до взаимо-однозначных преобразований.
Суть оценки объектов в номинальной шкале – разбиение их на классы эквивалентности. Каждому классу ставится в соответствие определенное обозначение. Оценка объекта состоит в определении его принадлежности к тому или иному классу и присвоение соответствующего обозначения.
Номинальные шкалы обычно используются для классификации дискретных явлений. Для обозначения классов могут использоваться слова – названия (географические названия, имена, диагнозы), символы (гербы, флаги, эмблемы), номера (разряды, сорта, автомобильные и телефонные номера, номера на майке спортсмена) и др.
Нечеткая шкала (лингвистическая). Шкала, в которой значения определяются с точностью до эквивалентных лингвистических преобразований.
Степень принадлежности объекта нечеткому множеству выражается числом. Величина, рассматриваемая как функция аргумента, называется функцией принадлежности. На рисунке приведены примеры функций принадлежности к четырем нечетким понятиям (множествам), образующим лингвистическую переменную «возраст».
|
Операции с нечеткими оценками аналогичны операциям с оценками в номинальной шкале.
Порядковая шкала (ранговая шкала). Шкала, в которой численные значения определяются с точностью до монотонных преобразований.
Шкалы порядка используются при сравнительной оценке объектов, когда определяется лишь порядок их предпочтения (ранжирование). Различаются три разновидности порядковых шкал:
- шкалы простого порядка, если не каждую пару оцениваемых объектов можно упорядочить по предпочтению (очередность, призовые места);
- шкалы слабого порядка , если не каждую пару можно упорядочить по предпочтению – некоторые объекты считаются равными (конкурсные премии – одна первая, две вторых, две третьих);
- шкалы частичного порядка, если имеются пары объектов, несравнимых между собой (что лучше – вкусная еда, плавание или слушание музыки).
Известны также так называемые модифицированные порядковые шкалы:
- шкала твердости минералов по Моосу – введена в 1822г. немецким минералогом Ф.Моосом, постулировавшим 10 градаций твердости (из двух минералов тверже тот, который оставляет на другом след –царапины вмятины – при соприкосновении).
- шкала силы ветра по Бофорту – 12-бальная шкала, предложена в 1805г.английским гидрографом и картографом адмиралом Ф.Бофортом и определяет силу ветра по характеру волнения моря: 0-штиль, 4-умеренный ветер, 6-сильный ветер, 10-шторм, 12-ураган;
- шкала магнитуд землетрясений по Рихтеру – 12-балльная шкала, предложена в 1935г. американским сейсмологом Ч. Рихтером и позволяет оценить энергию сейсмических волн в зависимости от их последствий.
В порядковых шкалах отношение порядка ничего не говорит о величине предпочтения.
Шкала гиперпорядка. В таких шкалах сохраняется упорядочение разностей численных оценок объектов. Оценка объектов при гиперупорядочении состоит не только в определении порядка предпочтения, но и указании, насколько это предпочтение велико для каждой пары объектов.
3.1 Количественные шкалы.
Шкала интервалов. Шкала, в которой численные значения определяются с точностью до линейных преобразований. В шкалах интервалов сохраняются отношения разностей численных оценок объектов. Интервальные шкалы могут иметь произвольные начала отсчета и единицы масштаба.
Примерами величин, измеряемых в интервальных шкалах, являются температура (по Цельсию, Фаренгейту, Кельвину ) и высота местности (метры, футы).Известно, что связь между шкалами Фаренгейта и Цельсия выражается формулой F=5C/9+32. Высоту принято отсчитывать от уровня моря.
В интервальной шкале единственной допустимой операцией над оценками является определение интервала между ними. Интервалы при этом имеют смысл настоящих чисел, над которыми можно выполнить любые арифметические операции.
Шкала разностей. Шкала, в которой численные значения определяются с точностью до преобразований сдвига. В шкалах разности численных оценок объектов и меняется начало отсчета. Более общим случаем шкалы разностей является периодическая (циклическая) шкала, численные значения которой определяются до преобразований сдвига.
Примером величины, измеряемой в шкале разностей, является летоисчисление. В связи с отсутствием абсолютного нуля операции над оценками в шкале разностей идентичны операциям в шкале интервалов.
Шкала отношений. Шкала, в которой численные значения определяются с точностью до преобразований подобия (растяжения).
В шкалах отношений остаются неизменными отношения численных оценок объектов. Шкалы отношений имеют абсолютный нуль, хотя свобода в выборе единицы масштаба остается..
Примерами величин, природа которых соответствует шкале отношений, являются длина (километр, миля), электрическое сопротивление, деньги, вес (килограмм, фунт).
Над оценками в шкале отношений можно выполнять любые арифметические операции.
Абсолютная шкала. Шкала, в которой численные значения определяются с точностью до тождественных преобразований.
Вообще говоря, абсолютная шкала единственна. Число, являющееся результатом измерений в абсолютной шкале, определяется однозначно. Важной особенностью абсолютной шкалы по сравнению с остальными является ее отвлеченность (безразмерность) и абсолютность нуля и единицы масштаба. Такими свойствами обладает числовая ось, используемая для измерения количества, вероятности.
Над оценками в абсолютной шкале можно производить все операции (включая их использование в качестве показателя степени и аргумента логарифма).
Нелинейные шкалы. Шкалы, в которых численные значения определяются с точностью до нелинейных преобразований. Нелинейные шкалы имеют абсолютный нуль, вследствие чего с их оценками можно производить любые арифметические действия.
4. Способы оценивания.
4.1 Способы качественного оценивания.
Методы классификации. Эксперту предъявляется весь набор объектов и предлагается указать разбиение их на классы. При большом числе объектов эксперту можно предъявить лишь часть объектов, которые он должен разбить на классы. После того как эксперт справится с предложенной задачей, предъявляется новый объект, который он должен либо отнести к одному из выделенных классов, либо образовать новый класс. Процесс заканчивается, когда классифицируется последний объект.
Метод парных сравнений. Эксперту последовательно предъявляются пары объектов, для каждой пары из которых предлагается указать, какой из объектов более предпочтителен или может ли данная пара объектов принадлежать одному классу.
Результаты оценки предпочтительности представляются в виде квадратной матрицы парных сравнений или графа предпочтений, дуги которого направлены от более предпочтительного объекта к менее предпочтительному.
Методы ранжирования. Эксперту предъявляется весь набор объектов, подлежащих оцениванию, и предлагается упорядочить их по предпочтениям. Наиболее известны два способа ранжирования.
При первом способе эксперту предъявляется весь набор объектов и предлагается указать наиболее предпочтительный. Указанный объект исключается из дальнейшего рассмотрения – его ранг определен, после чего выбирается наиболее предпочтительный объект из оставшихся. Процесс продолжается до тех пор, пока останется последний объект.
При втором способе эксперту предъявляется часть объектов и предлагается упорядочить их по предпочтениям. Затем добавляется один новый объект и эксперту предлагается указать его место среди уже проранжированных. Процесс заканчивается, когда проранжируется последний объект.
Оба способа позволяют выполнить простое упорядочение. При частичном упорядочении используется только второй способ.
Метод множественных сравнений. Отличается от парных сревнений тем, что эксперту последовательно предъявляются не пары, а тройки, четверки и т.д. объектов. Эксперт их упорядочивает по важности или разбивает на классы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях объем информации одновременно, а с другой, - уменьшить до разумных пределов объем информации, одновременно перерабатываемой экспертом при ранжировании.
Метод векторов предпочтения. Эксперту предъявляется весь набор объектов, для каждого из которых он должен указать число объектов, превосходящих данный, не указывая при этом, какие именно объекты являются более предпочтительными.
Результатом оценки является вектор предпочтений характеризующий относительную предпочтительность (вес, важность, значимость и т.д.) объектов. Если значения элементов вектора предпочтений различны, получаем простое упорядочение (ранжирование). Однако в общем случае векторы предпочтений не всегда соответствуют ранжированиям.
В вектор предпочтений может быть преобразована информация, получаемая от эксперта в методах парных и множественных сравнений.
Метод гиперупорядочения. Эксперту предлагается не только проранжировать объекты, но и упорядочить разности их оценок. Способы ранжирования разностей оценок объектов аналогичны способам ранжирования самих объектов.
4.2. Способы количественного оценивания.
Метод непосредственной численной оценки. Эксперту предъявляется весь набор объектов. Если цель экспертизы – количественная оценка или их сравнительной предпочтительности, то эксперт ставит в соответствие каждому объекту число, характеризующее его предпочтительность или интенсивность проявления анализируемого свойства. Если цель экспертизы – разбиение объектов на классы, то для каждого объекта эксперт указывает численную оценку степени его принадлежности к определенному классу (нечеткому множеству).
Известны два особых способа численной оценки. В первом способе применяется оценивание объектов в баллах. При этом диапазон изменения оцениваемого свойства объекта разбивается на несколько интервалов, каждому из которых присваивается определенная оценка (балл). Задача эксперта заключается в помещении каждого из рассматриваемых объектов в определенный оценочный интервал. Иногда экспертам разрешается уточнять оценки, указывая числа, расположенные между балльными значениями.
Второй способ – метод средней точки – применим при достаточно большом наборе объектов. Пусть экспертом указаны наиболее и наименее предпочтительные объекты а1 и а2. Далее эксперту предлагается указать объект а3, по предпочтительности расположенный точно между а1 и а2. Затем эксперту предлагается указать объекты, расположенные по предпочтительности точно между а1 и а3, между а3 и а2 и т.д. Процесс заканчивается, когда оценок объектов оказывается достаточно для получения кривой.
Метод Черчмена – Акофа (метод последовательных сравнений). В этом методе предлагается последовательная корректировка оценок, указанных экспертом. Объекты ранжируются по предпочтительности.
Метод Терстоуна. Основой метода являются парные сравнения, используемые для оценки предпочтительности объектов. Предполагается, что парные сравнения выполняются относительно большим числом экспертов (m³25). Метод Терстоуна относится больше к методам статической обработки оценок, полученных в результате парных сравнений.
Метод фон Неймана-Моргенштерна.
4.3. Выбор способа оценивания.
Очевидно, что выбор метода получения экспертных оценок определяется, в первую очередь, характером анализируемой информации и типом шкалы, в которой производится измерение.
Если оправданы лишь качественные оценки предпочтительности объектов или разбиение их на классы по тем или иным качественным признакам, то необходимо использовать парные и множественные сравнения, классификацию, ранжирование и т.д. Отметим, что ранжирование применяется в следующих ситуациях:
1) когда необходимо упорядочить какие-либо объекты во времени или в пространстве (при этом интересна степень выраженности какого-либо их свойства);
2) когда нужно упорядочить объекты в соответствии с каким-либо свойством, но при этом не требуется производить его точное измерение;
3) когда какое-либо свойство в принципе не может быть измерено по причинам практического или теоретического характера.
Если характер анализируемой информации таков, что целесообразно получать численные оценки сравнительной предпочтительности объектов, то используется тот или иной метод количественной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Чермена-Акофа и фон Неймана-Моргенштерна.
Другим важным критерием выбора способа оценивания является число объектов экспертизы. Известно, что для лучшей согласованности и точности эксперту не следует одновременно сравнивать более 7±2 объектов. В реальных ситуациях объектов зачастую бывает намного больше.
Наилучшим способом декомпозиции процедуры экспертного оценивания являются парные сравнения, структурирующие процесс до минимально возможного уровня – сравнение двух объектов. Однако это может обернуться огромным объемом рутинной работы для эксперта, т.к. рост числа объектов сопровождается нелинейным (квадратичным) ростом количества сравнимых пар. При оценке 20-30-ти объектов могут использоваться описанные выше способы ранжирования. Как отмечалось ранее, при большом числе объектов весьма эффективными могут оказаться множественные сравнения, позволяющие разделить весь набор объектов на группы разумных размеров, подлежащие самостоятельному анализу.
Среди количественных методов только непосредственная численная оценка никак не ограничена количеством объектов, т.к. эксперт работает с каждым из них в отдельности, независимо от остальных. Остальные же количественные методы при работе с большим числом объектов (превышающим 7) становятся крайне сложными, запутанными и малоэффективными.
5. Анкета.
Анкета – это средство, с помощью которого осуществляется сбор и кодирование экспертной информации. Разработка анкеты является последним подготовительным этапом в организации экспертного анализа. Специфика анкеты состоит прежде всего в том, что работать с ней предстоит самым разным категориям людей (экспертам, специалистам по обработке, аналитикам) и об удобстве и эффективности работы каждого из них необходимо позаботиться заранее. Кроме того, анкета является документом, подлежащим пересылке, включению в отчет и хранению, что также определяет некоторые требования к ее форме и качеству. Рассмотрим основные рекомендации по разработке и изготовлению анкеты.
Прежде всего анкета должна быть структурно организована. Как правило, выделяются три структурных компонента анкеты: общая информация, объяснение и область заполнения.
Общая информация включает:
- идентификатор анкеты, присваиваемый поставщиком экспертизы и используемый в дальнейшем в процедурах поиска, обработки и хранения (идентификатором может служить порядковый номер или более сложный буквенно-цифровой код с зашифрованной информацией об экспертизе, статусе анкеты, эксперте и т.д.);
- идентификацию организации или коллектива, проводящего экспертный анализ (включая полное название, фирменную атрибутику и способы контакта – адрес, телефон, e-mail и д.р.);
- сведения об эксперте, предназначенные для персонификации анкеты (если спрос анонимный) и последующей классификации результатов.
Необходимость получения тех или иных сведений об эксперте определяется используемыми методами обработки оценок и предназначением этих сведений. Так, например, они могут использоваться для формирований рейтинговых показателей экспертов (в этом случае важна профессиональная специализация эксперта, его исследовательские интересы, образование и другая информация, относящая эксперта к той или иной профессиональной или социальной группе).
Объяснение, выполняемое обычно в форме обращения к эксперту, должно раскрывать:
- смысл решаемой проблемы, цели и задачи экспертизы (назначение этого раздела – показать эксперту роль и место его работы в решении стоящей проблемы, а также указать на важность получаемой от него информации);
- применяемые в данной анкете способы оценивания (особенно нуждается в комментариях метод парных сравнений – его следует описывать максимально подробно и наглядно);
- порядок и последовательность заполнения анкеты, инструкции и советы, облегчающие работу;
- полное описание и интерпретацию шкал, используемых в анкете.
Желательно, чтобы обращение к эксперту было подписано руководителем экспертного анализа. Эксперт должен видеть за анкетой конкретных специалистов, а не только безликую организацию.
Область заполнения представляет собой совокупность таблиц, которые должен заполнить эксперт, отвечая на поставленные вопросы. Помимо запланированных и структурированных оценок эксперт может также высказать в свободной неформализованной манере свое мнение, пояснения или комментарии по поводу проводимого экспертного анализа, используемой в нем модели или проблемы в целом. Для фиксации этой информации в анкете необходимо предусмотреть специальное «поле для заметок».
В процессе изготовления и тиражирования анкеты необходимо учитывать следующее:
- анкета должна иметь удобный для пересылки, хранения и работы с ней формат (обычно это форматы А3-А5), поля для переплета или подшивки;
- информация в анкете должна размещаться с учетом порядка ее использования; особенно важно продумать размещение одновременно используемой информации – по крайней мере, она не должна быть помещена на разных оборотах листа;
- анкета должна быть по возможности компактной и содержать как можно меньше второстепенной информации – эксперта может раздражать пространное изложение несущественных деталей;
- необходимо эффективно управлять вниманием эксперта; средствами такого управления являются выделение областей, которые должен и которые не должен заполнять эксперт, использование цвета, специальных шрифтов и начертаний, композиционные приемы и др.;
- анкета должна быть достаточно привлекательной, качественно выполненной (для изготовления макета лучше использовать издательскую систему и принтер с высоким разрешением); нельзя жалеть усилий для создания красивой формы.
Заметим, что анкетирование может проводиться с помощью компьютера. Анкета при этом реализуется в виде совокупности панелей и последовательности вопросов, выводимых на экран. Заполнение такой анкеты может выполняться с помощью клавиатуры или манипулятора «мышь». Электронное анкетирование имеет ряд частности:
- получаемая в результате экспертная информация уже закодирована, ведена в компьютер, синтаксически корректна и подготовлена к дальнейшей автоматизированной обработке;
- использование современных компьютерных сетей передачи информации позволяет быстро и эффективно контактировать с территориально удаленными экспертами.
Однако использование компьютера имеет и свои особенности;
· далеко не все люди психологически приспособлены к интеллектуальной работе с компьютером – некоторые предпочитают спокойный мыслительный процесс за столом с карандашом и бумагой;
· в ряде случаев эксперту требуется параллельное представление большого количества информации, не умещающейся одновременно на мониторе;
· разработка хорошей электронной анкеты с контекстно-ориентированной поддержкой эксперта требует значительных программистских усилий, что далеко не всегда оправдано экономически.
6. Выводы.
1. Постановка экспертного опроса включает идентификацию объектов экспертизы, выбор критериев оценки, формулирование вопросов, разработку шкал, выбор способов оценивания, разработку и тиражирование анкеты.
2. В качестве объектов экспертизы выступают либо объекты предметной области, либо факторы одного семейства иерархии.
3. Различают следующие виды вопросов: открытые и закрытые; прямые и косвенные. Необходимо учитывать ряд правил при формулировании вопроса.
4. Из теории измерений известны две категории шкал: качественные (номинальная, нечеткая, порядковая, гиперпорядковая шкалы) и количественные (шкалы интервалов, разностей, отношений, абсолютная, нелинейная). Выбор шкалы зависит от типа отношений, определенного на объектах экспертизы, и характера информации, которую может предоставить эксперт.
5. Оценивание может выполняться способами двух видов: качественного оценивания (методы классификации, парных сравнений, ранжирования, множественных сравнений, векторов предпочтения, гиперупорядочения) и количественного оценивания (методы непосредственной численной оценки, Черчмена-Акофа, Терстоуна, фон Неймана-Моргенштерна). Выбор способа определяется используемой шкалой и числом объектов экспертизы.
6. Структурная организация анкеты включает общую информацию, объяснение, область заполнения. Необходимо придерживаться ряда рекомендаций при изготовлении анкеты.
Лекция №8. Проведение экспертного опроса
Вопросы лекции:
1. Подбор экспертов
2. Методы проведения опроса
3. Качество оценок
4. Выводы
Целью данного этапа является извлечение экспертных знаний и их кодирование в неоспоримых достоинств, в соответствующую форму, интерпретируемую с помощью разработанной эвристической модели. Правила кодирования знаний определяются способом и шкалой оценивания, формируемыми на предыдущем, постановочном этапе. Воплощение этих правил является анкета, к заполнению которой, в основном, и сводится экспертный опрос.
Проведение опроса включает:
- подбор экспертов, участвующих в опросе;
- выбор формы и метода проведения опроса и заполнение анкет;
- оценку качества работы и компетентности экспертов.
1. Подбор экспертов.
Подбор экспертов составляет одну из наиболее трудноразрешимых проблем экспертного анализа. Природа этой проблемы – человеческий фактор, исходящий от самих же экспертов. Естественно, что в качестве экспертов привлекаются наиболее компетентные, не рядовые специалисты в данной области. Неудивительно, что каждый из них имеет свой устоявшийся взгляд на положение дел и свое понимание того, как надо решать стоящую проблему. К экспертизе они чаще всего относятся негативно. Но все-таки эксперты соглашаются работать, руководствуясь чувством долга, распоряжениями начальства или снисхождением к любопытству исследователей.
Основные факторы, влияющие на подбор экспертов:
1. Сложность и широта проблемы. Только узкие специалисты не могут охватить такую задачу целиком, они не в состоянии учесть все аспекты проблемы, увидеть ее «сверху». Расширение группы экспертов, привлечение специалистов из смежных областей может серьезно помочь в этом случае. Однако исследователь непременно столкнется с другим весьма существенным фактором.
2. Время и средства. Временные ограничения в экспертном анализе являются обычно наиболее существенными – ведь к экспертным оценкам зачастую прибегают именно тогда, когда нужно быстро, без особых затрат получить хоть какой-то результат. Именно нехватка времени приводит к тому, что круг экспертов сужается и локализуется. «Наилучший» способ сэкономить ресурсы – привлечь лишь тех экспертов, которые находятся рядом, «под рукой». Однако очевидно, что такой подбор может привести к одностороннему и весьма консервативному взгляду на проблему.
3. Заинтересованность в результате. В идеальном случае эксперт должен быть независимым и беспристрастным судьей. Однако, как правило, эксперты, хорошо разбирающиеся, а следовательно, и имеющие непосредственное отношение к стоящей проблеме, не могут быть абсолютно безразличны к результатам работы и принимаемым на их основе решениям. Наибольшая степень заинтересованности проявляется при решении задач распределения ресурсов, таких как конкурсное финансирование НИР и др. Подобные ситуации не страшны, если к экспертизе привлекаются по возможности все заинтересованные стороны, а в процессе обработки результатов вводятся определенные поправки, компенсирующие конъюнктурность тех или иных оценок.
4. Субъективные факторы. В качестве субъективных факторов выступают прежде всего личные качества эксперта – его компетентность, широта эрудиции, склонность к абстрактному мышлению, коммуникабельность, доброжелательность и т.п. Немаловажную роль может сыграть авторитетная рекомендация или личное знакомство исследователя с экспертом, значительно упрощающее взаимодействие в процессе работы.
2. Методы проведения опроса
Методы опроса делятся на:
- очные (личные) и заочные;
- индивидуальные и групповые.
Личный опрос – это процедура, в процессе которой исследователь осуществляет непосредственный (очный) контакт с экспертом. Недостатком очного опроса являются большие затраты труда и времени. Иногда в ходе очного опроса могут возникать нежелательные искажения информации вследствие психологического воздействия исследователя на эксперта, что вызывает недовольство со стороны последнего. Заочный опрос-пересылка анкеты эксперту по почте – характеризуется простотой и дешевизной. Однако при этом он обладает низкой надежностью из-за того, что некоторые вопросы эксперт может неправильно истолковать, а на некоторые вообще не дать ответа.
В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, что обусловило широкую популярность групповых методов опроса. Необходимо отметить, что групповые методы неординарны по характеру и получаемому результату. Так, одни нацелены на получение единого обобщенного мнения, формируемого в результате обсуждения группой экспертов (методы суда и комиссии); другие предполагают сбор индивидуальных мнений экспертов группы, обобщение и статистическая обработка которых – дело исследователя (модификации метода Дельфы); третьи вообще могут быть не связаны с какой-либо конкретной целью (методы мозгового штурма).
Метод комиссии. Состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущество метода комиссии состоит в росте информированности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, под воздействием которых некоторые участники комиссии могут изменить первоначальную точку зрения. К числу недостатков относится отсутствие анонимности. Оно может приводить к достаточно сильным проявлениям конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов, в которой часто верх берет не обоснованность, а количество приводимых доводов «за» и «против». Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения.
Метод суда. Экспертиза по методу суда использует аналогии с судебным процессом «прокурор – адвокат»:
1) Часть экспертов объявляется сторонниками рассматриваемого решения и выступает в качестве защиты, приводя доводы в его пользу.
2) Часть экспертов объявляется его противниками и пытается выявить отрицательные стороны.
3) Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы по методу суда эксперты могут меняться местами. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссии.
Метод мозговой атаки. Один из наиболее применяемых в 50-60-х гг. методов. Основная направленность мозговой атаки (штурма) – выявление новых идей. Для этой цели организаторы экспертизы должны создать атмосферу, наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки, освобождающую эксперта от излишней скованности. Любая высказываемая экспертами идея должна быть обсуждена и не может объявляться ложной и подвергаться критике даже при ее почти очевидной бесперспективности.
В мозговой атаке существенная роль принадлежит руководителю, знающему о конечной цели экспертизы и направляющему дискуссию в соответствующее русло. Однако, если руководитель стремится выделить лишь перспективные, с его точки зрения, идеи, результат экспертизы оказывается менее значительным.
Метод Дельфы. Разработан сотрудниками корпорации RAND О.Хелмером и Н.Делки и назван по имени древнегреческого города Дельфы, где при храме Апполона по преданиям существовал Дельфийский оракул, славившийся предсказаниями будущего.
Метод Дельфы предполагает полный отказ от коллективной дискуссии и открытого обсуждения, заменяя их тщательно разработанной программой анонимных последовательных индивидуальных опросов. Это делается для уменьшения влияния таких психологических факторов как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства.
Экспертиза по методу Дельфы проводится в 4 тура.
На первом туре экспертам сообщается цель экспертизы и формулируются вопросы, ответы на которые составляют основное одержание экспертизы. В ходе первого тура производится правильная ориентация экспертов, структурирование предметной области, конкретизация цели и выявление объектов экспертизы. Первая анкета может быть полностью бесструктурной и допускать любые ответы. Результаты первого тура закладываются в основу анкеты второго и всех последующих туров.
Дальнейшая работа по методу Дельфы основана на следующих предпосылках:
1) поставленные вопросы должны допускать возможность выражения ответа в виде числа (кода);
2) ответ на каждый из вопросов должен быть обоснован экспертом.
На втором туре экспертам направляют перечень объектов экспертизы, просят дать им оценки и привести соображения, по которым они считают свои оценки правильными. Информация, поступающая от экспертов обрабатывается, в результате чего для каждого объекта экспертизы определяются:
- эксперты, высказавшие «крайние» точки зрения, давшие самую высокую и низкую оценку объекту;
- усредненное групповое мнение экспертов – медиана;
- верхняя и нижняя квартили, т.е. значения, выше и ниже которых расположены 25% оценок (расстояние между квартилями характеризует разброс экспертных оценок и согласованность мнений экспертов).
На третьем туре экспертам предъявляются усредненная оценка и обоснования экспертов, высказавших «крайние» точки зрения. Обоснования предъявляются анонимно, без указаний давших их экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь обрабатывается.
Четвертый тур ничем не отличается от третьего и проводится в случае необходимости.
Характерной особенностью метода является уменьшающий от тура к туру разброс оценок экспертов, их возрастающая согласованность. Однако иногда наблюдается поляризация точек зрения, являющаяся следствием неоднозначной интерпретации экспертами исходной информации, вопросов и целей экспертизы. Сильное расхождение мнений может также объясняться и принадлежностью экспертов к различным научным школам или концепциям. В этом случае выявление различных точек зрения – несомненно полезное качество дельфийской процедуры.
В настоящее время не существует окончательного мнения о необходимом числе туров – в некоторых случаях согласованная точка зрения может быть получена уже после третьего тура. Отмечается также, что эксперты, не изменяющие своих оценок, дают ответ, оказавшийся ближе к истинному.
Наиболее характерными недостатками методы Дельфы являются:
- значительное время, требуемое на повторение большого числа итераций экспертизы;
- необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию.
3. Качество оценок
Анализ качества оценок служит связующим звеном между подготовительной фазой экспертного анализа и фазой обработки и осмысления результатов экспертизы. Целью анализа качества является получение первичного представления о том, насколько полученные от экспертов оценки соответствуют предъявляемым требованиям и пригодны ли они для дальнейшей обработки.
Трудно сформулировать объективный критерий качества экспертных оценок. Невозможно дать универсальные рекомендации для распознавания подобных ситуаций – и в каждом отдельном случае нужно полагаться на добросовестность и интуицию исследователя.
Очевидно, что наибольшее влияние на качество и достоверность высказываний эксперта оказывает его компетентность. Широко известны несколько подходов к анализу компетентности экспертов, основанные на тестовых, документационных, взаимно- и самооценочных данных.
Методы взаимооценки и самооценки. Взаимооценка выполняется двумя способами. В первом – каждый предполагаемый эксперт оценивает компетентность, объективность и другие качества всех остальных предполагаемых экспертов. Во втором - оценку качества предполагаемых экспертов осуществляется специальная аналитическая группа, участвующая в организации и проведении опроса.
При самооценке эксперт сам в достаточно детализированном виде определяет степень своего знакомства с предметом экспертизы и некоторыми специальными вопросами. На основании самооценки может быть определен коэффициент компетентности эксперта. Для каждого из l вопросов экспертного анализа эксперт указывает:
1) степень своего знакомства с данным вопросом - СЗ
2) на основании структуры аргументации определяется степень аргументированности - СА
Тогда коэффициент компетентности j-го эксперта по k-му вопросу определяется как среднее арифметическое степени знакомства и аргументированности: Сjk = (CЗ + СА)/2
Тестовый метод предназначен для проверки эрудиции и аналитических способностей эксперта. Для этого может быть использована специальная анкета, содержащая тестовые вопросы или задачи, отражающие специфику предмета экспертизы.
Документационный метод предполагает оценку компетентности эксперта на основании таких объективных документальных данных как число публикаций и ссылок на его работы, ученая степень, стаж, занимаемая должность и т.д.
Другим показателем качества оценок является их непротиворечивость. Противоречивые оценки свидетельствуют о непонимании экспертом смысла исследуемых понятий, неудачном выборе шкалы и способа оценивания или просто об отсутствии у эксперта устоявшегося взгляда на анализируемую проблему. Противоречивость оценок обнаружить нелегко. Одним из наиболее эффективных способов является введение в модель избыточных факторов.
Качество постановки опроса. О качестве полготовки экспертизы можно судить не только по степени противоречивости оценок, но и по ряду других косвенных признаков. Так, многочисленность ответов «не знаю», «не понял» свидетельствуют об усложненной постановке вопросов, полное совпадение мнений – о стандартной постановке, большое число замечаний – о неудачной формулировке целей и задач экспертизы, отказы от ответов – о плохом объяснении или неудачной структуре анкеты.
4. Выводы
1. Проведение экспертного опроса включает подбор экспертов, выбор метода проведения опроса, заполнение анкет, анализ качества оценок.
2. На подбор экспертов влияют следующие факторы: сложность и широта (абстрактность) проблемы, время и средства, заинтересованность экспертов в результате, субъективные факторы.
3. Методы проведения опроса делятся на очные и заочные, индивидуальные и групповые. Среди групповых методов наиболее распространены методы комиссии, суда, мозговой атаки, Дельфы. С групповым опросом связана проблема определения численности группы, сохранения конфиденциальности и др. этические и психологические моменты, в том числе оплата труда эксперта.
4. Основными показателями качества оценок являются их непротиворечивость и компетентность экспертов. Для анализа компетентности используются методы взаимно- и самооценки, тестовый и документационный методы. Противоречивость оценок обнаруживается введением в модель избыточных факторов либо в виде нарушений транзитивности в парных сравнениях.
Лекция№9. Обработка экспертных оценок и интерпретация результатов
Вопросы лекции:
1. Анализ согласованности
1.1 Классификация показателей согласованности
1.2 Согласованность ранжирований
2. Выделение высокосогласованных подгрупп
3. Интерпретация результатов
4. Выводы
Целью обработки оценок является получение обобщенного мнения на основании множественных суждений экспертов. Совместной обработке обычно подлежат оценки, полученные в ходе одной экспертизы. Из-за возможных существенных различий в организации каждая экспертиза разрабатывается отдельно, а методы обработки зависят от типа шкалы, по которой производилось оценивание, способа оценивания, формы проведения опроса и характера полученных результатов. В отличие от методов обработки, последовательность обработки универсальна и включает, как правило, четыре основных этапа:
1) унификацию результатов, состоящую в преобразовании результатов экспертизы (экспертных оценок) в форму, пригодную и удобную для обработки;
2) анализ согласованности мнений экспертов, принимавших участие в экспертизе;
3) выделение высокосогласованных подгрупп, характеризующихся близостью мнений входящих в них экспертов;
4) синтез обобщенного мнения (мнений), состоящий в объединении частных оценок в общий итоговый показатель.
1. Анализ согласованности
1.1 Классификация показателей согласованности
Одним из основных инструментов, используемых в анализе и обработке экспертных оценок, является анализ согласованности, задача которого состоит в определении, насколько близки или далеки друг от друга точки зрения экспертов. Анализ согласованности помогает решать ряд важных задач, возникающих при обработке экспертных оценок, в частности:
1) задачу определения результирующих значений, наиболее близких к оценкам, указанным экспертами;
2) задачу классификации экспертов на основании высказанных ими суждений.
Очевидно, что способ измерения согласованности экспертных суждений зависит прежде всего от характера оценок – количественного или качественного. Отметим, что анализ согласованности мнений экспертов – лишь частная постановка более общей задачи исследования близости различных процессов и явлений. Сегодня существует довольно обширная номенклатура методов и количественных показателей, позволяющих оценить степень этой близости.
Показатели согласованности мнений предназначены для количественной оценки степени совпадений мнений двух или более экспертов по поводу одного или более объектов экспертизы. Рассмотрим классификацию показателей согласованности. В качестве критериев классификации примем
- характер (тип) показателя, отражающий подход к его вычислению;
- количество объектов экспертизы, охватываемых показателем;
- число экспертов, согласованность которых позволяет оценить показатель.
В зависимости от характера и способа вычисления, показатели могут отражать
- относительную частоту противоречий во мнениях без учета расстояния между несовпадающими оценками;
- вариационный размах – степень противоречивости мнений с учетом расстояний между отдельными оценками;
- средние отклонения – степень противоречивости мнений, основанную на отклонениях оценок от некоторого центрального значения.
По количеству охватываемых объектов показатели делятся на две категории – показатели, оценивающие согласованность мнений по поводу одного объекта экспертизы, и показатели для неограниченного числа объектов.
По числу экспертов показатели предназначены для оценки согласованности двух либо неограниченного числа экспертов.
Классификация 12-ти показателей, рассматриваемых в настоящем разделе, приведена в табл.1. Кроме значений классификаторов в таблице приведены диапазоны значений показателей и характер их изменения при росте согласованности – возрастание (), убывание (¯) или убывание модуля (|¯|).
Классификация показателей согласованности
| показатель | обозначение | Диапазон значений | Характер изменения | Тип | Число объектов | Число экспертов |
| Коэффициент ранговой корреляции -Кендела -Спирмена -парной | t r r | [-1,1] [-1,1] [-1,1] | | Относительная частота Вариационный размах Вариационный размах | n n n | 2 2 2 |
| Коэффициент корреляции | r | [-1,1] | | Средние отклонения | n | 2 |
| Информационный показатель | H | [0,1] | | Относительная частота | n | 2 |
| Коэффициент ассоциации | S | [0,1] | | Относительная частота | n | 2 |
| Коэффициент вариации -рангов -Беккера -значимостей -интерквартильной | V VБ V Q | [0,1] [0,n/2] [0,1] [-1,1] | ¯ ¯ ¯ ½¯½ | Относительная частота Вариационный размах Средние отклонения Вариационный размах | 1 1 1 1 | m m m m |
| Коэффициент конкордации | W | [0,1] | | Средние отклонения | n | m |
| Коэффициент согласия | W | [(m-2)/(2m-2),1] | | Относительная частота | n | m |
1.2 Согласованность ранжирований
Пусть n объектов подлежали ранжированию. Каждый из m экспертов, принимавших участие в экспертизе, сформировал свой вектор рангов объектов. Объединим результаты ранжирования n объектов m экспертами в матрицу R={rij½i=1…n, j=1…m}.
Согласованность мнений экспертов при ранжировании оценивается с помощью коэффициентов ранговой корреляции, конкордации и вариации. Коэффициенты конкордации – общую согласованность мнений всех экспертов о ранге одного объекта экспертизы.
Для оценки согласованности двух строгих ранжирований (соответствующих простому упорядочению объектов) используются следующие коэффициенты.
Коэффициент ранговой корреляции Кендела:
где 
,
pij(m), pij(n) – элементы матриц отношений П(Rm), П(Rn), соответствующих ранжированиям Rm, Rn.
К оэффициент ранговой корреляции Спирмена:
где 
Для нестрогих ранжирований известным является формула коэффициента парной ранговой корреляции:
где 
- показатель связных рангов (Тm - для m -го эксперта, Тn - для n -го эксперта;
L – количество групп связных рангов в ранжировании соответствующего эксперта;
tl – количество связных рангов в l – группе.
Рассмотрим процедуру вычисления коэффициента конкордации, характеризующего согласованность m ранжирований R 1 … Rm, выполненных экспертами e 1 … em соответственно.
Коэффициент конкордации рассматривается как отношение:
(*)
где 
- отклонение суммы рангов i-го объекта от среднего арифметического сумм всех объектов 
Smax – максимально возможная сумма квадратов отклонений для заданных m и n.
Для строгого ранжирования 
для нестрогого ранжирования 
где Tj – показатель связных рангов в ранжировании j-го эксперта 
.
Подставляя в выражение (*), получаем формулу коэффициента конкордации:
Рассмотрим основные свойства коэффициента конкордации.
1. Коэффициент конкордации является как бы общим коэффициентом ранговой корреляции для группы, состоящей из m экспертов.
2. Диапазон значений - W Î [0,1]. При полной согласованности мнений, когда все эксперты дают одинаковыеоценки, W =1. При полном отсутствии согласованности оценки совершенно случайны и W =0. В остальных случаях – чем больше W, тем выше согласованность экспертных ранжирований.
3. Низкий коэффициент конкордации, полученный для совокупности экспертов, свидетельстует либо о действительном отсутствии общности мнений, либо о наличии внутри этой совокупности отдельных полярных групп, характеризующихся высокой внутренней согласованностью мнений. Так, если половина – полностью противоположное ранжирование, то общий коэффициент конкордации – W =0, близких к предельным, анализ подобных ситуаций весьма актуален.
Дата: 2019-12-22, просмотров: 679.
