Лекция №5.
Вопросы лекции:
Предпосылки возникновения экспертных оценок
Классы задач, решаемых МЭО
Основные понятия и характеристики экспертного анализа
4. Этапы экспертного анализа (содержание ЭА)
Выводы
Классы задач, решаемых МЭО
Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Несмотря на древность профессии эксперта научные методы анализа экспертных суждений получили свое развитие лишь во второй половине ХХ в.
Перечислим кратко основные классы современных задач, в решении которых используются экспертные оценки:
структурный анализ (анализ структуры рынка, производства, сбыта, конъюнктуры, общества, человеческой деятельности);
анализ качества (анализ продукции, знаний, проектов, принимаемых решений, работы);
оценка последствий (оценка отдаленных последствий принимаемых решений, оценка последствий аварий, катастроф, экологического загрязнения, военных конфликтов);
оценка актуальности (оценка актуальности проблем, задач, выявление приоритетов);
анализ и распределение ресурсов (конкурсное распределение средств, кредитная политика, разработка природных ресурсов, бюджетные ассигнования);
выбор (выбор решения, партнера, исполнителя проекта);
научно техническое прогнозирование (прогнозирование развития научных исследований, управление научно-техническими разработками);
стратегическое планирование (долгосрочное планирование деятельности крупных структур – компаний, государственных служб, военно-промышленного комплекса, отраслей);
выработка политики (выработка финансовой, внешнеэкономической, налоговой, технической, строительной и др. политики).
Основные понятия и характеристики экспертного анализа
Предметом рассмотрения настоящей работы является совокупность этапов системного анализа, связанных с планированием, получением, обработкой и интерпретацией экспертных оценок. По аналогии с системным анализом, назовем процесс решения сложной задачи с помощью экспертных оценок экспертным анализом.
Обычно в процессе использования технологии экспертных оценок следователь сталкивается с двумя аспектами работы: техническим (выбор метода оценивания, подбор экспертов, разработка анкет, обеспечение качества, обработка оценок) и содержательным (изучение предметной области, постановка и структурирование задачи, интерпретация оценок и результатов).
Содержательной основой экспертного анализа является эвристическая модель – интеллектуальное средство, отражающее основные понятия предметной области и формализующее экспертный анализ. Модель представляет собой множество взаимосвязанных и взаимодействующих факторов, оказывающих влияние на изучаемое явление и совокупность исследуемых объектов. В качестве объектов предметной области могут выступать материальные и информационные объекты, альтернативные варианты (в задачах выбора и принятия решений), события, процессы и др.
Фактор – это обобщенное обозначение таких понятий как переменная, характеристика, свойство, параметр, признак и т.д. Анализ взаимодействия факторов и их влияния на исследуемые объекты обычно составляет содержательный аспект экспертного анализа.
Отметим, что объекты предметной области, и факторы могут стать объектами экспертного оценивания. В первом случае эксперт дает оценку интенсивности проявления какого-либо одного фактора для каждого из исследуемых объектов предметной области (в этом случае они и являются объектами оценивания). Во втором случае оценке подлежит взаимодействие нескольких факторов друг с другом.
В качестве экспертных оценок могут выступать как количественные, так и качественные определения экспертами состояния или развития явлений и процессов, времени и вероятности наступления событий, степени важности или предпочтения и т.д.
Решение достаточно сложных задач системного анализа обычно сопряжено с многофакторными исследованиями. Различная природа и многообразие свойств исследуемых объектов и факторов является причиной того, что процедуры экспертного оценивания разных объектов и факторов внутри одной задачи экспертного анализа могут существенно отличаться друг от друга по чисто техническим признакам – способам реализации, методикам обработки оценок и т.д. Поэтому экспертный анализ целесообразно разбивать на обособленные самостоятельные процедуры экспертного оценивания отдельных факторов. Назовем такую процедуру экспертизой.
4. Этапы экспертного анализа (содержание ЭА)
Экспертный анализ включает процессы формирования модели, получения и обработки экспертных оценок и интерпретации результатов. Выделим основные этапы экспертного анализа и роли участвующих в нем лиц.
1. Построение модели, целью которого является структурирование предметной области и задачи анализа. Основным действующим лицом на этом этапе является системный аналитик, взаимодействующий с экспертами для идентификации факторов и выявления их взаимосвязей.
2. Постановка экспертного анализа, задачей которого является формализованное описание процедуры получения экспертных оценок. Постановка должна выполняться специалистом – поставщиком, который совместно с аналитиком выбирает способы оценивания, шкалы, критерии, разрабатывает анкеты и сценарии опроса.
3. Поведение экспертного опроса и получение оценок. На этом этапе к работе подключается основная масса экспертов. Чаще всего процесс экспертного опроса требует непосредственного взаимодействия поставщика с экспертами. Однако этому могут препятствовать самые разнообразные обстоятельства и причины – загруженность поставщика, большое число экспертов, их территориальная удаленность и др. В этом случае между поставщиком и экспертами может возникнуть посредник – агент.
4. Обработка экспертных оценок, целью которой является получение обобщенного мнения на основании множественных суждений экспертов. Помимо поставщика в обработке должен принимать участие специалист по обработке, способный выбрать и реализовать корректную методику обработки.
5. Интерпретация результатов, целью которой является ответить на вопрос, ради которого проводилась вся работа. Как и на первом этапе, здесь основным действующим лицом является системный аналитик, способный трактовать результаты в соответствии с тем смыслом, который был изначально заложен им в модель.
Выводы.
1. Построение строгой математической модели исследуемой системы не всегда возможно из-за ее слабой изученности, многообразия действующих факторов, их качественного и случайного характера, нечеткости целей и критериев, а иногда и из-за отсутствия материальных средств.
2. Альтернативу формализованным методам составляют методы интуитивные, основанные на построении субъективных эвристик и называемые методами экспертных оценок.
3. Областью применения методов экспертных оценок стало решение современных задач системного анализа, связанных со стратегическим планированием и прогнозированием, выбором и принятием решений, структурным анализом и распределением ресурсов.
4. Основными понятиями технологии экспертных оценок являются экспертный анализ, экспертиза, эвристическая модель, факторы, объекты, экспертные оценки.
5. Экспертный анализ сложных проблем включает пять этапов: построение эвристической модели; постановку экспертного анализа; проведение экспертного опроса и получение оценок; обработку экспертных оценок; интерпретацию результатов.
Свойства модели
Выводы
Матричные методы
Морфологический метод. Разработан в 40-х гг. швейцарским астрономом Ф.Цвикки. Основная идея метода – систематически находить все мыслимые варианты решения проблемы путем комбинирования выделенных элементов и их характеристик. Цвикки предложил три метода морфологического исследования.
Первый – метод систематического покрытия поля, основанный на выделении так называемых опорных пунктов знания в любой исследуемой области и использовании для выполнения поля некоторых сформулированных принципов мышления.
Второй – метод отрицания и конструирования, базирующийся на идее, состоящей в том, что на пути конструктивного прогресса стоят догмы и компромиссные ограничения, которые есть смысл отрицать, и следовательно, сформулировав некоторые предложения, полезно заменить на противоположные и использовать при проведении анализа.
Третий – метод морфологического ящика, идея которого состоит в определении всех мыслимых параметров, от которых может зависеть решение проблемы, и представление их в виде матриц-строк, называемых морфологическим ящиком. Затем формируются различные варианты решения проблемы путем перебора всех возможных сочетаний параметров.
Метод QUEST (Quantitative Utility Estimates for Science and Technology – количественные оценки полезности науки и техники). Предназначен для распределения ресурсов, выделяемых на исследования и разработки, исходя из возможного вклада в решение определенного круга задач.
Метод предполагает четыре этапа:
1) оценка значимости различных задач;
2) оценка возможного вклада различных отраслей техники в решение указанных задач как в случае обычного, так и в случае обычного, так и в случае дополнительного финансирования;
3) определение суммарной значимости каждой отрасли для решения всей совокупности задач
4) распределение ресурсов между отраслями в соответствии с их суммарными значимостями.
Аналогичная процедура проводится для получения оценок научных направлений, содействующих развитию различных отраслей техники. На основе этих оценок производится распределение ресурсов между научными направлениями.
Метод решающих матриц. Предложен в 1966г. Г.С.Поспеловым и использовался при планировании средств на фундаментальные исследования. Для решения проблемы предлагалось выделить основные цели иследований, указать их относительные веса и перечислить опытно-конструкторские работы, прикладные и фундаментальные исследования, небходимые для достижения этих целей. Опытно-конструкторские разработки могут служить нескольким целям. В методе решающих матриц эксперт должен указать относительную значимость каждой опытно-конструкторской работы для достижения целей, т.е. построить решающую матрицу. Аналогично составляются матрица, характеризующая значимость различных направлений прикладных исследований для обеспечения опытно-конструкторских работ, и матрица, характеризующая относительную важность фундаментальных исследований, необходимых для завершения соответствующих прикладных разработок. На основании известных весов и решающей матрицы вычисляются относительные веса прикладных, а затем и фундаментальных исследований.
Рис. Иерархия исследований, работ и целей
2.2. Графовые методы.
Метод PATTERN (Planning Assistance Through Tecnical Evaluation of Relevance Nambers – поддержка планирования с помощью оценки относительных показателей). Применяется для принятия решений в области долгосрочной научно-технической ориентации крупной промышленной компании.
Сущность метода состоит в том, что исходя из сформулированных целей потребителя продукции компании на прогнозируемый период осуществляется развертывание некоторой многоуровневой иерархической структуры, называемой деревом целей.Для каждого уровня дерева целей вводится ряд критериев. С помощью экспертной оценки определяют веса критериев, а также коэффициенты значимости, характеризующие важность вклада целей в обеспечение критериев. Значимость некоторой цели определяется коэффициентом связи. Общий коэффициент связи некоторой цели определяется путем перемножения соответсвующих коэффициентов связи в направлении вершины дерева.
Метод SEER (System for Event Evaluation and Review – система оценки и обзора событий). Основан на использовании дельфийской процедуры экспертного оценивания для постпоения иерархии целей и определения событий, желаемых и необходимых для достижения целей. Решение задачи осуществляется в два этапа.
На первом этапе в качестве экспертов привлекаются специалисты промышленности, которые составляют предварительный список возможных свершений в рассматриваемой области, а также определяют три даты свершения каждого события: дату “приемлемой вероятности” свершения, дату “весьма вероятного” свершения и дату “почти достоверного” свершения.
Эксперты второго этапа – наиболее квалифицированные ученые и специалисты из органов, принимающих решения, - определяют наиболее важные события и возможные взаимодействия между ними.
Метод прогнозного графа. Разработан в конце 60-х гг. авторским коллективом во главе с В.М.Глушковым и предназначен для прогнозирования и планирования научных и технических работ на основе так называемого государственного графа прогнозирования решения научно-технических проблем. Прогнозные графы использовались при создании средств обработки информации и для оценки перспектив развития вычислительной техники.
Метод анализа иерархий. Предложен американским математиком Т.Саати в начале 70-х гг. Основой метода является построение иерархии факторо, действующих в анализируемой проблеме, и установление относительных приоритетов этих факторов и исследуемых объектов.
Общая цель – фокус проблемы – является высшим уровнем иерархии.
3. Свойства модели
?Когерентность – согласованность модели с общей культурной, образовательной и профессиональной средой, в которой проводится исследование.
Самые высокие идеи и глубокий смысл, заложенные в модель, могут быть попросту не поняты или правильно поняты экспертами или консультантами из-за отличия их образовательного уровня, мышления и образа профессионального мира от того, какими их представлял себе исследователь. Вводя в модель абстрактные понятия, исследователь наделяет их смыслом, соответствующим своему субъективному представлению. Однако это представление может существенно отличаться от стереотипного, господствующего в данной предметной области и профессиональной среде. Различие в образовании (специальности), мироощущении и, наконец, в целях может служить источником несогласованности модели со средой.
Cогласованность модели может также проявиться и в элементарной необеспеченности ресурсами – отсутствие необходимого количества экспертов по данной проблеме, слишком высокой трудоемкости экспертного анализа, недостатке средств для проведения исследования в том масштабе, который был запланирован.
Еще один аспект несогласованности модели связан с приближенностью, качественным характером человеческого мышления. Эксперт с большой охотой откликается на просьбу сравнить объекты (лучше-хуже, больше-меньше) или отвечает на вопрос о том, какова вероятность наступления события (низкая, средняя или высокая), чем дает численную оценку этой вероятности, пусть даже с той же точностью.
Полнота – наличие в модели всех наиболее существенных факторов, позволяющих однозначно идентифицировать состояния анализируемой системы и исследуемой проблемы.
Полнота не является непосредственно проявляемым свойством. Если когерентность (несогласованность со средой) модели ощущается практически сразу, то ее неполнота проявляется лишь по окончании всего анализа, когда обнаруживается, что полученные результаты не отражают всей сути исследуемой проблемы и существуют какие-то дополнительные важные факторы, не принятые во внимание аналитиком.
Проблема неполноты является следствием упрощенности и конечности модели. Очевидно, что конечная модель не может отразить бесконечное многообразие свойств реального объекта. Исследователь выбирает лишь некоторые из них, кажущиеся ему наиболее важными, не имея при этом объективного критерия их важности и не всегда зная причинно-следственные связи между ними. Последнее может привести к тому, что в модель закладываются факторы, отражающие следствие, а не причину явлений.
Не исключена и антитеза неполноты – избыточность, когда факторное пространство модели становится неортогональным и обнаруживаются сильно нестрашна – в иных случаях она даже является средством контроля и повышения качества модели. Однако следствием избыточности является усложнение модели, повышение трудоемкости анализа.
Абстрактность – степень обобщенности и отвлеченности модели и составляющих ее элементов.
Абстракция является важнейшим инструментом структурирования предметной области и построения модели. Оба вида абстракции – обобщение (типизация объектов по общему признаку подобия) – применяются при построении иерархии факторов. Корень этой иерархии, как правило, отражает наиболее абстрактное и обобщенное понятие или свойство исследуемого объекта. Исследователь обычно рассматривает это свойство как интегральное, объединяющее массу самых разнообразных проявлений. Чтобы раскрыть смысл, заложенный в корневой фактор, строится иерархия, каждый уровень которой отражает содержание последовательных этапов абстрагирования, пройденных исследователем при построении модели.
Абстрактность модели – неоднозначное свойство. С одной стороны, использование абстрактных понятий помогает избавиться от деталей и проанализировать проблему в целом, не отвлекаясь на частности. С другой стороны, высокоабстрактные понятия чреваты их неоднозначным восприятием или неприятием со стороны экспертов. Чем выше степень абстрактности, тем более серьезны опасения, что оценки будут слишком субъективными и слабо обоснованными. Иерархическая детализация абстрактных понятий позволяет «приземлить» экспертизу и опуститься до элементарного прагматического уровня, однако может привести и к чрезмерному усложнению модели, увеличению ее громоздкости.
Целостность. С различных точек зрения свойство целостности трактуется по-разному:
1) с общих позиций целостность проявляется во взаимосвязанности, единстве и взаимной непротиворечивости элементов, составляющих нечто целое;
2) с точки зрения теории систем целостность – это способность системы к проявлению новых интегративных качеств, не свойственных образующим ее компонентам;
3) в моделировании данных под целостностью понимается внутренняя защищенность модели, ее способность противостоять некорректному использованию, неадекватному восприятию или интерпретации ее элементов.
Адекватность – соответствие модели поставленной цели. Адекватность означает, что истинность модели, ее соответствие оригиналу достигнуты не вообще, а лишь в той мере, которая достаточна для успешного достижения поставленной цели.
Адекватность – комплексное результирующее свойство модели, зависящее от ее полноты, целостности и др. Однако утверждение, что улучшение отдельных или даже всех свойств модели приведет к росту ее адекватности, неверно. Корректно построенная модель трансформирует определенные посылки и предложения в детерминированно вытекающие следствия. Однако никто не может уберечь нас от неверных посылок или неадекватных действительности алгоритмов их преобразования. Критерием такого рода событий может стать только практика, подтверждающая или опровергающая адекватность и истинность модели.
4. Выводы
1. Многочисленные подходы к построению абстрактных моделей можно
условно разделить на две категории – формальные и эвристические. Формальные направлены на строгое обоснованное количественное описание объекта исследования; эвристические больше служат для структурного упорядочения и субъективного качественного анализа объектов.
2. В современном системном анализе предложен ряд методов эвристического моделирования, сложившихся в ходе решения стратегических задач. Наиболее известные методы можно объединить в две группы – матричные (морфологический метод, метод QUEST, метод решающих матриц) и графовые (методы PATTERN, SEER, метод прогнозного графа, метод анализа иерархий).
3. Унифицируя процедуру построения эвристических моделей, можно выделить четыре основных этапа: структурирование предметной области и основных свойств; идентификация факторов, действующих в проблеме; выявление взаимосвязей и построение иерархии факторов; формулирование критерия, определяющего анализируемую проблему.
4. Оценка значений факторов, образующих листья иерархии, выполняется экспертами. Остальные факторы (включая корень) рассматриваются как линейные свертки порожденных ими семейств с учетом значимости каждого фактора семейства.
5. Наиболее значимыми свойствами эвристической модели, влияющими на ее качество, являются ингерентность (согласованность со средой); полнота (однозначность идентификации всех состояний объекта и проблемы); абстрактность (степень обобщенности); целостность (внутренняя защищенность и непротиворечивость); адекватность (соответствие поставленной цели).
6. В качестве методов управления качеством модели могут рассматриваться построение иерархии факторов, снижающее абстрактность модели; введение избыточных факторов, поддерживающих целостность модели; анализ ортогональных факторов, выявляющих неполноту модели.
Подгрупп
Использование экспертных оценок почти наверняка сопряжено с совмещением отличающимися друг от друга (а то и полярных) взглядов на проблему. Эти отличия обусловлены различной квалификацией, мотивацией, мировозрением и образом профессионального мира привлекаемых экспертов. Обобщать такие мнения в единое целое – все равно что вычислять “среднюю температуру по госпиталю”. Чтобы избежать такого обобщения, необходимо уметь выявлять и отделять основные точки зрения на проблему с последующим разделением экспертов на группы, отражающие данные точки зрения. Настоящую задачу можно рассматривать как задачу нечеткой классификации, решение которой относится к области многомерного статистического анализа.
Известные в статистике методы классификации предполагают две постановки этой задачи:
классификация при полностью описанных классах, состоящая в выработке на основе имеющихся данных правила, позволяющего некоторый новый объект отнести к одному из существующих классов, если заведомо неизвестно, какому из них оно принадлежит;
классификация при неизвестных классах (классификация без обучения), состоящая в разбиении объектов на классы, столь различные между собой, сколь это возможно.
Наиболее популярным методом решения задач первого типа является дискриминантный анализ, предполагающий, что должны иметься значения n переменных для m объектов, полученные в результате наблюдений. Кроме того, должна быть известна принадлежность каждого объекта к одному из двух или более классов. В процессе дискриминантного анализа подбирается такая линейная комбинация переменных, которая бы максимально разделила все классы. Эта комбинация служит основой правила, позволяющего отнести новый объект к одному из этих классов.
Для решения задач второго типа наиболее часто применяются кластерный и факторный анализы.
Кластерный анализ также сводится к разработке определенного правила, с помощью которого можно осуществлять разбиение объектов на группы (кластеры) так, чтобы каждый объект принадлежал только одной группе.
Факторный анализ основан на исследовании корреляционной матрицы объектов и синтезе гипотетических величин, называемых факторами и находящихся в определенной связи с определенными объектами. Факторы образуют простую структуру, достаточно точно отражающую и воспроизводящую реальные зависимости объектов. По существу, факторы определяют сравнительно далеко отстоящие друг от друга группы (классы) объектов, тесно связанных между собой.
Известны также и другие методы классификации, такие как анализ образов, основанный на исследовании коэффициентов множественной регрессии, анализ латентных структур, анализ группировок, основанный на коэффициентах ранговой корреляции, методы таксономии, использующие так называемые коэффициенты сходства в качестве мер близости объектов и др.
Интерпретация результатов
Целью заключительного этапа экспертного анализа является осмысление полученых результатов и ответ на тот вопрос, ради которого проводилась вся работа. Понять, что означает та или иная цыфра результата можно только исходя из контекста конкретной экспертизы. Поэтому говорить о какой-то единой предметно независимой процедуре семантической интерпретации бессмысленно.
Интерпретация результатов включает:
- представление и анализ результатов обработки экспертных оценок;
- анализ эффективности работы экспертов;
- вычисление итоговых показателей модели, исследование факторов и критериев, раскрывающих стоящую задачу;
- осмысление результатов и генерацию выводов экспертного анализа.
Выводы
1.Обработка экспертных оценок включает унификацию результатов, анализ согласованности мнений, выделение высокосогласованных подгрупп и синтез обобщенного мнения.
2. В качестве унифицированных результатов экспертного оценивания выступают вектор относительных значимостей, матрица парных сравнений, вектор идентификаторов и вектор численных оценок. В зависимости от избираемых методов обработки, результаты могут перобразовываться из сильных шкал в более слабые.
3. Основными свойствами оценок, отражающими согласованность мнений экспертов, являются относительная частота противоречий, вариационный размах и средние отклонения. Для измерения этих свойств известны 12 показателей, позволяющих оценивать парную и множественную согласованность мнений относительно одного или более объектов экспертизы. Каждый показатель согласованности ориентирован на свой тип оценок, однако весьма часты случаи анализа согласованности с помощью показателей более слабых шкал.
4. Выделение высокосогласованных подгрупп является задачей классификации экспертов при неизвестных классах. Эвристический алгоритм такой классификации основан на количественном определении понятия “высокая согласованность”, составляющем неформальную часть этом процедуры.
5. Синтез обобщенного мнения осуществляется двумя способами: статическим (среднее арифметическое, среднее взвешенное, сумма рангов, мажоритарная выборка) и алгебраическим (медиана распределения, медиана Кемени, принцип Кондорсе). Выбор метода обобщения определяется типом обобщаемых оценок.
Лекция №5.
Вопросы лекции:
Предпосылки возникновения экспертных оценок
Классы задач, решаемых МЭО
Основные понятия и характеристики экспертного анализа
4. Этапы экспертного анализа (содержание ЭА)
Выводы
Дата: 2019-12-22, просмотров: 291.
