Анотація
Сутність і різновидність експертних методів. Методи індивідуального і групового експертного оцінювання. Організація і проведення експертного опитування. Види експертних оцінок.
Методи експертних оцінок використовують для аналізу об’єктів і проблем, розвиток яких цілком або частково не підлягає математичній формалізації, тобто для яких важко розробити адекватну модель. Це пояснюється:
невизначеністю та складністю прогнозованих явищ;
необхідністю кількісно оцінити події, для характеристики яких бракує необхідної інформації й чіткого знання тенденцій розвитку ситуації;
необхідністю враховувати не тільки об’єктивні тенденції розвитку ситуації, а й реакцію учасників подій на рішення, що приймається.
Типовими проблемами, які потребують проведення експертизи, є, зокрема такі: визначення мети розвитку об’єкта управління; прогнозування; розроблення сценаріїв; генерування альтернативних варіантів розв’язків; розроблення системи кількісних оцінок; визначення рейтингів тощо.
У всіх цих випадках доводиться звертатися до думки експертів. Експерт — це компетентний фахівець із певного питання, чиї оцінки та судження з приводу об’єкта експертизи враховують під час прийняття рішення. Прогнозоване експертне оцінювання відбиває індивідуальні погляди фахівців стосовно перспектив розвитку об’єкта й ґрунтується на мобілізації фахового досвіду та інтуїції.
Під експертизою розуміють проведення вимірювань певних характеристик об’єкта до прийняття рішення.
7.1 Сутність і різновидність експертних методів
Експертні методи - методи, засновані на думках експертів у даній галузі знань з наступною обробкою отриманих результатів з метою виявлення основних критеріїв і тенденцій, властивих об'єкту.
Експертні методи розділяються на два підкласи:
1) прямі експертні оцінки;
2) експертні оцінки зі зворотним зв'язком.
Прямі експертні оцінки будуються за принципом одержання і обробки незалежної узагальненої думки колективу експертів (чи одного з них) при відсутності впливу на кожного експерта думок іншого експерта і всього колективу.
Експертні оцінки зі зворотним зв'язком у тому чи іншому вигляді реалізують принцип зворотного зв'язку на основі впливу на оцінку експертної групи (одного експерта) думок, що отримані раніше від цієї групи.
Експертні методи в прогнозуванні застосовуються в таких випадках:
- при відсутності доволі представницької і достовірної статистичної характеристики об'єкта;
- великої невизначеності середовища функціонування об'єкта для тих галузей промисловості, що зазнали сильного впливу нових відкриттів;
- дефіциті часу;
- в екстремальних ситуаціях.
Широке застосування експертні оцінки знаходять при прогнозуванні основних напрямків науково-технічного прогресу, суспільної і політичної сфер діяльності.
7.2 Методи індивідуального і групового експертного оцінювання
До складу індивідуальних експертних оцінок входять:
- метод "інтерв'ю", при якому здійснюється безпосередній контакт експерта з фахівцем за схемою "питання – відповідь";
- аналітичний метод, при якому здійснюється логічний аналіз якої-небудь прогнозованої ситуації, складаються аналітичні доповідні записки;
- метод написання сценарію, що заснований на визначенні логіки процесу чи явища в часі за різних умов.
Метод інтерв’ю здійснюється шляхом розповсюдження поштових листівок, телефонних дзвінків або особистих інтерв’ю, він передбачає бесіду прогнозиста з експертом, під час якої прогнозист відповідно до заздалегідь розробленої програми ставить експерту питання стосовно об’єкта дослідження.
Головний недолік методу — залежність одержаних даних від суб’єктивізму й відповідальності респондентів, які можуть давати недостатньо продумані відповіді, особливо коли гарантовано анонімність, і респондент не зазнає збитків унаслідок неправильного прогнозу. Часто виникають проблеми ідентифікації респондентів, недвозначного формулювання запитань та одержання достатньої кількості відповідей. Метод ґрунтується на припущенні, що об’єкти опитування сформулювали свої плани на майбутнє, і не трапиться нічого, що могло б змінити ці плани.
Аналітичні експертні оцінки передбачають тривалу й ретельну самостійну роботу експерта над аналізом тенденції, оцінювання стану та шляхів розвитку прогнозованого об’єкта. Цей метод дає можливість експерту використати всю потрібну йому інформацію про об’єкт прогнозу. Свої думки експерт оформлює у вигляді доповідної записки.
Побудова сценаріїв. Сценарій можна визначити як «виклад альтернативних варіантів майбутнього» або «передбачувану послідовність подій за допустимих умов». Він виглядає як хронологія майбутніх змін, зокрема містить деталі зовнішнього середовища, стратегії конкурентів, нові відкриття та дії уряду. Сценарії формулюють як реалістичні можливості, часто із використанням переконливої мови та багатої уяви. Метод аналізу сценаріїв полягає у розгляді кількох різних сценаріїв, які характеризують імовірні шляхи розвитку ситуації. Намір переконати особу, яка приймає рішення, передбачає зваження на чинник невизначеності й розроблення стратегії, придатної за будь-яких обставин. Під час розгляду цілого набору можливостей зменшується ймовірність непередбаченої ситуації. Крім того, експерт усвідомлює внутрішню невизначеність процесу прогнозування, тому остаточно не впевнений у доцільності жодного із варіантів.
Головними перевагами розглянутих методів є можливість максимального використання індивідуальних здібностей експертів і незначний психологічний тиск на окремого виконавця. Однак ці методи майже не придатні для прогнозування найзагальніших стратегій через обмеженість знань одного фахівцяексперта про розвиток суміжних галузей науки.
Методи колективних експертних оцінок містять у собі:
- метод "комісій";
- "колективна генерація ідей" ("мозкова атака");
- метод "Дельфі";
- матричний метод.
Ця група методів заснована на тому, що при колективному мисленні, по-перше, більш висока точність результату і, по-друге, при обробці індивідуальних незалежних оцінок, що виносяться експертами, можуть виникнути продуктивні ідеї.
1) У наш час значного поширення набули експертні методи, основані на роботі спеціальних комісій, коли групи експертів за «круглим столом» обговорюють конкретну проблему, щоб узгодити думки й виробити спільне судження. Недолік цього методу полягає у тому, що група експертів у своїх узагальненнях здебільшого керується логікою компромісу.
2)Метод колективної генерації ідей («мозкова атака»). Завдання прогнозування, які вирішують із використанням методів експертних оцінок, містять два формально не пов’язані між собою елементи: визначення можливих варіантів розвитку об’єкта прогнозування та їхню оцінку. Застосування «мозкових атак» у визначенні можливих варіантів розвитку дає змогу швидко одержати продуктивні результати і залучити всіх експертів до активного творчого процесу.
Методи «мозкових атак» можна класифікувати за ознакою існування або відсутності зворотного зв’язку між керівником і учасниками «мозкової атаки» в процесі розв’язання певної проблемної ситуації. Наявність зворотного зв’язку дає змогу учасникам концентрувати увагу суто на варіантах, корисних за тим чи тим критерієм для розв’язання проблемної ситуації. Однак штучне введення обмежень унеможливлює бачення всього багатоманіття підходів, тож з рештою можна пропустити оригінальні думки, які мають потенційну, але поки не усвідомлену цінність. Відсутність зворотного зв’язку, тобто максимальна стимуляція висловлювань, передбачає складну й більшу за обсягом роботу на етапі оцінювання їх.
Один із варіантів методу «мозкової атаки» — деструктивна відносна оцінка (ДВО) — забезпечує якісне й досить швидке оцінювання варіантів, не обмежуючись при цьому їхньою кількістю.
Сутність цього методу полягає в актуалізації творчого потенціалу фахівців під час «мозкової атаки» проблемної ситуації, що реалізує спочатку генерацію ідей і подальше спростування або критику із формулюванням контрідей.
3)Дельфійський метод певною мірою вможливлює організацію статистичного оброблення думок експертів-фахівців і досягнення ними більш або менш узгодженої думки. Цей метод розроблено американською пошуковою корпорацією РЕНД. Свою назву вона отримала від грецького міста Дельфи, відомого завдяки розташуванню тут храму, жерці якого передбачали майбутнє.
Дельфійський метод побудований за принципом, згідно з яким у гуманітарних науках думки експертів та суб’єктивні судження мають замінити точні закони причинності природознавчих наук.
Підґрунтя цього методу становить багатоетапне узгодження думок групи експертів. Спочатку з’ясовують індивідуальні думки кожного члена групи стосовно ймовірності настання деякої події, наприклад, зростання безробіття в країні впродовж наступних п’яти років. Експерти можуть працювати разом або бути незалежними. Результати опитування збирають і обговорюють провідні фахівці. Авторам найнижчого та найвищого рівнів прогнозу пропонують переглянути свої думки. Після дискусії здійснюють друге опитування із подальшим обговоренням. Процес може повторюватися доти, доки не з’явиться узгоджений прогноз, прийнятний для всіх експертів. В альтернативній версії експерти ніколи не зустрічаються, а їхні думки надсилають поштою (зокрема й електронною) разом зі стислим викладом аргументів. Експертам пропонують переглянути свої прогнози з урахуванням точки зору інших, аж поки не буде досягнуто консенсусу, що, може статися лише після кількох раундів.
Дельфійський метод характеризується трьома особливостями, які вирізняють його серед звичайних методів групової взаємодії експертів, а саме:
1. Анонімність експертів, яка полягає в тому, що в процесі процедури експертного оцінювання прогнозованого явища учасники експертної групи не знають один одного. При цьому взаємодія членів групи під час заповнення анкет цілком виключається. У такому разі автор відповіді може змінити свою думку, не оголошуючи про це.
2. Використання результатів попереднього туру опитування.
Ця система дає можливість групі фахівців зосередитися на початкових завданнях, а не вигадувати щоразу щось нове. Оскільки групова взаємодія здійснюється безпосередньо шляхом відповіді на анкету, фахівець або організація, які проводять дослідження за дельфійським методом, дістають з анкет лише ту інформацію, яка стосується цієї проблеми. Фахівець-прогнозист враховує «за» та «проти» експертів стосовно кожної точки зору. Головний результат функціонування цієї системи полягає в тому, щоб запобігти досягненню групою власних мети й завдань.
3. Статистична характеристика групової відповіді полягає в тому, що група фахівців складає прогноз, який містить точку зору більшості експертів. При цьому використовують статистичні характеристики відповіді, яка відображає думку всієї групи. Групова відповідь може бути подана у вигляді медіани та двох квартилів, тобто таким числом, яке перевищує оцінки однієї половини групи та менше за оцінки другої.
Члени журі змінюють свої оцінки за умови переконливих доказів їхніх колег, у противному разі вони дотримуються власних точок зору.
Метод має кілька недоліків.
1. На кінцевий результат впливають особисті риси експертів, зокрема наполегливість в обстоюванні своїх думок.
2. Застосування методу може вимагати значних коштів, а кінцевий результат не завжди задовольняє всіх експертів.
3. Немає згоди щодо того, чи варто використовувати саме фахівців. Як розуміти термін «експерт» (чи має журі складатися з фахівців різних спеціальностей) або яким обсягом інформації треба обмінюватися на першому етапі (медіани можуть зумовити зсув до центру розподілу).
Сутність методу колективної експертної оцінки для розробки прогнозів полягає у досягненні погодженості думок експертів з перспективних напрямків розвитку об'єкта прогнозування, що сформульовані були раніше окремими фахівцями, а також в оцінці аспектів розвитку об'єкта, яка не може бути визначена іншими методами (наприклад, аналітичним розрахунком, експериментом і т.д.).
Зміст методу колективної експертної оцінки полягає в наступному.
По-перше, для організації проведення експертних оцінок створюються робочі групи, до функцій яких входить проведення опитування, обробка матеріалів і аналіз результатів колективної експертної оцінки. Робоча група призначає експертів, які дають відповіді на поставлені питання, що стосуються перспектив розвитку даної галузі. Кількість експертів, залучених до розробки прогнозу, може коливатися від 10 до 150 чоловік, у залежності від складності об'єкта.
По-друге, перед тим, як організувати опитування експертів, необхідно уточнити основні напрямки розвитку об'єкта, а також скласти матрицю, яка відбиває генеральну мету, підцілі і засоби їх досягнення.
Наступний етап колективної експертної оцінки складається з розробки питань, що будуть запропоновані експертам.
По-третє, при проведенні опитування експертів необхідно забезпечити однозначність розуміння окремих питань, а також незалежність суджень експертів.
По-четверте, ведеться обробка матеріалів колективної експертної оцінки, що характеризують узагальнену думку і ступінь погодженості індивідуальних оцінок експертів. Обробка даних оцінок експертів служить вихідним матеріалом для синтезу прогнозних гіпотез і варіантів розвитку галузі.
Остаточна оцінка визначається або як середнє судження, або як середнє арифметичне значення оцінок всіх експертів, або як середнє нормалізоване зважене значення оцінки.
Методика статистичної обробки матеріалів колективної експертної оцінки для розробки науково-технічних прогнозів являє собою сукупність оцінок відносної важливості, призначених експертами кожному з оцінюваних напрямків наукових досліджень.
7.3 Організація і проведення експертного опитування
Для проведення якісної експертизи необхідні такі умови.
Наявність експертної комісії, яка складається з фахівців, знайомих із об’єктом експертизи, котрі мають досвід експертної роботи.
Існування аналітичної групи, яка професійно володіє технологією організації та проведення експертиз, методами отримання й аналізу експертної інформації.
Отримання надійної експертної інформації.
Коректне оброблення й аналіз експертної інформації.
Відокремлюють такі основні етапи експертизи:
1. Формулювання мети експертизи.
2. Побудова об’єктів оцінювання або їхніх характеристик (до початку експертизи цей етап уже може бути виконаний).
3. Відбір експертів та формування експертної групи в залежності від напрямку дослідження.
4. Визначення способу експертного оцінювання та способу подання експертних оцінок (методичне забезпечення розробки;інформаційне забезпечення розробки;кадрове забезпечення дослідження;програмне та технічне забезпечення дослідження).
5. Стимулювання членів експертної групи та проведення експертизи.
6. Оброблення й аналіз результатів експертизи.
7. Повторний тур експертизи, якщо виникає потреба в уточненні або зближенні думок експертів.
8. Формування варіантів рекомендацій.
Методичне забезпечення включає, в першу чергу, розробку прогнозних анкет, складання інструкцій по їх заповненню, сукупність моделей та методик, необхідних для розрахунку системи показників, що використовуються в експертних оцінках.
В анкетах повинно бути сформульовані питання, що відображають сутність проблеми, і на які повинні дати відповіді експерти. Форма і зміст питань визначаються специфікою об'єкта дослідження.
Всю сукупність питань в залежності від їх постановки можна розділити на відкриті та закриті, прямі та непрямі.
Дуже суттєве значення при проведенні експертизи має число запитань, що міститься в анкеті. Існує верхня межа кількості питань, яким члени експертної групи зможуть належним чином приділити належну увагу. Це число залежить від типу запитань. На практиці за верхню межу потрібно прийняти 25 питань. В деяких випадках число запитань може бути і більшим. Якщо ж число запитань зросте до 50, то керівник експертизи повинен їх добре вивчити, щоб бути впевненим у тому, що таке число запитань, має рацію і дійсно орієнтовано на рішення важливих проблем та дозволяє сконцентрувати зусилля експертів на рішення поставлених задач або серед запитань є другорядні.
Обробка анкет опитування включає обчислення цілого ряду показників, що дозволяють в кінцевому рахунку зробити остаточні узагальнюючі висновки. Серед організаторів експертизи повинні бути спеціалісти, що досконало володіють методикою обробки даних, які містяться в опитувальних анкетах.
Організація будь-якого дослідження передбачає створення добре розвинутої інформаційної бази, що складається з нормативно-довідкової та перемінної інформації.
Нормативно-довідкова інформація – це словники, коди, класифікатори, різні інструктивні матеріали по формуванню, оформленню, заповненню та обробці анкет.
Перемінна інформація – це в першу чергу дані, що містяться в заповнених анкетах.
На стадії передпрогнозної орієнтації, що передує вибору та формулюванню задачі колективної експертної оцінки, здійснюється глибокий і всебічний аналіз стану та тенденції розвитку прогнозованого процесу (явища, об’єкта) в країні та за кордоном.
Реалізація методу експертних оцінок, як і іншого методу прогнозування, неможлива без відповідного програмного забезпечення та технічних засобів. Технічні засоби – це в першу чергу обчислювальна техніка та засоби зв’язку оргтехніка.
Програмні засоби повинні забезпечити формування та зберігання масивів інформації, видачу їх на друкувальні пристрої та ін.
Вдале проведення експертизи практично неможливе без стимулювання членів експертної групи – морального та матеріального. Моральне стимулювання включає, наприклад, гарантію для експертів на основі правових норм оформлення пріоритету та авторства на нові ідеї, які висунуті в процесі експертизи, включення в план роботи, співавторство в наукових звітах та ін.
Науково обґрунтований прогноз – це цінний товар, на розробку якого витрачається праця високопрофесійних спеціалістів. І як будь-який товар, він не має бути безкоштовним. Ось чому матеріальна зацікавленість експертів – важлива умова добросовісного проведення експертизи. Тим більше, як свідчить досвід, відсутність прогнозу чи поганий прогноз обійдеться споживачам прогнозної інформації дорожче.
7.4 Види експертних оцінок
Експертиза, тобто вимірювання та порівняння об’єктів, пов’язана з певним оцінюванням об’єктів. Оцінки бувають різних видів. На відміну від кількісних, які зазвичай відповідають об’єктивним вимірюванням об’єктивних показників, в експертизі використовують бальні оцінки. Вони характеризують суб’єктивні думки. Бальна шкала являє собою обмежений ряд рівновіддалених одне від одного чисел. Бальні оцінки бувають двох видів:
1) оцінки першого виду здійснюють згідно з об’єктивним критерієм, загальноприйнятим еталоном і відповідно до градацій цього еталона. Чим точніше характеристика й оцінка відхилення від еталону, тим більшою є довіра до нього. Отже, оцінювання здійснюють за бальною шкалою;
2) бальну оцінку другого виду застосовують, коли бракує не тільки загальноприйнятих еталонів, а й навіть сумнівною є наявність одного об’єктивного критерію, що забезпечує суб’єктивні відображення у вигляді оцінок. У цьому разі йдеться про порядкову (або рангову) шкалу. Такі оцінки можна порівнювати за принципом «більше-менше».
Наступний вид оцінювання — ранжування. Це впорядкування об’єктів за зменшенням віддання переваги (допускається рівноцінність об’єктів та їхніх оцінок).
Існує метод попарного порівняння, який іноді здається легшим для якісного порівняння двох об’єктів, ніж оцінювання їх за бальною або ранговою шкалою. Для впорядкування об’єктів на підставі якісного критерію подеколи доцільним є метод середньої точки: обирають кращий і гірший об’єкти; потім об’єкт, який може розташовуватися посередині між ними, потім об’єкти, які можна розташувати посередині між гіршим і раніше знайденим середнім, а також посередині між кращим і середнім, тощо.
Для отримання й оброблення кількісними методами якісної експертної інформації використовують вербально-числові шкали зі змістовними найменуваннями певних градацій і відповідними їм числовими значеннями або діапазонами числових значень. Відома вербально-числова шкала Харрінгтона, яка має такий вигляд:
Найменування градації Числові інтервали
Дуже висока 1,0—0,8
Висока 0,8—0,63
Середня 0,63—0,37
Низька 0,37—0,2
Дуже низька 0,2—0,0
Питання, які є в опитувальних анкетах, можуть бути орієнтовані на оцінку часу та ймовірності настання різних подій, визначення кількісних значень параметрів та показників, оцінку питомої ваги різних варіантів рішень, оцінку відносної важливості параметрів, факторів, напрямків розвитку.
При оцінці часу здійснення певної події або визначення кількісних значень показників та параметрів в якості узагальнюючих характеристик даних експертного опитування використовуються мода, медіана, верхній та нижній квартилі.
Мода та медіана – це різновиди середніх величин, які називаються умовно структурними середніми.
Мода – це величина ознаки, яка найчастіше зустрічається у вибірковій сукупності.
Медіана умовно ділить ряд розподілу на дві рівні частини.
Мода в інтервальному варіаційному ряді обчислюється за формулою:
(7.1)
де Хмо – мінімальне значення ознаки модального інтервалу (модальним вважається інтервал з найбільшою частотою);
імо – розмір модального інтервалу;
fмо, fмо-1, fмo+1– відповідно значення частот модального інтервалу, інтервалів, які передують і слідують за модальним.
Медіана в інтервальному варіаційному ряді обчислюється за формулою:
(7.2)
де Хме – мінімальне значення медіанного інтервалу (медіанним вважається
інтервал, в якому комулятивна сума частот дорівнює або
перевищує половину суми частот);
іме – розмір медіанного інтервалу;
Σf – сума частот (кількість експертів);
Sмe-1– сума комулятивних частот в інтервалі, який передує медіанному;
fме– частота медіанного інтервалу.
Дата: 2018-12-21, просмотров: 289.
