Систематический обзор (systematic review) - особый вид научного исследования, выполненный по специально разработанной методике, объектом которого являются результаты других, оригинальных научных исследований. Анализ и обобщение результатов исследований, включенных в обзор, можно проводить с применением статистических методов и без них. © В. Мальцев и др.

Мета-анализ (meta-analysis) - применение статистических методов при создании систематического обзора в целях обобщения результатов, включенных в обзор исследований. Систематические обзоры иногда называют метаанализом, если этот метод применялся в обзоре © В. Мальцев и др. Первый мета-анализ был проведен в 1940 году. В нем были объединены результаты идентичных экспериментов в области экстрасенсорного восприятия, выполненных независимыми исследователями (авторы книги - психологи Университета Дьюка Джозеф Пратт и Джозеф Райн с соавторами) © Bösch, 2004

Мета-анализ: пример (1)

Один из самых известных примеров мета-анализа был проведен в 1977 г. Джином Глассом и Мэри Ли Смит. Их исследование было посвящено анализу эффективности психотерапии.

Информация о психотерапевтических процедурах, которая накопилась к тому времени, была не только весьма обширной, но и противоречивой. Обзоры, проведенные ранее, порой вообще отказывали психотерапии во всякой эффективности. В 1952 г. Айзенк проанализировал 24 исследования психотерапии и сделал вывод о том, что психоанализ был гораздо менее эффективным, чем полное отсутствие терапии. Более того, эклектическая терапия (соединение разных подходов) по своей эффективности оказалась даже немного ниже, чем полное отсутствие терапии.

Мета-анализ: пример (2)

Гласс и Смит, безусловно, не могли организовать исследование, в котором действительно бы на эмпирическом материале сравнивались различные психотерапевтические подходы. Вместо этого они применили мета-анализ.

Использовали специальные статистические техники (названные ими мета-анализом: это считается первым использование данного термина), чтобы определить как общую, так и относительную, так и общую эффективность психотерапии.

1000 различных журналов и книг

выбрали около 500 работ, в которых на эмпирических данных оценивалась эффективность разных психотерапевтических процедур

подробно оценивались 375 работ

Мета-анализ: пример (3)

Гласс и Смит показали, что вопреки предыдущим работам (того же исследования Айзенка) психотерапия и в самом деле эффективна (то есть после психотерапии пациенты чувствуют себя лучше, чем без нее), но разные ее виды по эффективности отличаются весьма незначительно.

НУЖНО УЧИТЫВАТЬ ВЕЛИЧИНУ ЭФФЕКТА

Мета-анализ: достоверность результатов

Слабые результаты могут говорить о высокой значимости

Непривычная логика: одна работа с p=0.001 менее значима, чем 10 работ с p=0.1 ⇒ p=0.0008

Тогда: -2ln(0.061)-2ln(0.033)-2ln(0.020)= 20.24                                                                         df =2·3=6

p1=0.061 p2=0.033 p3=0.020 ptotal = 0,0025

© А.В. Рубанович

Мета-анализ: объединение выборок

Объединение гетерогенных выборок может привести к любому результату

Эффект может:

⇒ появиться

⇒ исчезнуть

⇒ приобрести противоположное направление!! (ПАРАДОКС СИМПСОНА)

© А.В. Рубанович

Мета-анализ: сложности

© А.В. Рубанович

В первых публикациях эффекты всегда завышены

20 исследователей занимались важной проблемой: 1 - получил сильный положительный эффект и опубликовал свои данные (1/20=0.05) 19 - получили нулевые или слегка значимые    результаты и ничего не публиковали На публикацию решается автор, который получает высокую значимость. Последующие работы: эффект есть, но ниже, чем в первой публикации

Многие исследователи при мета-анализе отбрасывают первую публикацию, особенно, если она сильно влияет на однородность

ТЕМА 10. ОПРЕДЕЛЕНИЕ ПЕРЕМЕННЫХ. МЕТОДЫ ИССЛЕДОВАНИЯ