систематический обзор (systematic review) - особый вид научного исследования, выполненный по специально разработанной методике, объектом которого являются результаты других, оригинальных научных исследований. анализ и обобщение результатов исследований, включенных в обзор, можно проводить с применением статистических методов и без них. © в. мальцев и др.

мета-анализ (meta-analysis) - применение статистических методов при создании систематического обзора в целях обобщения результатов, включенных в обзор исследований. систематические обзоры иногда называют метаанализом, если этот метод применялся в обзоре © в. мальцев и др. первый мета-анализ был проведен в 1940 году. в нем были объединены результаты идентичных экспериментов в области экстрасенсорного восприятия, выполненных независимыми исследователями (авторы книги - психологи университета дьюка джозеф пратт и джозеф райн с соавторами) © bösch, 2004

мета-анализ: пример (1)

один из самых известных примеров мета-анализа был проведен в 1977 г. джином глассом и мэри ли смит. их исследование было посвящено анализу эффективности психотерапии.

информация о психотерапевтических процедурах, которая накопилась к тому времени, была не только весьма обширной, но и противоречивой. обзоры, проведенные ранее, порой вообще отказывали психотерапии во всякой эффективности. в 1952 г. айзенк проанализировал 24 исследования психотерапии и сделал вывод о том, что психоанализ был гораздо менее эффективным, чем полное отсутствие терапии. более того, эклектическая терапия (соединение разных подходов) по своей эффективности оказалась даже немного ниже, чем полное отсутствие терапии.

мета-анализ: пример (2)

гласс и смит, безусловно, не могли организовать исследование, в котором действительно бы на эмпирическом материале сравнивались различные психотерапевтические подходы. вместо этого они применили мета-анализ.

использовали специальные статистические техники (названные ими мета-анализом: это считается первым использование данного термина), чтобы определить как общую, так и относительную, так и общую эффективность психотерапии.

1000 различных журналов и книг

выбрали около 500 работ, в которых на эмпирических данных оценивалась эффективность разных психотерапевтических процедур

подробно оценивались 375 работ

мета-анализ: пример (3)

гласс и смит показали, что вопреки предыдущим работам (того же исследования айзенка) психотерапия и в самом деле эффективна (то есть после психотерапии пациенты чувствуют себя лучше, чем без нее), но разные ее виды по эффективности отличаются весьма незначительно.

нужно учитывать величину эффекта

Мета-анализ: достоверность результатов

слабые результаты могут говорить о высокой значимости

непривычная логика: одна работа с p=0.001 менее значима, чем 10 работ с p=0.1 ⇒ p=0.0008

тогда: -2ln(0.061)-2ln(0.033)-2ln(0.020)= 20.24                                                                         df =2·3=6

p1=0.061 p2=0.033 p3=0.020 ptotal = 0,0025

© а.в. рубанович

Мета-анализ: объединение выборок

объединение гетерогенных выборок может привести к любому результату

эффект может:

⇒ появиться

⇒ исчезнуть

⇒ приобрести противоположное направление!! (парадокс симпсона)

© а.в. рубанович

Мета-анализ: сложности

© а.в. рубанович

в первых публикациях эффекты всегда завышены

20 исследователей занимались важной проблемой: 1 - получил сильный положительный эффект и опубликовал свои данные (1/20=0.05) 19 - получили нулевые или слегка значимые    результаты и ничего не публиковали на публикацию решается автор, который получает высокую значимость. последующие работы: эффект есть, но ниже, чем в первой публикации

многие исследователи при мета-анализе отбрасывают первую публикацию, особенно, если она сильно влияет на однородность

Тема 10. определение переменных. методы исследования