Да потому, что проклятые когнитивные искажения мешают даже в этом случае! Вот учёный составил план наблюдений, получил кучу данных... Но, как бы он не был спокоен и непредвзят, у каждого человека есть подсознание, а в нём есть защитные механизмы, которыми мы не можем управлять. И эти защитные механизмы вызывают когнитивные искажения.

А дальше просто цитирую из Википедии те искажения, которые приведут к тому, что учёные будут, даже имея хорошие данные из наблюдений, будут создавать ложные гипотезы.

1. Генерализация частных случаев — безосновательный перенос характеристик частных или даже единичных случаев на обширные их совокупности. Существует множество видов этого когнитивного искажения, классический вариант — теория заговора.

Пример: пронаблюдал за несколькими общительными людьми (экстравертами), которые на ходу корректируют свои планы (иррационалы). Обнаружил, что все они запоминают прошедшие события как набор статических картинок (статики). Сделал ложный вывод, что все экстраверты и иррационалы являются статиками.

2. Феномен Баадера-Майнхоф или иллюзия частотности — недавно узнанная информация, появляющаяся вновь спустя непродолжительный период времени, воспринимается как необычайно часто повторяющаяся.

Пример: в течение нескольких дней обнаружил двух экстравертов-иррационалов, являющихся статиками, и решил, что все такие.

3. Эффект Даннинга — Крюгера — люди, имеющие низкий уровень квалификации, делают ошибочные выводы, принимают неудачные решения и при этом неспособны осознавать свои ошибки в силу низкого уровня своей квалификации.

Пример: люди, прочитав несколько популярных книжек, начинают думать, что разбираются в психологии, и создавать "психологические теории".

4. Ошибка меткого стрелка из Техаса - выбор или подстройка гипотезы под результаты измерений.

Пример: исследовать свойства небольшой группы людей, обнаружить у них некоторые свойства характера (например, "признаки Рейнина") и объявить, что исследование подтвердило существование этих признаков.

5. Предвзятость подтверждения — тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить имевшиеся заранее концепции.

Пример: провести исследование по соционике с поиском информации, которая подтверждает модель А, игнорируя информацию, которая его опровергает.

6. Эффект ожидания наблюдателя (эффект Розенталя) - бессознательное манипулирование ходом опыта для обнаружения ожидаемого результата.

Пример. Некий учёный решил провести наблюдение, чтобы проверить свою гипотезу, что экстраверты более общительны, чем экстраверты. Он взял группу людей и провёл с ними беседу, чтобы разделить их на экстравертов и интровертов. Когда люди спрашивали его о цели беседы, учёный говорил: "Вы экстраверт, то есть вам свойственна общительность", или: "Вы необщительный интроверт". Узнавая, кто они, люди начинали соответственно вести себя общительно либо необщительно, чтобы угодить учёному. И, разумеется, его гипотеза, благодаря этому, подтвердилась!

В психологии это очень распространённое когнитивное искажение.

7. Селективное восприятие — принятие во внимание только тех фактов, которые согласуются с ожиданиями (часто встречается вместе с предвзятостью подтверждения).

Пример. Некто ищет факты, подтверждающие модель А, вместо того, чтобы искать факты, подтверждающие или опровергаюшие её. Это предвзятость подтверждения. При этом он всё равно встречает ряд фактов, которые её опровергают, но игнорирует эти факты - а вот это уже селективное восприятие.

8. Систематическая ошибка согласованности — тенденция проверять гипотезы исключительно путём прямого тестирования (т.е. проверять, когда гипотеза верна), пренебрегая косвенным тестированием (проверками, когда гипотеза неверна).

Пример. Предположим, некто проверяет гипотезу, что общительные люди и экстраверты - это одно и то же. Он берет множество общительных людей, проверяет их и они оказываются экстравертами. Гипотеза, вроде бы, подтверждается. Но некто забыл проверить необщительных людей, а среди них тоже есть экстраверты (то есть множество экстравертов - более широкое).

9. Искажение в связи с проекцией — тенденция бессознательно полагать, что другие люди разделяют те же, что и субъект, мысли, верования, ценности и позиции.

Пример. Некто наблюдает за людьми, чтобы проверить, когда они испытывают сильные эмоции. Он сам говорит громко только тогда, когда у него сильные эмоции. Поэтому он отмечает случаи, когда люди говорят громко, думая, что при этом у них тоже сильные эмоции, хотя на самом деле это может быть неверно.

10. Иллюзия прозрачности — люди переоценивают способность других понимать их, и они также переоценивают свою способность понимать других.

Пример. Некто, наблюдая за словами других людей, уверенно делает выводы об их мыслях и чувствах, которые на самом деле могут быть неверными.

11. Фундаментальная ошибка атрибуции — тенденция людей объяснять поведение других людей их личностными качествами, недооценивая ситуационные факторы, и в то же время переоценивать роль и силу ситуационных влияний на собственное поведение, недооценивая личностный аспект.

В научных наблюдениях более важна первая половина фразы, про объяснение поведения других. Пример: считать гастарбайтеров на стройке более трудолюбивыми, чем офисного работника, хотя на самом деле, они вынуждены больше трудиться, чтобы прокормить семью.

12. Эффект Форера (эффект Барнума) — тенденция высоко оценивать точность описаний своей личности, как если бы они были нарочно выкованы специально для них, но которые в действительности являются достаточно общими, чтобы их можно было приложить к очень большому числу людей.

Пример (он даже в Википедии приведён): гороскопы. Они составлены в таких общих словах, что их можно применить к кому угодно. Но люди верят, что гороскопы работают. Другой пример - многие описания типов и отношений в соционике.

На картинке - примеры утверждений, подпадающих под эффект Барнума:

13. Эффект ореола — имеет место при восприятии одного человека другим и состоит в том, что позитивные и негативные черты человека «перетекают», с точки зрения воспринимающего, из одной области личности воспринимаемого человека в другую.

Пример: известный стереотип, что люди с более развитым логическим мышлением являются в целом более умными.

14. Эффект первого впечатления — влияние мнения о человеке, которое сформировалось у субъекта в первые минуты при первой встрече, на дальнейшую оценку деятельности и личности этого человека.

Этот эффект отвечает за то, что наблюдения за людьми часто бывают очень короткими и поверхностными: наблюдатель быстро составляет первое впечатление, а потом не хочет отказываться от него, даже если последующие факты опровергают это впечатление. Пример: типирования в соционике.

15. Иллюзия кластеризации — тенденция видеть паттерны там, где их на самом деле нет.

Пример: многие гипотезы, например, в соционике (о знаках функций и пр.) вызваны случайными совпадениями, которые наблюдатель принял за повторяющиеся закономерности.

16. Ошибка выжившего — склонность недооценивать недоступные прямому наблюдению данные.

Пример. Известно высказывание: "Психология - это наука о студентах второго курса", потому что именно они чаще всего приходят добровольцами на психологические эксперименты, а значит, именно по ним психологи делают выводы. Точно так же все экспериментальные данные, например, в соционике получены по весьма специфической группе людей, интересующихся соционикой.

17. Эвристика доступности — оценка как более вероятного того, что более доступно в памяти, то есть уклонение в сторону более яркого, необычного или эмоционально заряженного.

Пример: часто как закономерности поведения людей (например, в соционике) люди описывают закономерности поведения собственных знакомых, которые им запомнились.

18. Стереотипизация - ожидание от члена группы определённых характеристик без знания какой-либо дополнительной информации о его индивидуальности. Иначе говоря, деление объектов на группы в соответствие с упрощёнными стереотипами.

Пример: в типологиях личности - например, в соционике - распространены стереотипные описания типов, и от каждого человека данного типа ждут, что он будет соответствовать этому описанию.

19. Ошибка базового процента — игнорирование или недостаточное использование основной априорной информации под влиянием специфики рассматриваемого случая.

Пример: из того, что писатель написал рассказ, в котором много описаний и конкретных деталей, делать вывод, что у него сильно развито конкретное мышление (сенсорика). И игнорировать общую закономерность, что писателями чаще всего становятся люди рассеянные, склонные к отрешённости, у которых сенсорика слабая.

20. Каскад доступной информации — самоусиливающийся процесс, в ходе которого коллективная вера во что-то становится всё более убедительной за счёт нарастающего повторения в публичном дискурсе («повторяйте нечто достаточно долго, и это станет правдой»).

Пример: многие ложные утверждения, например, в соционике или астрологии, регулярно повторяются их адептами, которые, постоянно читая эти утверждения, делают вывод, что это общепринятая информация, которая давно всеми признана как истина.

21. Хоторнский эффект — феномен, состоящий в том, что люди, наблюдаемые в ходе исследования, временно изменяют своё поведение или производительность.

Пример: повышение производительности труда на заводе, когда приезжает комиссия по исследованию производительности труда на этом заводе.

22. Эффект знания задним числом — иногда называется «Я так и знал» — склонность воспринимать прошлые события предсказуемыми.

Пример: человеку приписывают психологические характеристики (например, некий психологический тип), после чего все его прошлые поступки объясняют этими характеристиками, иногда натягивая объяснения. Но эти объяснения никак не помогают предсказать его будущие поступки.

23. Иллюзорная корреляция — феномен восприятия преувеличенно тесной связи между переменными, которая в реальности или не существует, или значительно меньше, чем предполагается. Возникает при появлении необычной запоминающейся информации.

Пример: приписывание каким-либо психологическим типам определённых поступков из-за того, что несколько известных людей совершали эти поступки.

Как ставить эксперименты