Американский ученый нашел способ единообразно оценивать достоверность научных исследований и пришел к выводу, что до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы.
Работа Валена Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании.
Профессор Техасского университета обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было.
В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет).
Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае, когда их модель верна.
Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p
По оценкам Джонсона подобные просчеты могут примерно в 17-25% случаев приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет.
Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.
Специалист по статистике предложил пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с pkorrespondent.net
