| |
сведения воедино и сравнения исследовательских данных в поведенческих науках
по-прежнему остается описательный обзор литературы. Однако, с учетом
распространения метааналитических методов и их дальнейшего совершенствования,
традиционные научные обзоры литературы можно больше уже не считать единственно
подходящим или приемлемым средством для составления сводок, сравнения и
объединения данных.
О пользе мета-анализа
Обзор данных из любой области исслед. в поведенческих науках мог бы
выиграть от применения мета-аналитических методов по двум причинам. Первая
имеет отношение к комплексности и разнородности данных. В отличие от более
парадигматических научных дисциплин, накопление знаний в которых происходит
путем постепенных последовательных приращений, комплексность челов. поведения
per се, помноженная на трудность применения эффективных и обоснованных мер
контроля в исслед. поведения, способствует получению разнотипных и расходящихся
данных, да и общий подход к проведению поведенческих исслед. яв-ся
дополнительным источником вариабельности данных. Состояние изучения любой
проблемы обычно характеризуется научными работами, в к-рых даются разные
определения основных понятий, используются разные методы исслед. и несходные
выборки испытуемых, различающиеся наборы независимых переменных и различные
методы анализа данных. Неудивительно, что уже давно поднимались вопросы об
адекватности и надежности описательных научных обзоров. Субъективность и
возможную тенденциозность составителей научных обзоров особенно трудно
преодолеть в 3 областях, а именно, при: а) отборе конкретных научных публикаций,
б) оценивании исслед. с т. зр. их относительной важности и в) интерпретации
значения полной совокупности научных данных. Кроме того, когда количество
анализируемых в обзоре научных данных становится внушительным, адекватность
описательных обзоров вызывает еще больше сомнений.
Вторая причина, по которой традиционные научные обзоры могли бы выиграть от
применения метааналитических методов, связана со способностью к распознаванию
ранее не установленных паттернов в совокупности данных. М. имеет результатом
более точную оценку степени изменчивости или устойчивости данных в конкретных
областях исслед. Обнаружение возможных различий в значимости, направленности и
величине связей внутри изучаемой совокупности переменных может повысить
чувствительность к ранее ускользавшим от внимания паттернам. Кроме того,
поскольку М. позволяет исследовать различия в характеристиках самих исслед. как
источники разброса данных, сказанное выше не ограничивается обзором данных per
се, но распространяется и на условия, в к-рых данные собираются. Следовательно,
обладая большей осведомленностью в отношении степени и характера вариации
данных, при проведении исслед. можно сосредоточить усилия на более точных и
продуманных концептуализациях и средствах измерения поведенческих феноменов.
Критика мета-анализа
Несмотря на свою жизнеспособность в качестве альтернативы традиционным
способам выполнения аналитических обзоров научной литературы, М. стал объектом
критики. Эту критику можно проиллюстрировать, отчасти, на примерах
озабоченности специалистов тремя разными проблемами: а) проблемой «картотечного
ящика», б) проблемой учета качественных различий между исслед. и в) проблемой
использования множественных данных из одного исслед. В добавление к краткому
изложению существа трех отмеченных видов критики, будут также указаны
направления, в каких метааналитические процедуры были модифицированы в ответ на
каждый вид критики.
Во-первых, проблема картотечного ящика (file drawer problem) указывает на
тенденцию не публиковать статистически незначимые результаты, сохраняя их в
архивах исследователей. Т. о. опубликованные исслед., по-видимому, тяготеют к
смещению в сторону положительных результатов, в результате чего возрастает
вероятность ошибки I-рода. В качестве корректирующей меры предлагается
включение в анализ данных неопубликованных исслед., получаемых из личных и
профессиональных источников. Однако далеко не все неопубликованные данные
доступны (да и пригодны) для анализа. Розенталь предложил в качестве частичного
решения этой дилеммы использовать оценку требуемого количества незначимых
данных, к-рое нужно было бы получить для того, чтобы аннулировать отмеченный
значимый эффект. Если требуемое количество дополнительных данных сравнительно
велико, тогда к результатам анализа, основанного на доступных данных, можно
относиться с доверием. Т. о., М. может, по крайней мере имплицитно, обращаться
к проблеме систематической ошибки опубликованных научных данных.
Во-вторых, М. критиковали как метод, нечувствительный к различиям качества
анализируемых исслед. Так, результаты анализа может быть сложно
интерпретировать, если данные из хорошо спланированных исслед. объединяются с
данными, полученными на основе неудачного экспериментального плана.
Метааналитические процедуры можно ориентировать на эту проблему, используя
кодирование исслед. соответственно качеству плана, с последующим введением этой
кодированной переменной в анализ. В итоге можно заметить, будут ли результаты
анализа различаться в зависимости от изменений качества планирования исслед. Т.
о., М. можно приспособить и к влиянию различий экспериментальных планов.
В-третьих, в публикациях часто сообщаются множественные данные (multiple
findings). Поскольку эти данные не являются независимыми, озабоченность вызвал
вопрос о том, как учитывается зависимость между ними в ходе М. Одни
исследователи выполняют анализ раздельно для каждой меры зависимой переменной,
выявленной в научных публикациях, тогда как другие, в таком же М., объединяют
данные, касающиеся значимости и воздействия независимой переменной на все меры
зависимой переменной. Однако, если такие множественные данные включаются в
|
|