валидность что это простыми словами в психологии
Валидность (психология)
Вали́дность (англ. validity ) — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики.
Как в экспериментальной психологии, так и в статистике валидное измерение — такое измерение, которое измеряет то, что оно должно измерять. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.
Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).
Содержание
Способы установления валидности теста
Существуют четыре основных способа установления валидности теста.
I. Оценка очевидной валидности.
Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению.
II. Оценка содержательной валидности.
Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты.
III. Оценка конструктной валидности.
Этот способ проверки заключается в проведении продуманных экспериментов. Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Подход второй — «дивергентная валидизация» (англ.). Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.
IV. Оценка прогностической валидности.
Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.
Аннотация
Анализируются современные наиболее обсуждаемые критериальные системы валидности качественного исследования: реалистическая, конструкционистская, критическая, эстетическая, радикальная. Показывается, что в современной научной ситуации речь идет не просто о введении специфичных для качественных исследований представлений о валидности, но и о концептуальной замене этого традиционного для психологии критерия. В реалистической системе валидность обсуждается с точки зрения аргументированности выдвигаемых интерпретаций. Конструкционистская система взамен критерия валидности вводит критерии достоверности и аутентичности. Критическая критериальная система делает акцент на социальной полезности, критической составляющей анализа, а также его включенности в контекст социальных изменений.
Эстетическая сводит качество анализа к его выразительности, полифоничности, что оборачивается вопросом представленности в исследовании различных смысловых позиций. Радикальная система, следуя логикам как радикального конструкционизма, так и методологического анархизма, отказывается от однозначного стандарта качества исследований. В завершении статьи делается вывод, что так называемые «субъективные» представления исследователя являются не артефактом анализа, но его ключевым инструментом. Проблема валидности – это проблема разведения и критической рефлексии того, как соотносятся позиции автора исследования и его респондентов. Следуя указанной логике рассуждений, авторами статьи предлагается общая модель валидности качественных исследований в психологии, опирающаяся на проведенный анализ разных критериальных систем и личный практический опыт работы с качественными методами.
Общий принцип построения авторской системы валидности – соотношение критериев и различных уровней (или этапов) качественного исследования: планирования, сбора и анализа данных, интерпретации.
Принята к публикации: 16.03.2013
Ключевые слова: валидность качественного исследования; качественная методология; конструкционизм; реализм; фаллибилизм; критическая теория; эстетика
Наиболее полный анализ критериальных систем валидности для качественных исследований в свое время был проделан М. Паттоном (Patton, 2002), однако, судя по современным дискуссиям, он нуждается в дополнении. Проведенный нами анализ позволяет говорить о пяти проектах критериальных систем валидности качественных исследований:
Кратко охарактеризуем каждый из них.
Проект реалистической критериальной системы
Данный проект опирается на принципы критического реализма (рационализма) и не отказывается от традиционного критерия валидности, который объявляется общим как для количественных, так и для качественных исследований, хотя для последних вводятся новые и довольно-таки оригинальные типы валидности. Главное, что критерий валидности здесь сохраняется и не подвергается какой-либо терминологический замене. Вопреки традиционной оппозиции конструкционизма и реализма в философии, сторонники этого проекта пытаются объединить идеи социального конструирования реальности и реалистический принцип фальсификации гипотез и выбора между соперничающими интерпретациями изучаемого явления. Таким образом, разделение «реалистических» и «конструкционистских» критериальных систем условно в той степени, в какой те или иные авторы заостряют своеобразие качественного подхода и подводят его под пост-структуралистские концепции с их активной критикой устоявшихся представлений о том, что есть научность и «объективное» научное знание.
Рассмотрим три характерных типа реализации реалистического подхода, представленные в работах Дж. Кирка и М. Миллера, Дж. Максвелла и С. Квале.
Максвелл выделяет следующие типы валидности (Maxwell, 2002):
Интерпретативная валидность предполагает, что интерпретации основаны на том языке, на котором говорят сами респонденты, и как можно более приближены к их понятиям. Выводы должны подтверждаться реальными словами респондента. Хотя мы не можем непосредственно подступиться к значениям, которые респонденты придают своим суждениям и действиям, мы можем сконструировать (реконструировать) их на основе полученных данных. Что касается бессознательных структур, верований и ценностей, то их психологическая реконструкция основывается не на парафразировании, переформулировании и вычленении смысла суждений респондента, а на объяснительных теоретических принципах и идеях.
Кроме того, выделяются еще два дополнительных критерия.
Обобщаемость. Логика обобщения в качественных исследованиях предполагает создание теории (гипотезы), которая имеет смысл не только для конкретных личностей и ситуаций, но распространяется и на другие, более широкие контексты. В качественном исследовании специфика обобщения определяется «целевыми» и «теоретическими», а не рандомизированными выборками. Выделяются внутренняя обобщаемость (обобщение на сообщества, группы, институции, которые собственно изучались в данном случае) и внешняя обобщаемость (обобщение на другие сообщества, группы и институции).
Оценочная валидность предполагает рассмотрение оценок изучаемых явлений или событий. Максвелл мало говорит об этом критерии, считая, что он не отличается от правил оценки в других исследовательских подходах и не является основополагающим в качественных исследованиях, как описательная, интерпретативная и теоретическая валидность. Однако проблема включения социальных и этических оценок в качественный анализ окажется весьма значимой в критических исследованиях, о которых будет сказано ниже.
В завершение следует упомянуть интересный опыт синтеза критериальных систем, предпринятый М. Майлсом и А.М. Хаберманом (Miles, Huberman, 1994). Эти авторы не всегда последовательно объединяют различные позиции, ибо многие приводимые ими критерии создавались на основе сложно совместимых теоретических традиций (о которых мы скажем позже) и едва ли они могут быть однозначно соотнесены друг с другом. Но, так или иначе, приводим все эти критерии пока без пояснений:
надежность/включенность в контекст/ доступность reliability/dependability/ auditability);
внутренняя валидность/правдоподобность/аутентичность (internalvalidity/ credibility/authenticity);
внешняя валидность/переносимость/ слаженность (externalvalidity/ transferability/fittingness);
Проект конструкционистской критериальной системы
Если сторонники предыдущего подхода сохраняли критерий валидности, общий как для количественных, так и для качественных исследований, то авторы, о которых пойдет речь в этом разделе, занимают более радикальные позиции они предлагают отказаться от традиционного критерия объективности и валидности и ввести совершенно новые, специфичные для качественного исследования стандарты. Проблема валидности формулируется как проблема качества исследования (Flick, 2007). Такой шаг объясняется, в частности, стремлением дистанцироваться от естественнонаучной модели научного объяснения, с которой якобы ассоциируется понятие валидности. Как можно догадаться из подзаголовка, философскими предпосылками данного проекта оценки валидности качественного исследования выступили основные положения и идеи социального конструкционизма. Хотя критический реализм признает механизм конструирования знания о реальном мире, обсуждаемые в настоящем подразделе авторы придерживаются антифундаменталистской позиции, т.е. отказываются от признания единственного «истинного» основания для построения научного знания. Кроме того, в конструкционистских критериях акцентируется прагматический аспект исследования и включенность последнего в социальные и политические изменения.
Кроме того, Линкольн и Губа предлагают критерий аутентичности (authenticity) (Lincoln, Guba, 1985, Guba, Lincoln, 2005). Аутентичность показывает насколько используемые стратегии анализа подходят для достоверного изложения идей, высказанных респондентами. К нему относятся:
Конструкционистские критерии, предложенные Губой и Линкольн, в значительной степени изменяют представления о критериях валидности исследования. Точнее, речь идет не о критериях и не о валидности в строгом смысле этих понятий, а о мыслительных и мировоззренческих ориентирах познания, которые позволяют нам оценивать включенность нашего анализа в контекст социальных изменений, степень, в которой он помогает ответить участникам исследования на значимые для них философские и экзистенциальные вопросы.
Несмотря на то, что критерии Линкольн и Губы были предложены более двадцати лет назад, они до сих пор остаются своего рода «золотым стандартом» и приводятся едва ли не во всех руководствах по качественным методам исследований. В то же время, они стали стимулом для новых дискуссий и многие авторы предложили свои критерии оценки качества исследований.
a. валидность как соответствие или согласование новых наблюдений и интерпретаций с моим личным исследовательским пониманием проблемы;
Эти типы валидности оцениваются представителями трех возможных аудиторий: читателями, респондентами и самими исследователями. Критерий валидности как соответствия-согласования распадается на три условных составляющих:
Критерий валидности как изменения или роста понимания данных рассматривается с точки зрения трех аудиторий следующим образом:
С опорой на принцип интерсубъективности и конвенционализма критерии качества формулируются и сегодня, например, в работе Л. Ярдли (Yardley, 2008), которая снискала успех у многих современных исследователей. Критерии валидности, рассуждает автор, не являются набором ригидных правил, они не могут гарантировать хорошего исследования. Предлагаемые критерии представляют собой скорее творческие ориентиры для исследовательской работы и направлены не на то, как оценить ее качество, а на то, что именно следует оценивать. Выделяются четыре критерия качества:
Всего предлагаются два блока критериев. Первый блок включает в себя критерии, общие как для качественного, так и для количественного исследования. К ним относятся:
научного контекста и целей исследования (explicitscientificcontextandpurpose);
выбор соответствующих целям методов (appropriatemethods);
уважение к участникам (respect for participants);
специфичность метода, адекватность вопросам исследования (specificationofmethods);
открытость исследования для дискуссий (appropriatefordiscussion);
ясность презентации данных (clarity of presentation);
оценка итоговых достижений с точки зрения прироста и увеличения научного знания (contributiontoknowledge).
Во второй блок входят критерии валидности, специфичные именно для проведения и публикации качественного исследования:
Таким образом, данные критерии акцентируют внимание на циклическом характере качественного исследования, предполагающем постоянное возращение от теоретических интерпретаций обратно к данным для достижения прозрачности анализа.
И. Штaйнке, с присущей немецким научным текстам тщательностью, выделяет следующие критерии качества качественного исследования (Steinke, 2004):
Интерсубъективная понятность (intersubjectcomprehensibility) означает возможность для любого читателя проследить ход исследования шаг за шагом и оценить его выводы. Она достигается за счет документации аналитического процесса и является условием работы со всеми последующими критериями. В качественном исследовании следует документировать: пред-понимания исследователя (его первичные гипотезы, ожидания, выбор того или иного метода и т.п. ), методы сбора данных, контекст сбора данных (т е как были реально собраны материалы), правила транскрипции, методы анализа данных, источники информации (вербальные утверждения респондентов, запись значений их утверждений, общий контекст, наблюдения, гипотезы и интерпретации наблюдателя), проблемы, возникающие в ходе работы, их решения, критерии, по которым исследование будет оцениваться как удовлетворяющее поставленным задачам и целям.
Отчет об исследовательском процессе (indicationoftheresearchprocess) раскладывается на следующие этапы: оценка качественной процедуры с точки зрения исследовательских вопросов (стоит ли их изучать именно качественными методами или для них более адекватны другие способы), обоснование выбора метода, обоснование правил транскрипции (системы транскрипции данных должны быть просты и удобны в письме, обучении и интерпретации), обоснование выборки (ее целевого характера и степени «информативной насыщенности»).
Связность (coherence) предполагает ответы на вопросы о том, является ли формулируемая теория (гипотеза) логически связанной, и нет ли каких-либо противоречий между данными и выдвигаемыми интерпретациями.
Релевантность (relevance) связана с оценкой полезности исследования: является ли исследовательский вопрос значимым, предлагает ли исследование новые интерпретации и решения проблем, имеется ли возможность обобщения данных.
Рефлексируемая субъективность (reflectedsubjectivity) предполагает анализ роли исследователя как субъекта познания (с его интересами, личными предположениями, стилями общения и предыдущим автобиографическим опытом) и как части социального мира, за которым он наблюдает и с которым взаимодействует. Рассматриваются такие темы, как: включение данных самонаблюдения в исследование, выявление личных пред-пониманий, влияние доверительных отношений с респондентами на дальнейший анализ, рефлексия того, как происходило «вхождение в поле».
К. Чармаз, признанный лидер и идеолог современной версии метода обосновывающей теории, который она подвела под конструкционистские основания, выделяет следующие критерии оценки качества исследования (Charmaz, 2006): правдоподобность (credibility), оригинальность (originality), резонанс (resonance) и полезность (usefulness).
Г. Шанк и О. Виллелла (Shank, Villella, 2004) проанализировали 24 статьи по качественным исследованиям за период с 1992 до 2001 гг. Для анализа статей ими были сформулированы следующие четыре критерия: исследовательская глубина (investigativedepth), адекватность интерпретаций (interpretiveadequacy), богатство разъяснений (illuminativefertility) и отчетность об участии (participatoryaccountability). К ним добавляются еще слаженность (consistency), строгость (rigor), полнота кодирования (codingcompleteness) и тематическое сокращение (thematicreduction).
Таким образом, конструкционистские критериальные системы заменяют критерии валидности и надежности на качество, достоверность и аутентичность, акцентируя внимание на таких аспектах, как прозрачность, связность, логичность презентации данных и интерпретаций, экспликация пред-пониманий автора, оригинальность и социальная полезность анализа. Помимо введения совершенно новой терминологии, отличие конструкционистских критериальных систем от реалистических заключается в том, что последние, исходя из иной эпистемологии, опираются на принцип фальсификации гипотез и конкурирующих объяснений. Конструкционистские же критерии направлены на глубокое и максимально полное раскрытие различных субъективных позиций, «личностных перспектив» без их оценки как истинных или ложных. Говорить о качестве анализа можно в той степени, в какой читателю на протяжении исследования исследовательского процесса представлены элементы «хорошей практики».
Кроме того, эти критерии не есть стандарты оценки анализа postfactum, а представляют собой мыслительные ориентиры, которые включаются в анализ perse, т.е. по сути Критерии становятся идеальными средствами, призванными задать направление аналитической работе и ее рефлексии, причем они сами выступают предметом творческого осмысления и открыты для методологических инноваций. Но, как бы мы их не называли, проблема включения субъективного измерения в качественное исследование и опосредование им анализа остается актуальной и для антифундаменталистской позиции, которая лежит в основе почти всех современных критериальных систем. В конструкционизме средством такого опосредования выступила экспликация и полная документация исследователем логики своих рассуждений и умозаключений, вкупе с обширным цитированием прямых слов респондентов для отделения их позиций от смысловых интонаций автора отчета.
Проект критической критериальной системы
Итак, конструкционизм ввел измерение истины как политической полезности. Способность человека критически рефлексировать социальные условия своего существования и изменять общество для достижения своей свободы (принимать на себя роли агента изменений) становится основным объектом внимания в рамках критической социальной психологии. «Цели критической психологии предполагают включение открытой политической повестки дня, которая резко контрастирует с политической нейтральностью, характерной для дисциплины до недавних времен» (Tuffin, 2005, С 3). В этих теориях критерии валидности были переформулированы с позиций изучения культуры, гендера и социального класса, а сама проблема влияния смысловых позиций исследователя на результаты анализа стала раскрываться с точки зрения опосредования его отношениями власти и идеологии, осуществляемыми в данном обществе.
Критически ориентированная теория исторически прошла три этапа своего развития (Budd, 2008):
оформление основных идей во Франкфуртской школе;
их развитие в работах Ю. Хабермаса в контексте понятий коммуникативной рациональности и коммуникативных действий, направленных на формирование социального консенсуса путем обсуждения актуальных проблем;
В рамках критически ориентированных качественных исследований мы можем выделить, по крайней мере, три подхода к пониманию валидности.
Во-первых, в радикальном подходе к психологии, ярким представителем которого является Я. Паркер, проблема валидности кардинальным образом переосмысляется и фактически смыкается с проблемой критической рефлексии собственных умозаключений (Parker, 2005). Радикальный подход, по его словам, претендует на низложение и изменение того, как мы получаем психологические знания. Он позволяет «подняться» над психологией и с расстояния поразмышлять о положении ее дел через осмысление политического контекста исследований, формируемых в них особых социальных отношений, а также альтернативных и даже «маргинальных» для мейнстримной психологии теорий и парадигм (наподобие психоанализа Ж. Лакана).
Что же происходит с критериями объективности и валидности при таком подходе?
Критерий объективности заменяется таким вопросом: описаны ли теоретические источники, благодаря которым субъективность превращается в полезный инструмент, и как эти источники влияют на исследование?
Но, даже, невзирая на возможности триангуляции «строгая «объективность», как отмечают авторы, не может быть достигнута средствами дискурс-анализа. Для каждого такого анализа технология исследования должна быть сама изучена на предмет возможного включения верований и идеологий аналитика и, следовательно, необходимо «вывести анализ за пределы предвзятых мнений» (Wodak, Meyer, 2009, Р. 31-32).
Таким образом, рассмотренные в этом разделе теории, отражающие социально-критические тенденции в современных исследованиях, отказываются от классического критерия валидности и этот отказ обосновывается эпистемологическим своеобразием критической теории в психологии. Несмотря на то, что основной линией переформулировки стандарта качества является активное включение в него субъективно-рефлексивных позиций и измерений социальной власти, его сторонники испытывают общие для всех качественных исследований трудности, связанные с разведением интерпретаций самого аналитика и реконструируемого им идеологического дискурса.
Несомненное достоинство критического проекта заключается в его стремлении зафиксировать социально-историческое обрамление субъективного опыта и включить его в принципы качества проводимого исследования. Вместе с тем, существует опасность потери психологического понимания валидности и подмены его формальным критерием социальной и идеологической критичности. Дальнейшие попытки найти некие «внешние» критерии валидности приводят к их отождествлению с мерой того, насколько получаемые данные выразительны, «говорят сами за себя», т.е. с их эстетикой. Об этом поговорим ниже.
Проект эстетизации критериальной системы
Осознавая неоднозначность и известного рода экстравагантность такого подхода к организации качественного исследования, мы хотели обратить внимание читателя на тот факт, что обращение к эстетике не является для психологии чем-то новым. Достаточно указать на классические исследования и этюды У. Джеймса, З. Фрейда, Л.С. Выготского, материалом для которых становилось художественное творчество. Правомернее было бы говорить о переосмыслении места эстетического опыта в структуре психологического знания вкупе с разработкой четких, если это возможно при изучении художественного символизма, его аналитических схем и концепций.
При всей привлекательности эстетической перспективы обсуждения валидности нам приходится, увы, констатировать здесь ряд сложностей методологического толка. Дело заключается не столько в трудно формализуемом характере оценки «художественной выразительности» качественных исследований, сколько в логической противоречивости такого подхода с точки зрения их же философских оснований. Коль скоро качественные методы реализуют конструкционистский тип мышления, то возникает вопрос об универсальности эстетического опыта и его культурно-исторических форм.
Кроме того, что эстетическая символизация опыта приобретает в истории искусства различные, отличные друг от друга типологические формы и характеристики, она может к тому же серьезно исказить наше восприятие чужих культур. Такие эстетические средства, как фотография или видео не являются просто пассивными «записывающими» медиа-средствами, они оформляют наше восприятие социальных событий и различных культур. Поэтому «нам действительно следует быть очень осторожными в наложении, как эстетического критерия, так и эстетической способности на наши представления об окружении, культуре и действующих лицах (actors), пренебрегая при этом локальными, местными формами представлений, посредством которых культура, ее структура и действия поддерживаются в повседневной жизни» (Atkinson, Delamont, 2005, Р. 835). Эстетический критерий валидности парадоксальным образом сам превращается в предмет научного изучения как культурный феномен.
Проект отказа от критериальной системы
Во-первых, постмодернистская точка зрения заведомо предполагает, что критерии невозможно привести к фиксированной системе (Richardson, St. Pierre,2005, Smith, 1984).
Выводы по критериальным системам
Проведенный нами теоретико-методологический анализ показывает, что для всех критериальных систем остается первоочередным вопрос о включенности субъективных «пред-мнений» в процесс качественного исследования. Общее решение этой проблемы, характерное для всех рассмотренных предложений, заключается в том, что мы совсем не устраняем субъективность из исследования, а включаем и пытается проконтролировать ее. Тогда проблема валидности качественного исследования должна быть определенным образом переформулирована, чтобы на первый план вышла личность его автора, который парадоксально выступает в роли основного инструмента качественного анализа.
Критерии валидности планирования исследования и сбора данных:
предварительная экспликация теоретических позиций, опыта работы в заявленной исследовательской сфере и личностных представлений об изучаемой теме;
обоснованность выбора качественного подхода к изучению данной проблемы;
обоснованность формирования выборки, методов сбора и обработки данных;
систематическое описание контекста и условий исследования («поля»);
Критерии валидности анализа данных:
аргументированность, логичность и связность анализа;
обоснование четких взаимосвязей между аналитическими умозаключениями и конкретными данными;
разделение фактических описаний, смысловых обобщений и теоретических интерпретаций данных;
реконструкция всех смысловых позиций, представленных в «сырых» данных, и адекватное их представление для читателя;
стилистическая, риторическая, дискурсивная грамотность анализа.
Критерии валидности интерпретации данных:
опосредованность теоретических интерпретаций аналитическими категориями, сконструированными, исходя из «сырых» данных;
представленность в отчете авторской рефлексивной позиции;
социальная полезность и критический потенциал анализа;
оригинальность и инновативность предлагаемых интерпретаций;
Критерии валидности презентации данных:
прозрачность и выразительность представления данных;
открытость данных для обсуждения профессиональным сообществом;
открытость данных для обсуждения читателями;
раскрытие изменений понимания и рефлексивной работы исследователя;
оценка возможности обобщений и решения социальных проблем.
Литература:
Для цитирования статьи:
Melnikova O.T.,Khoroshilov D.А. (2014). Modern criteria system of identifying the validity of qualitative research in psychology. National Psychological Journal, 2(14), 36-48
Все права защищены. Использование графической и текстовой информации разрешается только с письменного согласия руководства МГУ имени М.В. Ломоносова.