Создание надежных тестов: личностные опросники, разработка заданий

П. Клайн

Личностные опросники - широко используемые методики измерения личностных качеств, поскольку они могут разрабатываться так, что им будут присущи многие атрибуты эффективных тестов: надежность, дискриминативность и стандартизованность. Однако, в силу природы личностных переменных, труднее всего бывает установить валидность именно этих методик.

Устранение влияния установок на ответ

Кроме того, что при разработке заданий следует всегда помнить о вышеперечисленных правилах, необходимо, конечно, ослабить, насколько это возможно, влияние наиболее существенных установок на ответ. Ниже описано, как это следует делать.

Установка на согласие (acquiescence)

Установки на ответы (response sets) были определены Кронбахом (Cronbach, 1946) как стилистическая последовательность, стимулируемая формой ответов на задания личностного опросника. Как указывалось ранее, одной из наиболее существенных является установка на согласие (см. Messick, 1962), то есть тенденция соглашаться с утверждением независимо от его содержания.

Сбалансированные шкалы

Messick (1962) утверждает, что сбалансированная шкала - это один из способов минимизации влияния установки на согласие. Сбалансированной называется такая шкала, для которой равное или примерно равное количество заданий имеют ключевые ответы "да" или "нет", "верно" или "неверно".

Однако, здесь заслуживают внимания два момента. Во-первых, сбалансированная шкала не устраняет полностью тенденцию : установка на согласие все же может проявиться, но, как указывает Knowies (1963), такая шкала не позволит спутать "соглашающегося" испытуемого с тем, у кого реально высокие показатели, а это важно. Конечно, можно возразить, что "соглашающийся" испытуемый с потенциально высокими показателями не будет выявлен при сбалансированной шкале. Если это происходит чаще, чем в нескольких отдельных случаях, то последующее исследование валидности теста будет обречено на неудачу.

Во-вторых, искажающего влияния этой установки на показатели по тесту можно избежать только в том случае, если будут сформулированы в равной степени содержательные, недвусмысленные и побуждающие к определенному ответу задания, имеющие как положительные, так и отрицательные ключевые ответы. Если вы сможете сформулировать лишь очень небольшое количество заданий с ключевым ответом "нет", то эти задания будут способствовать низкой валидности шкалы. Несколько примеров пояснят это.

Пример 1. Рассмотрим вопрос на экстравертированность: "Вам нравятся вечеринки?" Обратной формой этого вопроса будет: "Вам не нравятся вечеринки?" В этих заданиях стилистические обороты языка удовлетворительны, потому что принято говорить, что вечеринки нравятся или не нравятся. Они также удовлетворительны, потому что, как это и случается, испытуемому с высоким показателем по параметру экстраверсии нравятся вечеринки, а испытуемому с низким показателем - не нравятся. Таким образом, полярность этих заданий эффективна. Однако, часто попытка получить обратную форму вопроса становится источником ошибок.

Пример 2. Следующее задание было создано, чтобы выявить удовлетворение, получаемое от статистики - как утверждают, оно относится к чертам навязчивости: "Являетесь ли вы одним из тех людей, кто находит статистические данные и таблицы совершенно скучными?" Это обратная форма вопроса с ключевым ответом "нет". Однако, очевидно, (прежде чем первое испытание теста показало, что этот вопрос не работает), можно не считать статистику скучной, но и не восхищаться ею. Таким образом, обращение вопросов, когда они относятся к некоторым крайним проявлениям в поведении, вероятнее всего не даст результата в силу континуальности, лежащей в основе многих ответов на задания. Обращение вопросов обычно предполагает дихотомичность ответа. Другими словами, если ответ на вопрос является дихотомическим, то обращение вопроса для сбалансированной шкалы возможно; если же используются крайние (граничные) значения из континуума, обращение не будет удачным.

Пример 3. Аналогично, можем рассмотреть вопрос о том, нравится ли испытуемым отдавать распоряжения. Обратная форма вопроса, такая как: "Вы не испытываете удовольствия, когда вам вменяется в обязанность отдавать распоряжения?" - не может быть удачной, потому что возможны случаи, когда отрицание неприязни к распоряжениям, приказам вовсе не означает получение удовольствия от этого. В основе этого ответа лежит континуум, а не дихотомия. Этот вопрос не может быть обращен.

Пример 4. В данном задании рассматривается аккуратность: "В школах сильно преувеличивают значение аккуратности". Можно утверждать, что навязчиво аккуратный индивидуум будет считать, что значение этой особенности поведения невозможно преувеличить. Следовательно, данное задание было написано так, чтобы отрицательный ответ действительно выявлял исследуемую черту. Таким образом, с точки зрения разработки заданий, это жизнеспособное "негативное" задание.

В этих примерах проиллюстрированы два наиболее важных момента в формулировании заданий с отрицательными ключевыми ответами: они могут быть сформулированы, во-первых, если отрицательный ответ соответствует реальному поведению, и во-вторых, если в основе ответов лежит дихотомия, а не континуум, как в приведенном выше примере 1.

Использование шкалы лжи

Некоторые авторы (например, Айзенк в тестах ЕРI и EPQ) вводят особую группу заданий для выявления тех лиц, которые склонны давать социально одобряемые ответы. Они состоят из вопросов, касающихся незначительных проступков, которые, увы, иногда совершаются большинством людей. Набравший наибольшее количество баллов по такой шкале рассматривается как дающий социально одобряемые ответы, а поэтому его показатели по тесту могут быть проигнорированы. Хотя Eysenck и Eysenck (1976), исходя из факторного анализа заданий теста EPQ утверждают, что шкала лжи измеряет определенную личностную переменную, для практического тестирования со значительным потоком испытуемых этот прием для обнаружения установки на социально одобряемые ответы весьма полезен.

Вот некоторые типичные утверждения шкалы лжи: "Я никогда не лгу"; "Я всегда прихожу вовремя на встречи и свидания"; "Я всегда плачу за проезд на транспорте".

Содержание вопросов (утверждений)

До сих пор при обсуждении принципов конструирования заданий основное внимание уделялось их форме. При этом мы предполагали, что знаем, какие черты (особенности) пытаемся тестировать. Тем не менее, справедливо было бы спросить, каким же именно образом мы принимаем решения о содержании заданий. Трудно делать общие заключения об этом, поскольку многое зависит от особенностей конкретной области поведения, для диагностики которой мы хотим разрабатывать тест личности. Чтобы проиллюстрировать, как принимать решения о содержании тестов, я приведу несколько примеров.

Теоретический пример

Kline (1968) выполнил экспериментальное исследование особенностей анального характера (Freud, 1908), в ходе которого для конструируемого теста было поставлено большое количество эмпирических задач. Существует ли анальный характер? Если да, то измеряется ли он другими личностными опросниками? Имеет ли он отношение к научению ребенка справлять большую нужду? Изменяется ли он от культуры к культуре, как следовало бы ожидать, исходя из психоаналитической теории? Чтобы ответить на эти вопросы, было необходимо сконструировать и валидизировать инструмент для измерения анального характера. Чтобы сделать это, я должен был решить, какие черты должны войти в тест.

Далее следует краткое описание того, как содержание вопросов (утверждений) было отшлифовано, прежде чем они превратились в задания теста. Получившийся в результате этого тест (Ai3Q), похоже, выдержал подробные критически проверки (см. Kline, 1978). Были подробно изучены психоаналитические описания анального характера (напр., Abraham, 1921; Jones, 1923; Menninger, 1943), и составлен список всех черт и специфических примеров поведения. Примеры из публикации Jones (1923) перечислены ниже.

(1) Промедление в удовлетворении потребностей, доводимое до их интенсивной концентрации, монотонная настойчивость, своевольная независимость - уверенность, что никто не может сделать что-либо так хорошо, как он сам.

(2) Неспособность перепоручать работу.

(3) Мелочное внимание к подробностям.

(4) Нежность к детям.

(5) Склонность к доминированию.

Подобным образом был собран длинный подробный список черт и особенностей поведения. Затем они были преобразованы в задания теста с использованием всех тех правил и приемов, которые обсуждались в данной главе.

Практический пример

Нет сомнений в том, что полезно иметь инструмент для измерения агрессивности, например, в центре по перевоспитанию правонарушителей или для малолетних заключенных. Основным подходом в этом случае было бы составление списка всех проявлений агрессивности, которые только можно вообразить, преобразование их в задания и апробация на соответствующей выборке. Следует отметить, что при таком подходе не стоит вопрос о том, что есть агрессия как личностное измерение. Для этого необходимо специальное исследование. Так, факторный анализ заданий продемонстрировал бы, есть ли только одно измерение, ряд коррелирующих между собой измерений, несколько некоррелирующих измерений или ни одного реального синдрома поведения, которые могли бы быть значимо описаны как агрессивность.

Получение содержания задания

Возвращаясь к нашему примеру, отметим, что есть набор признаков агрессивного поведения, которые бы могли быть использованы в заданиях: постоянно дерется (не в шутку); когда раздражен, вступает в драку по любому поводу; использует в драке разбитые бутылки; носит с собой бритвы, кастеты, велосипедные цепи, складные ножи, ремни с металлическими бляхами, имеет тяжелые ботинки; бьет упавших противников ногами; избивал кого-либо до потери сознания; страдал от несправедливости и оскорблений; кричит, если раздражен; разбрасывает вещи по комнате; лжет, чтобы раздразнить конкурентов; придумывает страшные истории. Затем подобный список при помощи приемов, описанных в данной главе, может быть преобразован в задания теста.

Заключение

При тех сложных и неизбежно неточных инструкциях для конструирования заданий тестов личности, приведенных в данной главе, наиболее ценным может оказаться краткое пошаговое описание интересующей нас процедуры. Оно и приводится ниже. Полное обоснование всех этих положений содержится в тексте главы.

(1) Перечислите черты и особенности поведения из описаний в психологической литературе.

(2) Преобразуйте описание каждой черты или особенности поведения в задание. Это лучше всего сделать при помощи обычных форм заданий опросников: (а) дихотомических заданий (типа "да-нет"); (б) трихотомических заданий (типа "да-?-нет"): (в) альтернативных заданий; (г) заданий типа "нравится-не нравится"; (д) заданий с вынужденным выбором; (е) заданий с рейтинговыми шкалами. Выбор формы задания зависит от особенностей используемого материала и оценки преимуществ и недостатков каждого типа заданий.

(3) Независимо от используемого типа заданий старайтесь, чтобы назначение каждого задания не было слишком очевидным.

(4) формулируйте каждое задание понятно и недвусмысленно.

(5) Насколько возможно, обеспечьте, чтобы каждое задание относилось к какой-либо конкретной области поведения.

(6) В каждом задании должен содержаться только один вопрос или одно утверждение.

(7) Избегайте использовать термины частоты и другие субъективные выражения.

(8) Когда это возможно, задания должны касаться поведения, а не чувств и отношений.

(9) Обеспечьте, чтобы ответы на задания давались быстро.

(10) Избегайте влияния основных установок на ответы, таких как установка на согласие и установка на социально одобряемые ответы.

(11) Вероятность проявления установки на согласие лучше всего уменьшается формулированием понятных заданий и использованием сбалансированных шкал.

(12) Проверьте при помощи процедур анализа заданий то, что тенденция к согласию - несущественный фактор.

(13) Установки на социально одобряемые ответы легче всего избежать путем тщательного формулирования заданий.

(14) Проверьте при помощи техники анализа заданий, что установка на социально одобряемые ответы - несущественный фактор.

(15) Избегайте с помощью адекватной формы заданий влияния установок на выбор крайних или средних категорий ответов.

(16) Проверьте при помощи процедуры валидизации, что влияние установок на ответы не является существенным. Если тесты валидны, то установки на ответы не могут оказывать влияние на их показатели.

Создание надежных тестов: личностные опросники, разработка заданий

П. Клайн

Личностные опросники - широко используемые методики измерения личностных качеств, поскольку они могут разрабатываться так, что им будут присущи многие атрибуты эффективных тестов: надежность, дискриминативность и стандартизованность. Однако, в силу природы личностных переменных, труднее всего бывает установить валидность именно этих методик.