Педагог-исследователь, планируя педагогический экспе­римент, всегда пытается определить эффект от его воздействия на некоторую определенную совокупность студентов и преподавателей (напри­мер, одной специальности или одного факультета, одного какого-нибудь вуза или вообще вузов конкретного профиля в масштабах региона). Однако он не может "задействовать" в экспериментальных ис­следованиях всю интересующую его совокупность.

Перед педагогом-исследователем всегда встает вопрос: сколько учеников включить в эксперимент, сколько учителей должно участвовать в нем? Ответить на этот вопрос — значит осуществить репрезентативную (показательную для всей совокупнос­ти) выборку числа экспериментальных объектов.

Выборка должна, во-первых, быть представительной с точки зрения охвата учеников. Задачи эксперимента и число объектов, включаемых в него, тесно взаимосвязаны и могут влиять друг на друга. Однако решающим элементом все же являются задачи эксперимента, которые педагог намечает заранее. Именно они определяют необходимый характер выборки.

Далее исследователю необходимо сузить число экспериментальных объектов до минимально необходимого. Для этого необходимо учесть специфику темы исследования. Если речь идет, например, о проверке методики изучения какой-то темы по курсу истории, физики или другому пред­мету, то в данном случае можно ограничиться одним экспериментальным и одним контрольным классом. В экспериментальном классе проводятся необходимые изменения в соответствии с разработанной системой, а в контрольном идет обычный процесс.

Если педагог-исследователь хочет выявить типичные причины неуспеваемости учащихся современной школы, то ему придется собрать информацию об учащихся каждой возрастной группы, из городских, сельских школ, о неуспеваемости мальчиков и девочек и др. В этом случае специальным опросом надо получить данные о причинах неуспеваемости школьников всех классов с первого до выпускного.

Когда речь идет об эксперименте по воспитательным проблемам, то здесь возможны случаи, когда в эксперимент вовлекаются лишь 30-40 человек (при такой выборке возможно обрабатывать статистические данные).

Если же исследователь разрабатывает рекомендации для целой возрастной группы, то в эксперимент надо включать представителей каждого отдельного воз­раста.

Уравниваемыми условиями проведения эксперимента называются условия, обеспечивающие сходство и неизменность протекания эксперимента в контрольных и экспериментальных классах. К уравниваемым условиям обычно относятся: состав обучаемых (примерно одинаковый в экспериментальных и контрольных классах или группах); учитель (один и тот же учитель ведет занятия в экспериментальных и контрольных группах); учебный материал (одинаковый круг вопросов, равный объем); равные условия работы (одна смена, примерно одинаковый порядок следования занятий по расписанию и т.д).

Известный психолог Л.В. Занков считает, что уравнивание состава нереально, что это методологически ложно и практически недостижимо. Поэтому на практике, как правило, отбираются группы примерно равные по общей успеваемости. В случае же, если в условиях данного учебного заведения нельзя подобрать две примерно равные по этим показателям группы, в качестве экспериментальной принято брать группу с более низкой успеваемостью: в случае получения положительных результатов в итоге экспериментальной работы эти результаты будут более убедительными. Что касается уравнивания условий, связанных с преподавателем, то во всех случаях желательно, чтобы занятия и в контрольной, и в экспериментальной группах вел один и тот же преподаватель или сам экспериментатор.

Педагогические измерения как средство оценки результативности и эффективности научно-педагогических исследований

Измерение – это процеду­ра приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами.

Проблема объективности педагогических измерений

Понятие «объективность» означает независимость суждений от сознания и чувств отдельного субъекта. В объективном измерении результаты не должны зависеть от того, кто измеряет.

Можно сказать, что объективность является самым важным и, вместе с тем, наименее исследованным критерием качества педагогических измерений. Нередко считается, что абсолютно объективных педагогических измерений не бывает, что в них неизбежно присутствуют элементы субъективности. Среди таких элементов следует назвать субъективный выбор предмета измерения, мера вариации заданий теста по уровню трудности, мера вариации испытуемых по уровню подготовленности, средний уровень подготовленности групп испытуемых, подбор определенного содержания, формы и числа предъявляемых тестовых заданий.

К субъективным можно также отнести и такие процессуальные элементы, как время предъявления теста, дифференцированная оценка значимости (веса) каждого задания в общей системе тестовых баллов.

Интересующее педагога свойство личности может быть выражено явно или неявно. Явно выраженное свойство является основой для формирования счётного показателя. Например, показатель посещаемости занятий может зависеть от нескольких причин, в том числе латентных.

Неявно выраженные свойства личности называются латентными. Для измерения латентных свойств используются тесты, педагогические и психологические. Примером латентной величины является уровень подготовленности испытуемых. Концептуально этот уровень включает в себя владение знаниями, умениями, навыками и представлениями. В последнее время к этому списку добавляют и компетенции.

Для достижения результативности и эффективности научно-педагогического исследования опоры на критерий объективности недостаточно. Существуют еще два критерия - надёжность и валидность. Не случайно понятие «объективность» иногда ассоциируется с понятиями «надёжность» и «валидность». И в этой логике есть смысл. Обоснование надёжности и валидности результатов – это важная часть общего процесса объективирования результатов измерений.

Качественные оценки являются менее точными (менее надежными) по сравнению с количественными в силу применяемых способов и инструментов измерения. Например, понятия в образовании («знающий», «подготовленный» и др.), которые дифференцируют обучающихся по уровню знаний, опре­деляются субъективно учителем или группой учителей. Нередко качественные оценки выражают с помощью чисел, которые выбирают на основе экспертных суждений и соглашений. Приписываемые числа могут трактоваться по-разному. Так, в традиционном педагогическом контроле у каждого учителя есть свои представления о том, за что нужно ставить «5», «4», «3» и т.д.

Неоднозначность оценивания в образовании усугубляется латентным (скрытым, исключающим возможность непосредственно­го измерения) характером измеряемых переменных. В силу латентности оцениванию подвергаются не сами характеристики обученности и обучаемости, а их эмпирические референты – наблюдаемые признаки измеряемых характеристик. Выбор по­следних происходит, интуитивно, поэтому их соответствие ла­тентным характеристикам нуждается в доказательстве на основе экспертного и статистического анализа эмпирических результа­тов измерения.

– валидность – отражает адекватность эмпирических результатов по­ставленным целям измерения

Надежностью (reliability) называется характеристика точности тестовых результатов и их устойчивости к действию случайных факторов [60]. По сложив­шейся традиции термин «надежность» часто, хотя и не совсем верно, используют по отношению к тесту. Однако надежность те­ста является необходимым, но не достаточным условием получе­ния высокой точности измерений.

Валидность результатов педагогических измерений. Валидность – это характеристика адекватности результатов измерения постав­ленной цели создания теста [60]. Другими словами, валидность – это характеристика того, в какой мере удается измерить именно запланированный конструкт.

Компоненты процесса педагогических измерений.

Процесс педагогических измерений включает:

- выбор предмета измерения (латентных характеристик объектов) и их числа;

- выбор эмпирических референтов (реальные признаки, фиксирующие наличие или отсутствие изучаемого свойства у объекта);

- выбор измерительных процедур;

- конструирование и использование измерительных инструмен­тов;

- выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);

- построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным про­цедурам и правилам;

- обработку, анализ и интерпретацию результатов измерения.

Измерительный инструмент. Измерительный инструмент включает два компонента. Первый компонент – само измеряющее устройство, роль которого в педагогических измерениях чаще всего, но не всегда выполняет тест. Второй компонент измерительного инструмента – шкала, которая служит для фиксации ре­зультатов измерения и на которой откладываются оценки (коли­чественные или качественные) измеряемой переменной.

В зависимости от ко­личества оцениваемых характеристик объекта можно говорить об одномерных (одна переменная) или многомерных (более одной пере­менной) измерениях.

Методы педагогических измерений

Наиболее общая классификация, предложенная С.Стивенсон, включает четыре уровня измерений и фиксирует при­сущие им свойства. Согласно такой классификации различают шкалы качественные (шкала наименований, или классификаций, и порядковая шкала) и количественные (интервальная шкала и шкала отношений) шкалы.

Примером номинальной шкалы могут служить результаты зачетной сессии, когда все студенты делятся на две труппы – получивших и не получивших зачет. Порядковые шкалы используются в образовании в тех случаях, когда педагогический контроль осуществляется традиционными способами без применения тестов. Например, порядковой является привычная четырехбальная школьная шкала, которую иногда неоправданно называют пятибалльной.

Недостатки качественных шкал – ограниченная сфера приме­нения и низкая точность измерения. Числа или символы, приписываемые объектам путем экспертного оценивания, субъективны и носят исключительно условный характер. Их нельзя суммиро­вать или проводить с ними другие математические операции.

К количественным шкалам относятся интервальная шкала и шкала отношений. Процесс их построения основывается на измерениях, поэтому представленные в них оцен­ки характеристик объектов отличаются более высокой объективностью по сравнению с оценками в качественных шкалах и поддаются определенным математическим операциям.

Методами педагогического исследования называют совокупность приемов и операций, направленных на изучение педагогических явлений и решение разнообразных научно-педагогических проблем.

Статистическое наблюдение – это планомерный, организованный сбор необходимых данных о явлениях и процессах путем регистрации характеризующих признаков, характерных для исследуемых явлений и процессов.

Наблюдение должно иметь четкий план его проведения, в котором обозначены объекты наблюдений, цели, задачи, время наблюдения, предполагаемый результат, ожидаемые изменения в обученности и воспитанности. План наблюдения отвечает на вопросы: что наблюдать, для чего наблюдать, когда и сколько времени наблюдать и что можно ожидать в результате проведенных наблюдений?

К числу средств, повышающих объективность наблюдений, относятся специальные технические средства звукозаписи или видеозаписи уроков, внеклассных воспитательных мероприятий.

Метод тестирования

Тест (анг. - проба, испытание, исследование) представляет собой совокупность вопросов и заданий, предъявляемых испытуемому с целью измерения (диагностирования) его личностных характеристик. Оценка теста производится по числу правильных ответов.

Тестовая методика позволяет получать более объективные и точные данные по сравнению с анкетным опросом, облегчает математическую обработку результатов.

Однако тестирование уступает другим методикам по глубине качественного анализа, лишает испытуемых разнообразия возможностей самовыражения.

Метод анкетирования

Анкетирование - это метод получения информации с помощью специального набора вопросов, на которые испытуемый дает письменные ответы.

Поскольку с помощью анкет можно собрать большой материал, он требует и количественной обработки, и проведения тщательного качественного анализа.

Количественная обработка может дать, прежде всего, общие данные о количестве утвердительных и отрицательных ответов, полученных по каждому вопросу анкеты. (При большом количестве ответов можно перевести эти данные в проценты).

Качественный анализ должен быть направлен в первую очередь на анализ негативных суждений (выявление их причины). Положительные же суждения используются как материал, подтверждающий гипотезу.

При проведении экспериментальной проверки в разных местах большую наглядность этим данным придает сведение их в общие таблицы.

В профессионально составленных анкетах предусматривается (в целях надежности) дублирование одного и того же вопроса в разных вариантах (прямой и косвенной вопросы). Если ответы противоречат друг другу, они отбрасываются как недостоверные.