Отчет участия общеобразовательной организации

Сводный аналитический отчет

участия общеобразовательной организации

МОАУ СОШ № 4 (Код - 28001004) г. Благовещенск Амурская область в полиатлон-мониторинге «Политоринг-2013»
Общие положения

Проведенное мониторинговое исследование является независимой оценкой качества образования в отношении общеобразовательных организаций и реализуемых ими образовательных программ в целях определения соответствия предоставляемого образования потребностям физических лиц, в интересах которых осуществляется образовательная деятельность, повышения конкурентоспособности организаций, осуществляющих образовательную деятельность, и реализуемых ими образовательных программ.

Проведенное исследование основано на анализе выполнения испытуемыми тестового задания и обработке полученных материалов математическими методами педагогических измерений.

По результатам исследований выводится значительный массив тестологических данных как по каждому испытуемому, так и по общеобразовательной организации в целом. Полученные параметры могут служить в качестве оценочных при мониторинге учебных достижений обучающегося и помогают сформировать ему индивидуальную образовательную траекторию; могут использоваться при оценке качества образования организаций, осуществляющих образовательную деятельность.

В основе методики расчетов результатов «Политоринга» лежит процедура сравнения результатов как отдельных испытуемых, так и результатов общеобразовательной организации с общероссийскими результатами. «Политоринг-2013» был проведен 27 февраля 2013 года. Общее число общеобразовательных организаций, принявших участие в «Политоринге-2013», составило 1459 учреждений из 43 регионов Российской Федерации. Выборка учебных заведений носит репрезентативный характер и позволяет говорить о среднестатистических общероссийских показателях как о научно обоснованных, достоверных, значимых и квалиметрически выверенных.
Задания

Задания «Политоринга-2013» были рассчитаны на возрастные группы 1-2, 3-4, 5-6, 7-8 и 9-10 классов. Задания для обучающихся 1-2 классов разработаны с учетом требований ФГОС второго поколения, задания для 310 классов - с учетом требований государственного стандарта общего образования. Обучающиеся 1-4 классов проверялись по следующим дисциплинам: математика, русский язык, окружающий мир, литературное чтение. Обучающиеся 5-10 классов проверялись по следующим дисциплинам: математика, русский язык, дисциплины биологического цикла (далее - биология), дисциплины исторического цикла (далее - история). Кроме того, в тестовые материалы для 5-10 классов включены задания на общее развитие обучающихся.

Общее количество заданий для обучающихся 1-2 классов - 20 (по 5 заданий по математике, русскому языку, литературному чтению и окружающему миру). Общее количество заданий для обучающихся 3-4 классов - 24 (по 6 заданий по математике, русскому языку, литературному чтению и окружающему миру). Общее количество заданий для обучающихся 5-10 классов - 30 (по 6 заданий по математике, русскому языку, биологии, истории и заданий на общее развитие).

Кроме того, задания разбиты по уровням сложности: базовый, повышенный, высокий. В 1-2 классах по 8 заданий базового и повышенного уровней и 4 задания высокого уровня. В 3-4 классе по 8 заданий каждого уровня. В 5-10 классах по 10 заданий каждого уровня. Каждое задание базового уровня оценивалось в 2 балла, повышенного уровня - в 3 балла, высокого уровня - в 4 балла. Задания базового и повышенного уровня сложностей - с выбором ответа (один правильный ответ из 4 предложенных), ответом на задания высокого уровня сложности для обучающихся 3-10 классов являлось одно слово или одно число.
Количество участников

Количество участников полиатлон-мониторинга-2013:

	1 класс	2 класс	3 класс	4 класс	5 класс	6 класс
ОУ	120	138	103	104	114	114
РФ	16057	19349	18259	17135	7483	6409

	7 класс	8 класс	9 класс	10 класс	Всего
ОУ	114	71	0	0	878
РФ	5889	4924	3924	3150	102650

Методика подведения итогов и анализа результатов испытуемых

Если задание не выполнено или выполнено неверно, то его решение оценивается в 0 баллов. Если верно - то решение задания базового уровня сложности оценивается в 2 первичных балла, повышенного - в 3 первичных балла, высокого - в 4 первичных балла. Первичный результат по каждому из 5 разделов - это сумма набранных первичных баллов соответствующих заданий. Таким образом, первичный результат каждого раздела лежит в диапазоне от 0 до 18 баллов. Далее находится средний балл участников по России по каждому разделу в каждой школьной параллели. Окончательный результат участника по разделу - это доля первичного балла участника относительно среднего балла, выраженная в процентах.

Заметим, что к окончательным баллам по разным разделам не применима арифметическая операция сложения, поэтому общий балл по тесту не вычисляется, сравнение результатов участников друг с другом не проводится.

Аналогично, как доля первичного балла участника относительно среднего балла, выраженная в процентах, вычисляется окончательный балл по каждому уровню сложности.

Анализ проводится по следующим направлениям:

Первое направление. Сравнение результатов выполненной работы по пяти предложенным разделам. Результат по разделу тем лучше, чем выше окончательный балл по нему.

Второе направление. Если окончательный балл участника по разделу, указанный в сертификате, меньше или равен 25 баллам, то это означает низкий уровень подготовленности по данному разделу. Окончательный балл участника по разделу, указанный в сертификате, лежащий в интервале от 25 до 130 баллов, соответствует достаточному уровню подготовленности, более 130 баллов - высокому уровню подготовленности.

Третье направление. Если окончательный балл участника по базовому уровню сложности, указанный в сертификате, меньше 50 баллов, то это означает низкий уровень базовой подготовленности. Окончательный балл участника по базовому уровню, указанный в сертификате, лежащий в интервале от 50 до 100 баллов, соответствует достаточному уровню подготовленности, более 100 баллов - высокому уровню подготовленности.

Заметим, что указанные выше показатели анализа результатов являются базовыми, но в случае значительных смещений оценок могут быть откорректированы по части параметров.
Параметры надежности тестовых результатов по общеобразовательной организации

При анализе результатов выполнения теста в общеобразовательной организации реализована процедура оценки надежности тестовых результатов по общеобразовательной организации. В основе методики лежит

d

нахождение средневзвешенного общероссийского балла ^лУ^чш среди 27% лучших испытуемых ^лУ^чш, средневзвешенного общероссийского балла

d<sup>Рф

сл</sup> среди 27% испытуемых, показавших самые слабые результаты, и

нахождение коэффициента дифференцирующей способности теста

РФ РФ РФ D = d - d

лучш ^сл . Аналогичный коэффициент дифференцирующей способности теста определяется для общеобразовательной организации:

D^0y = d^0У - d^0V D^0y < I • D<sup>РФ

лучш сл</sup> . Если ² , то результаты

общеобразовательной организации признаются ненадежными.

Если результаты общеобразовательной организации признаны ненадежными, то это означает «однородность» большого числа индивидуальных результатов по полученным баллам. Это может происходить по нескольким причинам:

1. 
   в тестировании участвовала нерепрезентативная группа обучающихся из общеобразовательной организации (например, только хорошо подготовленные обучающиеся);
   
2. 
   в ходе проведения процедуры тестирования имели место нарушения регламента проведения мероприятия;
   
3. 
   в общеобразовательной организации приблизительно одинаковый уровень подготовки большинства обучающихся, без значительной дифференциации на сильных и слабых учеников.
   

Первые две из указанных причин снижают научную достоверность результатов исследования, а третья из них не отражается на научной достоверности, поэтому возникает необходимость проведения на месте, в общеобразовательной организации анализа причин, по которым результаты тестирования признаны ненадежными, и все полученные результаты в данном отчете принимать с учетом сделанных выводов.

Коэффициенты дифференцирующей способности равны:

РФ	ОУ
88,33	70,39

Таким образом, результаты тестирования по общеобразовательной организации признаны надежными.
Результаты

обучающихся общеобразовательной организации по предметам
Математическая обработка результатов позволила выявить уровень освоения школьного материала по различным предметам для всей совокупности испытуемых 5-10 классов в общеобразовательной организации. Ранжирование осуществлялось по трем уровням подготовленности: а) низкий; б) достаточный; в) высокий. Распределение испытуемых из общеобразовательной организации по уровням подготовленности следующее:

Процент испытуемых по ОУ	Математика	Русский язык	Биология	История	Общее развитие
Низкий	6,8%	8,5%	4,4%	2,4%	8,5%
Достаточный	80,6%	73,4%	66,8%	80,9%	71,7%
Высокий	12,6%	18,2%	28,8%	16,7%	19,9%

Аналогичные показатели по Российской Федерации в целом выглядят следующим образом:

Процент испытуемых по РФ	Математика	Русский язык	Биология	История	Общее развитие
Низкий	5,8%	8,3%	8,2%	6,1%	11,1%
Достаточный	67,3%	61,8%	62,1%	67,4%	56,6%
Высокий	26,9%	29,9%	29,7%	26,6%	32,3%

Сравнение средневзвешенных результатов образовательного учреждения со средневзвешенными результатами по Российской Федерации в целом позволяет оценить освоение образовательных стандартов в 5-10 классах в общеобразовательной организации (в шкале «освоены - не освоены») следующим образом:

Математика	Русский язык	Биология	История
Освоены	Освоены	Освоены	Освоены

Если число участников «Политоринга-2013» в 5-10 классах по ОУ меньше 10, то освоение образовательных стандартов в ОУ не оценивалось.

Математическая обработка результатов позволила выявить уровень освоения школьного материала по различным предметам для всей совокупности испытуемых 1-4 классов в общеобразовательной организации. Ранжирование осуществлялось по трем уровням подготовленности: а) низкий; б) достаточный; в) высокий. Распределение испытуемых из общеобразовательной организации по уровням подготовленности

Процент испытуемых по ОУ	Математика	Русский язык	Окружающий мир	Литературное чтение
Низкий	4,1%	4,5%	3,7%	9,3%
Достаточный	83,0%	77,0%	87,5%	75,3%
Высокий	12,9%	18,5%	8,8%	15,5%

Аналогичные показатели по Российской Федерации в целом выглядят следующим образом:

Процент испытуемых по РФ	Математика	Русский язык	Окружающий	Литературное
			мир	чтение
Низкий	6,6%	7,2%	6,0%	9,0%
Достаточный	66,4%	64,4%	76,3%	62,5%
Высокий	27,0%	28,4%	17,7%	28,5%

Математика	Русский язык	Окружающий мир	Литературное чтение
Освоены	Освоены	Освоены	Освоены

Если число участников «Политоринга-2013» в 1-4 классах по ОУ меньше 10, то освоение образовательных стандартов в ОУ не оценивалось.

Сравнение средневзвешенных результатов образовательного учреждения со средневзвешенными результатами по Российской Федерации в целом позволяет оценить освоение образовательных стандартов в 1-4 классах в общеобразовательной организации (в шкале «освоены - не освоены») следующим образом:

Результаты по уровню сложности заданий

Распределение результатов испытуемых из общеобразовательной организации по заданиям базового, повышенного и высокого уровней сложности:

Процент испытуемых по ОУ	Задания базового уровня сложности	Задания повышенного уровня сложности	Задания высокого уровня сложности
Низкий	7,6%	19,5%	24,2%
Достаточный	45,6%	46,0%	35,5%
Высокий	46,8%	34,5%	40,3%

Аналогичные показатели по Российской Федерации в целом выглядят следующим образом:

Процент испытуемых по РФ	Задания базового уровня сложности	Задания повышенного уровня сложности	Задания высокого уровня сложности
Низкий	10,1%	17,7%	26,0%
Достаточный	34,4%	34,3%	30,5%
Высокий	55,5%	48,0%	43,5%

Ранжирование учебных дисциплин по степени их освоения испытуемыми (субъективная оценка)

Кроме чисто педагогических результатов, в ходе исследования было проведено социологическое исследование. Обучающимся 5-10 классов было предложено дать свою субъективную оценку знаний по школьным предметам, ранжировав эти знания для математики, русского языка, биологии, истории и заданий на общее развитие.

Процент испытуемых, поставивших предмет на первое место, то есть признав свои знания по данному предмету наилучшими, таков:

Процент испытуемых	Математика	Русский язык	Биология	История	Общее развитие
По ОУ	25,4%	28,0%	7,8%	17,1%	21,8%
По РФ	24,4%	31,7%	13,4%	13,0%	17,5%

Данный вывод базируется на основании допуска, что у испытуемого преобладает логика вида «я назвал свои знания по предмету относительно других низкими, потому что мне этот предмет дается труднее всего» или «я назвал свои знания по предмету относительно других низкими, потому что мне этот предмет нравится менее всего». Возможно, что сам ученик не осознает этой связи.

Общие замечания по итогам «Политоринга-2013»
Одной из важных особенностей «Политоринга-2013» является значительное число заданий (десять для 5-10 классов), ответом на которые является одно слово или одно число. Эта особенность позволяет выявить основной недостаток выполненных работ, который проявляется в абсолютно подавляющем числе образовательных организаций. Это низкий уровень культуры испытуемых при работе с тестовыми заданиями. Поясним это на простейшем примере. Если вопрос задания звучит как «найти площадь квадрата» и в задании указано, что ответом в задании является одно число, то правильным ответом является, например, ответ «9», записанный в бланк ответа. Опыт «Политоринга-2013» показывает, что в ответах можно встретить что угодно - «9 квадратных метров», «9 м2», «площадь квадрата 9», «площадь - 9» и любые другие варианты.

Разберем гораздо более неприятную ситуацию на примере задания 23 для 5-6 классов:

23. Сколько среди этих слов названий лиц (людей)?

Утренник, ночник, полдник, полуночник, второгодник, зимник, дневник.

Поскольку к заданиям 21-30 необходимо дать краткий ответ (одно число или одно слово), то очевидным ответом является «2» или «два». Даже ответы вида «два человека», «двое людей» формально можно рассматривать как неправильные. Но достаточно распространенными были ответы «полуночник, второгодник». Исходя из возрастных особенностей школьников среднего звена, было принято решение в 5 и 6 классах засчитывать все вышеприведенные ответы как правильные. В 9 и 10 классах в аналогичной задаче в случае перечисления слов вместо указания их числа ответ признавался неверным. Принятие такого решения связано с тем, что для учащихся старших классов важным является формальное выполнение тестологических требований в свете их подготовки к ЕГЭ.

Рекомендуем при разборе результатов «Политоринга-2013» ориентировать учителей на разъяснение указанной особенности для тестов. Это является важным и полезным, в том числе при подготовке обучающихся к ЕГЭ, в котором задания с открытым ответом (часть В) являются одними из ключевых.

к. ф.-м. н., доцент Ш.И. Цыганов.





Эксперт

Центральный оргкомитет «Политоринга-2013».

www.polytoring.ru