Методическая разработка тестирование как метод педагогического контроля





Скачать 163.56 Kb.
НазваниеМетодическая разработка тестирование как метод педагогического контроля
Дата публикации30.07.2013
Размер163.56 Kb.
ТипМетодическая разработка
100-bal.ru > Информатика > Методическая разработка


ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

“САРАТОВСКОЕ ОБЛАСТНОЕ УЧИЛИЩЕ (ТЕХНИКУМ) ОЛИМПИЙСКОГО РЕЗЕРВА”




МЕТОДИЧЕСКАЯ РАЗРАБОТКА




ТЕСТИРОВАНИЕ КАК МЕТОД ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ


Методические материалы подготовил
преподаватель Щедрин С.В


Содержание

Введение ……………..………………………………………. …………………….. 4
Основное содержание ……………………………………………………………. 5
1. Тесты и тестирование: основные сведения ………………………….…… 5

2. Формирование оценочной шкалы тестового контроля .………………… 7

3. Требования, предъявляемые к тестам и тестовым заданиям ………... 8
Заключение ……………………………………………………………..………….. 11

Литература ………………………………………………………………..…..……. 12

ВВЕДЕНИЕ

Процесс контроля – одна из наиболее трудоемких и ответственных операций в обучении, связанная с острыми психологическими ситуациями как для учащихся, так и для преподавателя. Объективная информация о качестве усвоения учащимися учебного материала позволяет наладить в образовательном процессе устойчивые обратные связи, своевременно внести коррективы, способствует, в конечном счете, улучшению качества подготовки специалистов. Систему контроля образуют экзамены и зачеты, устный опрос, контрольные работы, коллоквиумы, рефераты, семинары, лабораторные работы и практические занятия, отчеты по производственной практике. Такие методы контролирования усвоения студентами учебного материала, приобретения ими практических умений и навыков в настоящее время использует большинство учебных заведений. Большая часть из перечисленных форм контроля используется и в нашем училище.

Однако традиционные методы диагностирования подготовленности обучаемых имеют определенные недостатки, связанные с особенностями преподавательской работы, спецификой традиционной формы проверки знаний, отсутствием объективных критериев педагогической отметки и другие. Так, среди трудностей диагностирования подготовленности обучаемых, связанных с особенностями преподавательской работы можно выделить следующие:

  • довольно часто проявляются несовпадение требований разных преподавателей, отличия в их уровне оценки одного и того же ответа;

  • различие в профессиональной квалификации преподавателей;

  • при организации текущих проверок знаний большого числа студентов, когда оценивание проводится, главным образом, лишь по формальным критериям, наблюдается загруженность преподавателя рутинной работой, связанной с большим объемом информации, которую требуется подготовить, обработать и проанализировать за относительно короткий промежуток времени;

  • возможная пристрастность преподавателя (по психологическим и иным причинам) к оценке ответов некоторых студентов;

  • иногда оценки, выставляемые студентам, оказываются недостоверными из-за опасения преподавателя, что они будут использованы для оценивания работы самого преподавателя.

Среди трудностей, связанных со спецификой традиционной формы проверки знаний выделим отсутствие четко сформулированных стандартов знаний и конкретно очерченных объемов умений, достаточных для каждой положительной оценки (часто преподаватель мучается с вопросом: "Какую оценку поставить - "неуд" или все же можно оценить как "удовлетворительно"?”). Зачастую достоверность оценки знаний студентов искажает использование шпаргалок, списывание, "взаимопомощь" на экзамене (зачете, коллоквиуме), что мешает преподавателю объективно взглянуть на качество своей педагогической работы.

На современном этапе при оценке знаний студентов перечисленные проблемы в известной степени решаются использованием такой формы контроля, как тестирование.
ОСНОВНОЕ СОДЕРЖАНИЕ
1. Тесты и тестирование: основные сведения
Для диагностики успешности обучения разрабатываются специальные методы, которые разными авторами называются тестами учебных достижений, тестами успешности, дидактическими тестами или тестами учителя (под последними могут также подразумеваться тесты, предназначенные для диагностики профессиональных качеств педагогов).

Тесты - это достаточно краткие, стандартизированные или не стандартизированные пробы, испытания, позволяющие за сравнительно короткие промежутки времени оценить преподавателями и студентами результативность познавательной деятельности студентов, т.е. оценить степень и качество достижения каждым студентом целей обучения (целей изучения). Кстати, слово «тест» английского происхождения и на языке оригинала означает «испытание», «проверка».

Тесты достижений предназначены для того, чтобы оценить успешность овладения конкретными знаниями и даже отдельными разделами учебных дисциплин, и являются более объективным показателем обученности, чем оценка.

Их отличие от тестов способностей состоит:

  • во-первых, в том, что с их помощью изучают успешность овладения конкретным, ограниченным определенными рамками, учебным материалом, например, разделом математики или курсом английского языка. На формирование способностей (например, пространственных) влияние обучения также сказывается, но оно не является единственным фактором, определяющим уровень их развития;

  • во-вторых, различие между тестами определяются целями их применения. Тесты достижений применяются для оценки успешности овладения конкретными знаниями с целью определения эффективности программ, учебников и методов обучения, особенностей работы отдельных учителей, педагогических коллективов и т.д., т.е. с помощью этих тестов диагностируют прошлый опыт, результат усвоения тех или иных дисциплин или их разделов.

Вместе с тем нельзя отрицать, что тесты достижений также могут в определенной степени предсказывать темпы продвижения учащегося в той или иной дисциплине, поскольку имеющийся на момент тестирования высокий или невысокий уровень овладения знаниями не может не отразиться на дальнейшем процессе обучения. Поскольку тесты достижений предназначены для оценки эффективности обучения по конкретным предметам, то обязательным участником формулирования отдельных заданий должен стать преподаватель.

Правильно составленные тесты достижений должны удовлетворять ряду требований. Они должны быть:

  1. относительно краткосрочными, т.е. не требовать больших затрат времени;

  2. однозначными, т.е. не допускать произвольного толкования тестового задания;

  3. правильными, т.е. исключать возможность формулирования многозначных ответов;

  4. относительно краткими, требующими сжатых ответов;

  5. информационными, т.е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или интервальной шкалой измерений;

  6. удобными, т.е. пригодными для быстрой математической обработки результатов;

7. стандартными, т.е. пригодными для широкого практического использования – измерения уровня обученности возможно более широких контингентов обучаемых, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.

Наряду с тестами достижений, предназначенными для оценки усвоения знаний по конкретным дисциплинам или их циклам, разрабатываются и более ориентированные тесты. Это, например, тесты на оценку отдельных навыков. Более широко ориентированными являются тесты для изучения умений, которые могут пригодиться при овладении рядом дисциплин, например, навыки работы с учебником, математическими таблицами, энциклопедиями и словарями.

Существуют также тесты, направленные на оценку влияния обучения на формирование логического мышления, способности рассуждать, строить выводы на основе анализа определенного круга данных и т.д. Эти тесты в наибольшей степени приближаются по своему содержанию к тестам интеллекта.

Тесты достижений по отдельным дисциплинам можно объединять в тестовые батареи, что позволяет получать профили показателей успешности обучения по разным дисциплинам. Однако тестовые батареи обычно используются для разных образовательно-возрастных уровней и не всегда дают результаты, которые можно сопоставлять друг с другом для получения целостной картины успешности обучения от курса к курсу.

Каждый тест имеет несколько составных частей: руководство по работе с тестом, тестовую тетрадь с заданиями и, если необходимо, стимульный материал или аппаратуру, лист ответов (для бланковых методик), шаблоны для обработки данных.

В руководстве приводятся данные о целях тестирования, выборке, для которой тест предназначен, результатах проверки на надежность, способах обработки и оценки результатов. Задания теста, сгруппированные в субтесты (группы заданий, объединенные одной инструкцией), помещены в специальной тестовой тетради (тестовые тетради могут быть использованы многократно, поскольку правильные ответы отмечаются на отдельных бланках).

Формы проведения тестирования могут быть индивидуальными и групповыми, устными и письменными, бланковыми, предметными, аппаратурными и компьютерными, вербальными и невербальными. Если тестирование проводится с одним испытуемым, то такие тесты носят название индивидуальных, если с несколькими - групповых. Каждый тип тестов имеет свои достоинства и недостатки. Преимуществом групповых тестов является возможность охвата больших групп испытуемых одновременно (до нескольких сот человек), упрощение функций экспериментатора (чтение инструкций, точное соблюдение времени), более единообразные условия проведения, возможность обработки данных на ЭВМ и др.

Основным недостатком групповых тестов является снижение возможностей у экспериментатора добиться взаимопонимания с испытуемыми, заинтересовать их. Кроме того, при групповом тестировании затруднен контроль за функциональным состоянием испытуемых, таким, как тревожность, утомление и др. Иногда для того, чтобы понять причины низких результатов по тесту какого-либо студента, следует провести дополнительное индивидуальное собеседование.

Индивидуальные тесты лишены этих недостатков.

В настоящее время наиболее часто используются следующие варианты проведения тестирования:

  • "автоматический", когда обучаемый выполняет задание в непосредственном диалоге с ЭВМ, результаты сразу переносятся в блок обработки;

  • “полуавтоматический”, когда задания выполняются письменно, а ответы со специальных бланков вводятся в ЭВМ (решения не проверяются);

  • “автоматизированный”, когда задания выполняются письменно, решения проверяются преподавателем, а в ЭВМ вводятся результаты проверки.

Особенностью первых двух является отстраненность преподавателя от проверки результатов испытаний. В этом случае, казалось бы, их объективность повышается. Однако при этом утрачивается значительная часть информации, которую можно было бы получить при анализе результатов тестирования с использованием человеческого фактора.

В “автоматическом” режиме такой потери можно избежать. Но при использовании такого метода на сегодняшний день возможно появление некоторых специфических проблем.

  1. Отсутствие достаточного парка ЭВМ. Не все учебные заведения могут позволить себе оснастить классы дорогостоящим компьютерным оборудованием в достаточном количестве.

  2. Отсутствие навыков пользователя ЭВМ у обучаемых. Иногда приходится работать со студентами, у которых по каким-то причинам нет достаточной компьютерной подготовки, или же они вообще никогда не общались с компьютером.

  3. Сложность и дороговизна разработки программного обеспечения.

  4. Проблема распознания ответов произвольной формы в открытых текстовых заданиях.

Одним из наиболее актуальных направлений развития компьютерных технологий в образовании является разработка специализированных систем проверки знаний студентов, например сетевое тестирование. Как форма контрольных мероприятий, она особенно удобна при наличии доступа в систему с личного компьютера. В сравнении с традиционным опросом или экзаменом сетевое тестирование экономит время, активизирует процесс изучения материала. Также к достоинствам можно отнести простоту входа-выхода в систему; удобный интерфейс; минимальность информации, необходимой для регистрации студента (Ф.И.О., группа, № зачетной книжки, пароль); возможность автоматической (ручной) проверки правильности данных студентами ответов преподавателем в любое время; сохранность данных в системе (в течении любого необходимого периода времени); индивидуальность тестирования (студент вводит свой пароль, без которого никто другой войти и выполнить тестирование за него не сможет). Положительной стороной данного опыта является то, что студенты находятся в одинаковых условиях, исключаются жалобы на необъективность экзаменатора.

2. Формирование оценочной шкалы тестового контроля
При создании тестов возникают определенные трудности в части формирования шкалы оценок правильности выполнения заданий студентами.

В существующих системах тестирования предполагается, что преподаватель-экзаменатор заранее выбирает определенную шкалу оценок, т.е. устанавливает, например, что, если испытуемый набирает от 31 до 50 баллов, то он получает оценку “отлично”, от 25 до 30 баллов -”хорошо”, от 20 до 24 - “удовлетворительно”, менее 20 - “неудовлетворительно”.

Очевидно, что при формировании такой шкалы оценок велика доля субъективизма, поскольку здесь многое будет зависеть от опыта, интуиции, компетентности, профессионализма преподавателя. Кроме того, требования, предъявляемые разными преподавателями к уровню знаний студентов, колеблются в очень широких пределах.

Сегодня еще часто встречается метод “проб и ошибок” при формировании шкалы оценок. Реальные знания учащегося при этом не получают объективного отражения и, как негативные последствия, снижается стимулирующее воздействие оценки на познавательную деятельность обучаемого.

Во многих тестовых системах оценивание результатов производится только по факту правильности ответа, т.е. ход решения в задачах не проверяется и не оценивается. Таковы, например, закрытые задания с однозначным числовым ответом или бинарные тесты. Для таких заданий в машину вводится ответ, который и сравнивается с эталоном. В данном случае, как показали исследования, наиболее удобной является десятибалльная шкала. Ее преимущества состоят в том, что она более “подробна”, чем пятибалльная, а также легко осуществляется психологическая адаптация, так как на практике многие преподаватели неформально расширяют пятибалльную шкалу до десятибалльной, используя дробные оценки (с минусом и плюсом). Такая тестовая система может быть дополнена рейтинговыми коэффициентами для отдельных вопросов-заданий теста.

Не существует четких рекомендаций по составлению шкал оценок. Выбор такой шкалы обуславливается рядом факторов, среди которых следует указать цель тестирования, учебную дисциплину, форму проведения тестирования и т.д.

3. Требования, предъявляемые к тестам и тестовым заданиям
При разработке тестов важно, насколько они соответствуют запроектированным целям обучения, образования, развития обучаемых. Важнейшими критериями диагностических тестов обученности являются:

  1. действенность (валидность, показательность),

  2. надежность (вероятность, правильность),

  3. дифференцированность (различимость).

Действенность теста по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Составитель теста обязан тщательно изучить все разделы учебной программы, учебной книги, хорошо знать цель и конкретные задачи обучения. Лишь тогда он сможет составить тесты, которые будут действенными для определенной категории обучаемых. Четкая и ясная постановка вопроса в пределах освоенных знаний – неотъемлемое условие действенности теста. Если тест выходит за пределы освоенного содержания или же не достигает этих пределов, превышает запроектированный уровень обучения, то он не будет действенным для тех обучаемых, которым он адресован. Действенность теста определяется статистическими методами.

Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью того же теста или его равноценного заменителя. Количественно этот показатель характеризуется вероятностью достижения запланированных результатов (правильностью значений).

Грамотно составленные и апробированные тесты обученности позволяют достигнуть коэффициента надежности 0,9. Установлено, что надежность повышается при увеличении количества тестовых заданий.

Установлено также, что чем выше тематическое, содержательное разнообразие тестовых заданий, тем ниже надежность теста.

Надежность тестов обученности значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45 –  80% обучаемых.

Характеристика дифференцированности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, скажем, все учащиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для совершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.

Кроме рассмотренных критериев используется и показатель эффективности теста. Тест, обеспечивающий при прочих равных условиях большее количество ответов за единицу времени, считается более эффективным.

При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами. Так, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, действий и т.д. Тест не должен быть нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включать точные формулировки из учебника или фрагменты из него. Задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все учащиеся понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое.

Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа.

Важно выбирать наиболее приемлемую форму ответов на задания. Учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда учащийся должен подчеркнуть одно из перечисленных решений “да-нет”, “верно-неверно”.

Задачи для тестов должны быть информативными, отрабатывать одно или несколько понятий формулы, определения и т.д. При этом тестовые задачи не могут быть слишком громоздкими или слишком простыми. Это не задачи для устного счета. Вариантов ответов на задачу должно быть, по возможности, не менее пяти. В качестве неверных ответов желательно использовать наиболее типичные ошибки.

Подытоживая вышесказанное, можно сформулировать следующие основных правил, которых необходимо придерживаться при подготовке материалов для тестового контроля:

  1. Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована обучающимися.

  2. Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.

  3. Правильные ответы должны располагаться среди всех предлагаемых ответов в случайном порядке.

  4. Вопросы не должны повторять формулировок учебника.

  5. Ответы на одни вопросы не должны служить подсказками для других.

  6. Вопросы не должны содержать «ловушек».


ЗАКЛЮЧЕНИЕ



Одним из недостатков тестового метода контроля знаний студентов является то, что создание тестов, их унификация и анализ - это большая кропотливая работа. Чтобы довести тест до полной готовности к применению необходимо собрать статистические данные по довольно большой выборке участников тестирования, провести объективный анализ данных с учетом конкретных условий проведения тестирования, подготовленности участников и т.д.

Возможно возникновение и других трудностей. Довольно часто встречается субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

К достоинствам тестирования, как метода педагогического контроля, следует отнести:

  • объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность студента;

  • исключается воздействие негативного влияния на результаты тестирования таких факторов как настроение, уровень квалификации и др. характеристики конкретного преподавателя;

  • ориентированность на современные технические средства на использование в среде компьютерных (автоматизированных) обучающих систем;

  • универсальность, охват всех стадий процесса обучения.

многофункциональность, которая позволяет оперативно внести необходимые изменения в процесс обучения, в т.ч. скорректировать учебный курс, методы обучения, понять, как дальше работать с конкретным студентом.

Следует заметить, что регулярное использование тестирования студентов поможет качественно подготовится к Государственной аттестации училища, объективно оценить соответствие содержания, уровня и качества подготовки студентов училища требованиям государственных образовательных стандартов.

ЛИТЕРАТУРА


  1. Айнштейн В.Г., Гольцова И.Г. Об адекватности экзаменационных оценок//Высшее образование в России. №3, 1993. С. 40-42. /8/

  2. Аллахвердиева Д.Т. Опыт применения тестов для дидактической экспертизы обучения//Высшее образование в России. №2, 1993. С. 102-104. /7/

  3. Антипенко Н.Ф. Информатика в инженерно-технических ВУЗах// Повышение эффективности учебно-воспитательного процесса: Новые идеи, формы, методы: Материалы научно-методической конференции. Омск, 23-27 марта 1998 г. - Омск: Изд-во СибАДИ, 1998. - 156 с. /10/

  4. Кирилкин А. Можно ли бороться со “шпаргализацией”//Высшее образование в России. №2, 1995. С. 126-128. /5/

  5. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний//Высшее образование в России. №3, 1993. С. 146-153. /9/

  6. Садовничий В.А. Компьютерная система проверки знаний студентов//Высшее образование в России. №3, 1994. С. 20-26. /6/

  7. Тихомиров В., Рубин Ю., Самойлов В., Шевченко К. Информационные технологии для будущих экономистов//Высшее образование в России. №1, 1999. С. 113-116. /2/

  8. Хубаев Г. О построении шкалы оценок в системах тестирования//Высшее образование в России. №1, 1996. С. 122-125. /4/

  9. Щапов А., Тихомирова Н., Ершиков С., Лобова Т. Тестовый контроль в системе рейтинга//Высшее образование в России. №3, 1995. С. 100-102. /3/




Добавить документ в свой блог или на сайт

Похожие:

Методическая разработка тестирование как метод педагогического контроля iconДубина Ирина Леонидовна Тестирование как метод педагогического контроля...
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
Методическая разработка тестирование как метод педагогического контроля iconТестирование как метод контроля зун младших школьников
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
Методическая разработка тестирование как метод педагогического контроля iconТестирование как метод педагогического контроля дисциплины «Оперативная...
Секционный курс” для студентов высших медицинских учебных заведений с учетом требований Государственного образовательного стандарта...
Методическая разработка тестирование как метод педагогического контроля iconМетодические рекомендации по тестированию Компьютерное тестирование...
Методические рекомендации к проведению испытаний по теоретическому направлению при аттестации на установление соответствия требованиям,...
Методическая разработка тестирование как метод педагогического контроля iconМетодические рекомендации по тестированию Компьютерное тестирование...
Методические рекомендации к проведению испытаний по теоретическому направлению при аттестации на установление соответствия требованиям,...
Методическая разработка тестирование как метод педагогического контроля iconТестирование – как форма контроля профессионального уровня воспитателя
Р 93 Методические рекомендации по выполнению самостоятельной работы по дисциплине Иностранный язык (английский): метод рекомендации...
Методическая разработка тестирование как метод педагогического контроля iconСамостоятельная работа 92 час. Всего 4 з е. Москва 2013 Паспорт фонда...
Формы контроля: беседа, фронтальный опрос (устный, письменный), тематическое экспресс-тестирование, контрольная работа, итоговое...
Методическая разработка тестирование как метод педагогического контроля iconСамостоятельная работа 56 час. Всего 2 з е. Москва 2013 Паспорт фонда...
Формы контроля: беседа, фронтальный опрос (устный, письменный), тематическое экспресс-тестирование, контрольная работа, итоговое...
Методическая разработка тестирование как метод педагогического контроля iconМетодическая работа педагогического коллектива
Методическая тема школы «Индивидуальное сопровождение учащихся в учебном процессе как условие успешности социализации личности»
Методическая разработка тестирование как метод педагогического контроля iconСинергетика метод познания окружающего мира, требующий развития
Методическая разработка интегрированного урока географии и информатики в 8 классе
Методическая разработка тестирование как метод педагогического контроля iconМетодическая разработка учебного занятия -2011. Педагогический дебют»...

Методическая разработка тестирование как метод педагогического контроля iconМетодическая разработка по дисциплине «Управление корпоративными финансами»
Методическая разработка обсуждена на заседании кафедры финансового менеджмента, протокол №1 от 29 августа 2009 года
Методическая разработка тестирование как метод педагогического контроля iconМетодическая разработка урока. "Многообразие земноводных Пензенской области"
Пензенского Государственного Педагогического Университета им. В. Г. Белинского Ермакова О. А
Методическая разработка тестирование как метод педагогического контроля iconМетодическая разработка на тему: Современный урок с позиции здоровье сберегающих технологий
В ней рассматривается пути сохранения здоровья учащихся при помощи здоровье сберегающих технологий. Данная методическая разработка...
Методическая разработка тестирование как метод педагогического контроля iconМетодическая разработка урока изобразительного искусства в 1 классе...
Методическая разработка урока по изобразительному искусству для 1 класса общеобразовательной школы
Методическая разработка тестирование как метод педагогического контроля iconТестирование тестирование быстрый и эффективный способ контроля и...
Методические указания к семинарским занятиям, практикум, контрольные работы и задания


Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
100-bal.ru
Поиск