Тема 13. Тестирование в исследовании систем управления

Тема 13. Тестирование в исследовании систем управления 13.1. Сущность тестирования в исследовании систем управления. 13.2. Практические аспекты тестирования в исследовании систем управления. 13.3. Специфика методов тестирования. 13.1. Сущность тестирования в исследовании систем управления. Тестирование (от англ, test - опыт, проба) - метод психологической диагностики, использующий стандартизированные вопросы и задачи (тесты), имеющие определенную шкалу значений. Применяется для стандартизированного измерения индивидуальных различий. Основные области применения тестирования в исследовании систем управления отбор персонала с целью наибольшего соответствия конкретному виду работы и снижения вероятности конфликтных ситуаций; разработка индивидуальных программ повышения уровня профессиональной подготовки. Большой вклад в развитие тестирования внес в 70-х гг. прошлого века англичанин Ф. Дальтон. На основании проведенных экспериментов Гальтон предложил теорию группировки людей по уровню интеллекта, Толчком для этого ему послужил закон нормального распределения. Признается, что основная совокупность показателей сосредоточена около средней величины (точка 0), а по обе стороны от средней лежат; слева - показатели низкого уровня; справа - показатели высокого уров­ня. Причем размах колебаний признака от минимального до максималь­ного значения на 99,73 % ограничен интервалом ±3 от средней величи­ны, то есть в интервале от+З до -3 находится 99,73% числа наблюдений всей совокупности (рис.1). Психологи считают, что когда при случайной выборке субъектов измеряются их интеллектуальные, а также любые другие факторы, то все показатели распределяются по нормальной кривой, имеющей форму симметричного колокола. Рис.1. Группировка величин. Если закон нормального распределения принять за аксиому при группировке психологических факторов, то этот закон должен быть по­ложен в основу разработки тестов и процедуры обработки данных. Достаточно авторитетные источники и практика психодиагностики под­тверждают это. Оценка профессиональной пригодности персонала по важности занимает одно из первых мест в решении задач управления и повышения эффективности производства. Познакомимся с основными видами тестов по оценке профессионального мастерства. 13.2. Практические аспекты тестирования в исследовании систем управления. Практические тесты используются для оценки работника в дейст­вии: исполнение обязанностей, ремонт аппаратуры, сборка механизмов и т.д. Чтобы провести испытание по практическому тесту, создается обстановка по возможности близкая к реальной. При этом составляется контрольное упражнение, отражающее главную идею того, что требует­ся проверить, для чего готовится специальная таблица, где расписыва­ются все элементы действия, которые будут фиксироваться в ходе тес­тирования. Пример практического теста: монтаж и регулировка системы зажигания четырехцилиндрового двигателя. Цель: измерить навыки по регулировке системы зажигания двигателя. Время на упражнение 10 мин. Элементы действия Оценка Да Нет Балл Подготовка к монтажу Подбор инструмента, материалов. Проверка правильности подсоединения при­боров Отсоединение лишних проводников. И т.д. …….. Тестирование при оценке профессионального мастерства юзволяет минимизировать влияние личных взаимоотношений между лицом, осуществляющим контроль (руководитель, преподаватель) и контролируемым им субъектом (сотрудник, проходящий переаттестацию, студент). Тесты на узнавание используются для оценки способности испы­туемого вспоминать и называть рабочий инструмент, блоки аппаратуры, приборы, отдельные части изделий. Такие тесты практикуются также для оценки способности испытуемых находить ошибки в схемах. Оценка результатов: по одному баллу дается как за узнавание (идентификацию), так и за определение функций техники. Бланковые тесты составляются в основном в пяти формах. Это выборочные тесты, тесты на отыскание компонента, тесты на дописывание, альтернативные тесты, тесты-описания. Выборочные тесты состоят из двух частей: вопроса и набора ответов. Причем один из предполагаемых ответов может быть или единст­венно правильным, или наиболее подходящим. Постановка вопросов в тестах должна быть полностью однозначной (то есть предполагать только один правильный ответ). Возможность "угадывания" правильного ответа должна быть минимальной. Тесты на отыскание компонента включают две колонки (А, В) слов, фраз, тезисов, объединенных общим смыслом. В колонке А обычно проставляется наименование, в колонке В - утверждения, относящиеся к этим наименованиям. Подсчет баллов происходит по количеству правильных ответов. Тесты на дописывание требуют от испытуемого дополнения некоторого пропущенного ключевого слова. Альтернативные тесты (тесты "Да - Нет") состоят из серии ут­верждений, которые могут быть определены как правильные или ложные. Индекс трудности составного компонента теста (вопроса, проблемы, задачи) - показатель, характеризующий количество испытуемых, которые ответили на данный вопрос правильно. Он определяется по формуле: где T- индекс трудности; П - число правильных ответов; N - число : испытуемых. Величина индекса трудности должна находиться в пределах 25-75%, где число 25 указывает на тот факт, что данный вопрос теста под силу только одной четверти испытуемых (это трудный вопрос), а число 75 свидетельствует о возможности решения вопроса тремя четвертями испытуемых (это легкий вопрос). Названный индекс, выявляя легкие и трудные вопросы, позволяет располагать их в тесте по нарастанию трудности. Но главное назначение индекса - это приведение тестовых показателей к нормальному распределению. Такой же цели служит и индекс валидности. Валидность тестового компонента (теста в целом) - показатель характеризующий: его способность устойчиво дифференцировать профессиональную компетентность испытуемых. Высоковалидный компонент или в целом весь тест подготовлен с таким расчетом, что он фиксирует высокий балл у более подготовленных испытуемых и низкий балл у менее подготовленных. Если случается, что на какой-либо вопрос люди с высокой эрудицией отвечают неправильно, а с низкой - правильно, то такой вопрос признается невалидным. Индекс валидности тестового компонента определяется по формуле: где V - валидность; С - число лиц сильной группы, ответивших на вопрос правильно; L - число лиц слабой группы, ответивших на вопрос правильно; N - число испытуемых. При этом имеется в виду следующее: V = - 1 означает, что все слабые испытуемые ответили на вопрос правильно, а все сильные -неправильно; V = 0 свидетельствует о том, что и те и другие, ответили на вопрос правильно; V = +1 показывает, что все сильные ответили правильно, а все слабые - неправильно. Индексы от -1 до 0 надо считать неприемлемыми, от 0 до 0,25 - условно приемлемыми; от 0,25 до +1 -приемлемыми. 13.3. Специфика методов тестирования. Методом исследования управления, наиболее популярным в современных условиях и, пожалуй, достаточно эффективным является метод тестирования. Существует множество определений теста. Тест — это удовлетворяющая критериям исследования эмпирико-аналитическая процедура. Очень общее определение. Но есть определения и более конкретные. Например: тест-это система высказываний, позволяющая получить объективное отражение реально существующих отношений между людьми, их свойств, признаков и количественных параметров. Но можно сформулировать более точное определение теста относительно проблем исследования управления. Тест — это метод изучения глубинных процессов деятельности человека, посредством его высказываний или оценок факторов функционирования системы управления. Ошибочно бытует представление,- что тестирование используется главным образом в изучении психологических проблем. Действительно, в психологии тестирование является наиболее эффективным методом изучения человека. Но сфера использования тестирования не ограничивается только психологи­ческой проблематикой. Большую роль в исследовании при помощи тестирования играет конструкция теста. Тест включает набор высказываний и оценок по определенной проблеме или ситуации. Оценки могут быть упрощенные (типа "согласен" — "не согласен" или шкалированные (типа "совершенно верно", "верно", "скорее верно, чем неверно", "трудно сказать", "скорее неверно, чем верно", "неверно", "совсем неверно"). Шкала может иметь цифровые оценки в виде рейтинговых коэффициентов или выбора степени согласия. • Конструкция теста должна предполагать возможность обработки его результатов по определенным статистическим программам. Каждый тест имеет ключ, позволяющий обработать полученную информацию в соответствии с целями тестирования. Существуют правила формулировки высказываний. Они включают следующие положения: высказывания должны быть короткими, не более одного придаточного предложения; понятны для всех без исключения исследуемых (респондентов); в высказываниях не должно быть намека на правильный, одобряемый или ожидаемый ответ; структурированные ответы по каждому из высказываний желательно иметь с одним и тем же числом альтернатив (не менее 5 и не более 11); тест не может состоять целиком из предложений, в которых высказываются только позитивные или только негативные суждения; в каждом высказывании теста следует утверждать что-нибудь одно. При составлении теста необходимо учитывать его основные характеристики. Надежность - одна из главных и важнейших характеристик. Ее связывают с точностью, определяющей возможность измерения, перевода в количественные показатели. Надежность определяется целью, задачами и характером тестового исследования, качеством высказываний. Существуют приемы проверки надежности тестов. Они включают повторное тестирование, параллельное тестирование, прием раздельного коррелирования (внутренняя корреляция высказываний), использование дисперсионного анализа, факторный анализ. Валидность тестов — способность отражать и измерять то, что оно должен отражать и измерять по замыслу, целям. Это относится не только к самому тесту, но и к процедуре его проведения. Валидность теста может быть проверена посредством сравнительной оценки результатов, полученных другими методами, или экспериментом формирования различных групп тестируемых, можно проверить валидность по содержанию теста, проанализировав каждое его высказывание. В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них - времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и пр.

Похожие:

	Исследование систем управления процесс определения организационной... Место исследований систем управления в комплексе дисциплин по теории и практке управления		Примерная тематика рефератов по курсу «Исследование систем управления» Современный менеджмент и необходимость исследования систем управления социально-экономической организацией
	Исследование систем управления Целью работы является рассмотрение частных методов исследования систем управления, а именно эксперимент, наблюдение и опрос		Исследование систем управления Специальности: «Менеджмент организации» «Исследование систем управления» является ведущей,в учебном процессе среди смежных дисциплин
	Рабочая программа учебной дисциплины «исследование систем управления» Студенты научатся методам планирования эксперимента и организации исследования систем управления и научатся использовать приобретенные...		Рабочая программа учебной дисциплины диагностика и надежность автоматизированных систем В настоящее время растет сложность систем автоматизации и управления технологическими процессами. К надежности этих систем предъявляются...
	Рабочая программа по дисциплине опд. Ф. 11 Менеджмент Он предназначен для понимания практического содержания управления, формирования комплекса практических знаний об управлении, а также...		Рабочая учебная программа по дисциплине «Исследование систем управления» Учебно – методический комплекс по дисциплине «Исследование систем управления» составлен в соответствии с требованиями Государственного...
	Синергетический подход при исследовании экономических систем и. Р.... Методическая разработка интегрированного урока географии и информатики в 8 классе		Программное обеспечение для отладки систем управления упругими объектами Целью данной работы является разработка программного обеспечения для лабораторного стенда для изучения систем управления упругими...
	Исследование систем управления учебно-методический комплекс по направлению:... Исследование систем управления: Учебно-методический комплекс / Авт. Сост. Е. В. Козлова – спб.: Ивэсэп, 2005		2. Модель взаимодействия открытых систем Открытые системы и модель... Целью курса является введение в проблемную область управления телекоммуникационными сетями и компаниями отрасли «Информатизация и...
	2. Модель взаимодействия открытых систем Открытые системы и модель... Целью курса является введение в проблемную область управления телекоммуникационными сетями и компаниями отрасли «Информатизация и...		Краткие итоги Набор для практики Вопросы Упражнения Ос multics и "Эльбрус" от файловых систем в ос для пэвм; файлы последовательного и прямого доступа; директория, способы организации...
	Отчет о научно-исследовательской работе исследования в области построения... Этап 1 «Анализ и исследование систем управления информационным обменом в сетях обработки данных»		А. И. Ермаченко исследование систем управления учебное пособие Многофункциональные интегрированные системы процессно-ориентированного управления для организаций