5.2. Методологическая критика 5.2.1. Несоответствие рейтингов потребностям абитуриентов, родителей, работодателей.
Если рассматривать цель рейтингования университетов как создание инструмента, позволяющего абитуриентам и родителям сделать правильный выбор, работодателям – оценить уровень соискателя, а другим университетам – правильно выбрать партнера, то можно заметить, что методологии всех основных международных рейтингов, за исключением U-Multirank, не отвечают ни одному из этих требований. Т.е., по сути, в них не содержится индикаторов, оценивающих то, как устроен учебный процесс, фиксирующих успехи выпускников, надежность и эффективность существующих международных партнерств.
Также существующие сегодня рейтинговые методологии не позволяют оценить не только атмосферу университета, но и то, о чем написал в своем блоге проректор ВШЭ Константин Сонин: «…что делает, среди прочего, университет университетом? Что делает учебу в бакалавриате или магистратуре хорошего университета отличной от учебы в ближайшем к дому вузе? Как раз в учебных планах и используемых учебниках разница минимальная. А вот в том, что происходит в университете, но вне класса, – разница огромная» (Сонин, 2013).
5.2.2. Невозможность оценки актуального уровня исследовательской деятельности и потенциала развития университета.
Одной из основных проблем современных рейтинговых методологий является то, что они, по сути, работают только с теми критериями, которые могут тем или иным образом быть оцифрованы или просчитаны, т.е. рейтинги оценивают качественные достижения с помощью количественных показателей. Условно говоря, университет резко прибавляет баллов в тот момент, когда его выпускнику или сотруднику присуждают Нобелевскую премию, но при этом с помощью существующих методологий невозможно зафиксировать уровень университета непосредственно в тот момент, когда идет исследование, в рамках которого может быть сделано будущее нобелевское открытие, или когда образовательные программы построены таким образом, что выпускники университета в будущем могут добиться выдающихся результатов.
Эта тема тесно связана с критикой, описанной в следующем пункте.
5.2.3. Инерция оценки достижений.
Как видно из проведенного анализа, многие индикаторы рейтингов ориентированы либо на фиксирование достижений университета в прошлом (количество нобелевских лауреатов, публикации и цитаты, репутация и т.д.), либо на актуальные статистические показатели (количество иностранных студентов или сотрудников, соотношение студенты/преподаватели, объем финансирования и т.д.).
Инерция оценки достижений существующими методологиями настолько велика, что сложно судить о том, о чем на самом деле свидетельствуют результаты рейтингов. Подтверждение этого утверждения приведено на рисунке 1, демонстрирующем временной промежуток, который проходит между тем моментом, когда было начато исследование, и тем, когда его результаты получили подтверждение научной значимости в формате цитирования. На самом деле, как верно замечает профессор Университета Мельбурна Саймон Марджинсон, этот временной промежуток еще больше, так как на рисунке не указан этап появления и описания идеи исследования и получения финансовой поддержки на ее реализацию.
Рисунок 1 Инерционность оценки научных достижений
Очевидно, что с другими индикаторами, которые используются современными международными рейтингами, ситуация аналогична.
5.2.4. Релевантность определения веса индикаторов.
На примере сравнения рейтингов THE и QS хорошо видно, что совершенно одинаковые или близкие по содержанию индикаторы имеют существенно различающийся вес. Кроме того, представленные изменения в методологии THE свидетельствуют о том, что вопрос определения веса считается неоднозначным и среди экспертов по рейтингованию.
Актуальность претензий, связанных с релевантностью весовых коэффициентов индикаторов, объясняется очевидностью того, что в случае существенного изменения существующих ныне коэффициентов не только изменится очередность университетов в списке, но и, вероятно, должны будут измениться и стратегии университетов, стремящихся занять лидирующие позиции в этих рейтингах.
5.2.5. Релевантность применения метода league of table для оценки университетов.
Составители рейтингов, с одной стороны, отмечают, что в первой сотне конкуренция между университетами очень жесткая. Это можно увидеть, например, если открыть показатели университетов, лидирующих в рейтинге THE или QS по отдельным группам индикаторов. С другой стороны, они постоянно говорят, что, начиная с 3-й или 4-й сотни, достижения университетов не очень различаются, и объединяют их в группы. Таким образом, по факту фиксируется подход, выбранный проектом U-Multirank, который планирует просто определять достижения университета по тому или иному показателю как сильные, средние или слабые.
5.2.6. Релевантность использования публикационной активности для оценки научных достижений сотрудников университета.
В современном мире резко увеличивается скорость старения знаний. Становится все более популярным понятие «период полураспада знаний» – период, за который знания устаревают наполовину. В прогрессивных отраслях это 1,5-2 года, в консервативных – до 6-7 лет.
Публикация результатов научных исследований в реферируемых журналах служит инструментом фиксирования нового знания или научного открытия, академического признания, а также площадкой для академического обмена и дискуссии.
Проблема в том, что публикационный цикл научных изданий устроен таким образом, что время, необходимое для фиксирования нового знания, во многих областях сравнимо с тем временем, за которое это знание устаревает. Т.е., по сути, во многих отраслях науки нет смысла использовать публикации в журналах в качестве фиксирования нового знания, т.к. новое произведенное знание существует в каком-то ином формате.
Таким образом, рейтинги, делая ставку на публикационную активность, по сути, способствуют одновременно двум негативным явлениям. Они, во-первых, способствуют тому, что университеты не обращают должного внимания на не зафиксированные в публикациях достижения своих исследователей, а во-вторых, заставляют исследователей отвлекать ресурсы, в первую очередь временные, от того, что действительно представляет актуальную ценность на данном этапе развития, тратя их на написание статей и следование традициям передачи знания, более свойственным индустриальной эпохе.
Эта проблема особенно актуальна для научных областей, связанных с IT. Как правило, в этих областях научные достижения фиксируются патентами и деньгами, которые они приносят, но ни патенты, ни приносимые университету доходы не фигурируют в рейтинговых индикаторах.
5.2.7. Релевантность применения методологии последовательного ранжирования для оценки университетов.
Сама идея конкуренции между университетами представляется не полностью соответствующей идее и миссии университета, которая, с одной стороны, безусловно, изменилась по сравнению с тем, что было сформулировано Гумбольдтом или Ортегой-и-Гассетом, но с другой – по-прежнему значимо отличается от девиза олимпийского движения «Citius, altius, fortius» – «Быстрее, выше, сильнее» (Ортега-и-Гассет, 2005).
Становятся ли университеты на самом деле «лучше», публикуя больше статей и зарабатывая больше денег на патентах? Уже сейчас очевидно, что многие прорывные идеи и проекты появляются и реализуются не в консервативной академической среде, а в свободном творческом междисциплинарном пространстве, на стыке самых непредсказуемых полей. Если попытаться заглянуть в будущее, скажем, лет на 20-30, будут ли достижения университетов по-прежнему определяться теми параметрами, которые зафиксированы в существующих сегодня методологиях? Помогут ли индикаторы современных рейтингов университетам выйти на новый уровень науки и знания, или они, наоборот, зафиксируют рамки, которые будут заставлять университеты, находящиеся за пределами top 500, догонять поезд, который уже давно изменил направление движения и больше не едет по рельсам, а совершает какие-то совершенно иные действия?
5.2.8. Университет и сообщество.
Ни в одном из рассматриваемых рейтингов не уделяется должного внимания оценке взаимодействия университета с сообществом, что влечет за собой снижение приоритетности этого направления деятельности университета. При этом опыт ведущих университетов США и Великобритании свидетельствует о положительной взаимосвязи между наличием программ Outreach и Public Engagement и повышением качества образовательных программ и научной эффективности, особенно в сфере социальных наук.
|
