Виталий Григорьев Социология науки социология науки 1 часть социологический взгляд на науку 5
Скачать 5.48 Mb.
|
| Глава 4. Инструментарий измерения научной деятельности Современное общество заинтересовано в научных результатах, предоставляет науке ресурсы и имеет право знать, как эти ресурсы расходуются. Эта глава рассматривает способы измерения результативности научных организаций, коллективов и отдельных ученых. Вопрос главы 4 заключается в том, как отличить разные виды науки, например, хорошую науку от плохой. В главе 3 мы рассмотрели наукометрию как специфический метод социологии науки. Начнём с описания методов и показателей, относящиеся к классу наукометрических. Измерение научной активности Количество публикаций Количество публикаций — простой способ оценки результативности работы ученого или научной структуры. Чаще всего используется самооценка, поскольку ученые любят хранить сведения о своих публикациях, ибо публикация — это «естественная» форма признания заслуг ученого (см. главу 5). Очевидный недостаток метода: не принимается в расчет качество публикаций. Кроме того, на количество публикаций влияет не только наличие научных результатов, но и социальный капитал ученого, его научный авторитет (закон Матфея), область, в которой он работает, наличие соавторов и другие факторы. Например, Ч.Дарвин работал над книгой «Происхождение видов» с 1842 по 1859 год. И возможно проработал бы еще дольше, если бы не получил рукопись А.Уоллеса, где излагались те же идеи. По стандартам современной науки у Дарвина плохие количественные показатели. Разумно предположить, что больше не всегда лучше. Качественная работа требует большего времени, значит, большое количество публикаций может говорить не о хорошей работе, а о плохой. Авторский пропорциометрический индекс (АПИ) Способ измерения продуктивности с учётом соавторства. Простейший вариант АПИ: отношение длины текста к числу авторов. Если статью длиной 25 страниц написало 5 авторов, то АПИ равно 5. Модифицированные варианты предполагают использование статистического взвешивания в зависимости от порядка авторов. Индексы специализации Наиболее важными показателями, характеризующими активность в конкретной научной области страны, региона, организации и т.д., являются Индекс активности (ИА) и Относительный индекс специализации (ОИС). Первый рассчитывается как отношение доли публикаций в данной научной области к доле всех публикаций, например в мире. Если учёные какой-то страны публикуют 2% всех научных статей от мирового количества, и только 1% от мирового статей по химии, то ИА равен 0,5. ОИС определяется, как (ИА+1)/(ИА-1). Если ИА может принимать значения от нуля до бесконечности, то ОИС ограничен интервалом от -1 (полностью отсутствует публикационная активность) до +1 (вся активность сосредоточена в этом регионе, стране и т.п.). Эти индексы показывают относительную значимость научных областей внутри страны. 45 Измерение научного влияния Индексы цитирования Главнейшая на сегодня группа индикаторов, используемая в оценке научной деятельности, — количество ссылок на работы того или иного автора или группы авторов, работающих в научной структуре. Эти индикаторы называют индексами цитирования. Основной способ получения таких индексов — использование одного или нескольких из трех индексов цитирования, которые рассчитываются ИНИ. ИНИ это институт научной информации, он же АйЭсАй (ISI), созданный Юджином Гарфилдом (р. 1925) в 1958 году в США. Первый индекс цитирования относится к медицине и естественным наукам и называется «Расширенный индекс научного цитирования». Он учитывает ссылки из более чем 5900 научных журналов. Остальные два: «Индекс цитирования социальных наук» и «Индекс цитирования искусств и гуманитарных наук» доводят общее число анализируемых журналов до 8500. Это примерно третья часть реферируемых научных журналов, выходящих в мире24. Поскольку решение о том, какие журналы будут использоваться при построении индексов, принимается на основе этих самых индексов, то в выборку включены все наиболее важные и цитируемые журналы мира25. На их основе строятся множество других индикаторов. Примеры: Представитель группы нормализованных индикаторов — коронный индикатор. Представляет собой отношение среднего числа цитирований в группе авторов, деятельность которой подлежит измерению, к среднему числу цитирований публикации того же типа, в этой же научной дисциплине за тот же период времени. Обычно это число, показывающее соотношение со среднемировым показателем, например 0,9 показывает, что анализируемая публикация цитируется на 10% меньше, чем средняя цитируемость публикации, 1,2 показывает, что она цитируется на 20% чаще. Показатель «Топ файф». Показывает долю публикаций группы авторов, которые относятся к 5% наиболее цитируемых в этой же научной дисциплине за тот же период времени. Предполагается, что чем больше цитируется та или иная работа, тот или иной учёный, тот или иной коллектив, тем большее значение они имеют для науки. Серьёзной проблемой для индексов цитирования является различные типичные показатели для разных областей исследования. Количество цитирований той или иной работы зависит не только от её качества, но и от количества ученых работающих в этой области, культурных особенностей дисциплины, её возраста, и т.д. Чтобы расширить возможности сравнения работ между собой индексы цитирования нормализуют с помощью z-оценок, т.е. выражают в единицах стандартного отклонения, которые различаются для разных дисциплин. Поскольку распределения числа цитирований публикаций далеко от нормального, предварительно его преобразуют, например, с помощью логарифмического преобразования, чтобы сделать z-оценки более информативными. Такая нормализация является стандартной статистической процедурой. 24 Bibliometrics - Publication Analysis as a Tool for Science Mapping and Research Assessment // http://ki.Se/content/l/c6/01/79/31/introduction_to_bibliometrics_vl. 3.pdf. 25 Наиболее информативными базами данных по научному цитированию являются ресурсы Web of Science (ISI) (http://thomsonreuters.com/products_senrices/science/science_products/a-z/web_of_science/), система Scopus (http://www.scopus.com). Обе базы коммерческие. В России существует Российский индекс научного цитирования (http://elibrary.ru/project_risc.asp). Данные о цитировании российских учёных можно также посмотреть на странице «Индексы цитирования работ российских учёных» (http://expertcorps.ru/science/whoiswho). 46 Если у вас нет данных, позволяющих использовать описанный метод, можно воспользоваться тем фактом, что среднее отношения количества ссылок на статьи в разных дисциплинах довольно стабильно во времени. Например, в 1992-2001 годах среднее число ссылок по дисциплинам по отношению к среднему числу ссылок на математические статьи было такое (основываясь на данных Национального научного фонда США):
Хотя соотношение несколько колеблется по годам, нетрудно понять, что социологическая статья, на которую сослались 10 раз, более значима в своей области, чем медицинская с 20-ю цитированиями. Мы уже затрагивали проблемы использования индексов цитирования для оценки вклада в науку. В главе 10 мы рассмотрим исследования М. Фербер, показывающее, что цитирование связано с полом. Индексы цитирования, таким образом, могут систематически недооценивать или переоценивать значение публикаций в зависимости от пола автора и полового состава исследователей в той или иной области науки. Еще одна проблема — самоцитирование. Группа авторов может цитировать друг друга не из-за высокого качества, а по другим причинам. Например, взаимообразно. Или чтобы увеличить индекс цитирования. Сюда же относятся цитаты на свои собственные работы. Хотя это явление не оказывает существенного влияния на большие массивы библиографической информации, в отдельных относительно замкнутых и небольших областях научной деятельности оно может исказить оценки результатов научной деятельности. Есть несколько способов обращения с этой проблемы. Во-первых, можно не учитывать самоцитирование при расчёте индексов. Во-вторых, можно просто указывать долю самоцитирования, чтобы при необходимости, можно было учесть это явление при интерпретации индексов цитирования. И, наконец, можно ничего не делать, рассматривая как случайную ошибку. Всё равно абсолютно точных измерений не бывает. Нужно учитывать, что самые свежие статьи неправильно оценивать по индексу цитирования. Обычно статья достигает максимума цитирования через 3-5 лет после своего опубликования. Индекс нецитирования Прямая противоположность индексу «топ файф». Это доля публикаций, которые за определённый период, так и не были ни разу процитированы. Предположим какой-то научный институт имеет высокий показатель коронного индекса и высокий показатель индекса нецитирования. Это значит, что существуют ударные публикации, которые возможно, отвлекают внимание от менее значимых работ. 26 Podlubny, I. (2004) A note on comparison of scientific impact expressed by the number of citations in different fields of science. Arxiv.org, math.ST/0410574, 27 Oct 2004, available at http://arxiv.org/pdf/math.ST/0410574 . 47 Так выпуск дополненного второго издания книги уменьшает цитируемость первого издания. Различные показатели не лучше или хуже один другого с точки зрения оценки научной эффективности. Разумно использовать их в определённой комбинации, в соответствии с целями оценки. Импакт-фактор Самый известный индекс, используемый для оценки работы научных журналов. Показывает среднюю величину цитирования журнальной статьи. Импакт-фактор27 был разработан Юджином Гарфилдом в 60-х годах для измерения влиятельности того или иного научного журнала. Чтобы рассчитать показатель для журнала за какой-то год, считают все ссылки из индексируемых в ИНИ журналов, вышедших в этом году, на данное издание за два предыдущих года, и делится на число публикаций, подходящих для цитирования. Неподходящими считаются новости, письма читателей, сообщения об ошибках и т.п. Например, если импакт-фактор журнала «Икс» в 2007 году равен 1, значит в 2007 году на каждую статью, опубликованную в 2006 и 2005 году, в среднем ссылались один раз (см. рисунок 7). Импакт-фактор за 2007 год можно рассчитать не ранее, чем будут опубликованы все индексируемые журналы за 2007 год. Большинство журналов имеют импакт-фактор ниже единицы.  Журнал "Икс Цитирования Все журналы \включая "ИнС"] 2007 2006 2D05 Рисунок 7. Классический (синхронный) импакт-фактор. Существует также т.н. уточнённый импакт-фактор издания. При его расчете не учитывают самоцитирование, т.е. ссылки в журнале на этот же журнал. 27 От англ. impact — влияние. 48 Ограничения и недостатки показателя:
Следует помнить, что ссылки не всегда свидетельствуют о важности работы. Например, в силу ритуального цитирования. Часто научные учреждения приводят количество статей напечатанных в журналах лидирующих по показателю импакт-фактора, как показатель качества своей работы. Обычно при этом никак не учитывается размер учреждения. Нужно критически относиться к таким цифрам. Эти недостатки, тем не менее, искупаются важнейшими преимуществами: импакт-фактор легко рассчитывается и смысл его очевиден. Это делает этот показатель очень популярным. Почему учитываются цитаты только на работы годичной и двухгодичной давности? С одной стороны следует подождать, чтобы статьи достигли максимума упоминания. С другой стороны, нужно быстро определять импакт-фактор новых научных изданий, поэтому нельзя делать временное окно слишком большим. Индекс оперативности Отношение числа ссылок, сделанных на публикации журнала за расчетный год в этом же году, к общему числу публикаций за данный год. Это такой супер-быстрый импакт-фактор. Понятно, что нет никаких шансов у тех журналов, которые выходят с задержкой, не имеют электронного варианта, медленно рассылаются по библиотекам и т.д. Импакт-фактор автора При оценке степени влияния ученого возможны разные подходы. В простейшем случае можно рассчитать отношение числа ссылок на работы автора к общему числу 49 опубликованных работ. Такой расчет усредняет важные и менее важные работы и не может отразить кумулятивности вклада ученого в науку. Другой вариант рассчитать импакт-фактор автора путем сложения импакт-факторов журналов, в которых были опубликованы труды автора. Например, если две статьи были опубликованы в журнале X, импакт-фактор которого равен 2,5 и три в журнале Y, импакт-фактор которого равен 4, то импакт-фактор автора составит 2 • 2,5 + 3 • 4 = 17. Надо только помнить, что импакт-фактор журналов меняется год и от года и нужно принять решения использовать ли импакт-факторы года публикации или усреднить их за какой-то период времени. Хотя, как мы отмечали, импакт-фактор журналов не предназначен для оценки отдельных статей, использование его при оценке отдельных работ и авторов основывается на предположении, что журналы с высоким импакт-фактором публикуют более сильные статьи из-за более качественного рецензирования и более жесткого отбора. Те не менее, нужно понимать, что обычно 80% ссылок собирают не более чем 20% статей. Это значит, что даже если статья напечатана в журнале с высоким импакт-фактором, она не обязательно является высокоцитируемой. Индекс Прайса Если взять отношение количества ссылок на публикации не старше 5 лет, к общему количеству ссылок мы получим индекс Прайса. Если какая-то отрасль науки растет очень быстро, то большая часть литературы окажется совсем новой и индекс Прайса больше, чем в среднем. Д. Прайс обнаружил, что индекс для всех наук составляет около 50%. Повышенный индекс имеют журналы по физике и биохимии — 60-70% (исследование 1971 года). Индекс социальных наук около 40%. Таким образом, индекс Прайса разделяет точные и гуманитарные науки. Прайс считал, что это связано с тем, что в гуманитарных науках «ученый усваивает сначала все известное до него по данному вопросу, потом дает усвоенному «созреть» в своем разуме и, наконец, извлекает из него новое решение. В точных науках позитивный характер знания и его кратковременность позволяют усвоить мудрость прошлого еще в студенческие годы и тут же обратиться к непосредственным исследованиям, для которых контакт с современниками не менее важен, чем традиционные знания»28. Индекс Прайса можно использовать для оценки актуальности того или иного научного направления. Индекс Хирша (Н-индекс) Индекс был предложен физиком И. Хиршем для измерения одновременно продуктивности ученого и влияния его работ. Определение звучит так: «Ученый имеет индекс равный h, если h из его статей цитируются не менее h раз, а остальные меньше». На рисунке 8 изображены статьи гипотетического учёного в упорядоченном ряду. Слева наиболее цитируемые и справа — наименее. Видно, что 6 статей лежит выше прямой у=х. Значит, 6 статей имеют 6 или более цитирований. А уже 7 статей с 7 или больше цитированиями найти не удастся. Значит, индекс Хирша для этого учёного равен 6. 28 Д.С.Прайс. (1971) Квоты цитирования в точных и неточных науках, технике и не-науке. Вопросы философии,, № 3, С.149-155. 50  Рисунок 8. Графическое представление Н-индекса. H-индекс обладает свойством кумулятивности. Если вы достигли определенного значения, то следующие публикации не снизят его, как бы незаметны они ни были. Среднее значение или медианное число цитирования может упасть, если вы опубликуете непопулярные статьи. Если в отчете учёный не укажет свои малоцитируемые работы или они не попадут в базу данных, то средние показатели цитируемости окажутся завышенными. Н-индекс устойчив по отношению к таким искажениям. Этот индекс хорош для оценки общего вклада ученого в науку, но не отражает степень активности ученого в данный момент. Хирш так предложил так интерпретировать свой индекс: Успешный ученый характеризуется H-индексом 20 за 20 лет работы… H-индекс 40 после 20 лет работы характеризует выдающегося учёного. Таких людей можно встретить, вероятно, только в ведущих университетах и лабораториях… H-индекс 60 после 20 лет работы или 90 после 30 указывают на поистине уникальных индивидов29. Исследования показывают, что экспертная оценка при рецензировании и H-индекс дают близкие результаты30. 29 Bornmann, L. and Daniel, H.-D. (2007), What do we know about the h index?. Journal of the American Society for Information Science and Technology, 58: 1381–1385. P. 1382. 30 Bornmann, L. & Daniel, H.-D. (2005). Does the h-index for ranking of scientists really work? Scientometrics, 65(3), 391-392. 51 На базе Н-индекса разработан набор производных показателей, учитывающих соавторство, продолжительность научной карьеры, различия в структуре цитирования31. Способ оценки влияния журнала Габриэля Пински и Фрэнсиса Нарина Импакт-фактор не отличает насколько важно то или иное цитирование. Любая ссылка для этого показателя равноценна. Пински и Нарин предложили учесть при определении влиятельности издания, насколько влиятельны, в свою очередь, те издания, которые ссылаются на данное издание. Если у нас есть N журналов, то доля ссылок в каждом журнале на каждый образуют квадратную матрицу размерности N х N. На диагонали этой матрицы стоят доли самоцитирования. Определение главного собственного вектора этой матрицы и дает нам набор весов, соответствующий влиянию журнала32. Алгоритм ранжирования Пейджа Этот алгоритм используется для оценки важности Интернет документов поисковиком Гугл. Он может использоваться для оценки важности научных текстов. Идея заключается в том, что для оценки влияния научной статьи нужно учитывать не только количество ссылок на неё, но так же и то, насколько влиятельны те тексты, которые на статью ссылаются. Математически это выглядит так:  , где I(D) — значимость документа D, Тк — тексты,ссылающиеся на документ D, С(Tk) — общее число ссылок в тексте Tk, d — параметр, характеризующий значимость ссылки, например это может быть вероятность того, что читатель захочет ознакомиться с первоисточником, на который указывает ссылка. Алгоритм Пейджа позволяет динамически пересматривать значимость текстов по мере появления новых статей и новых ссылок. Период полужизни Характеристика скорости устаревания публикации или издания. Получается вычитанием из медианного значения даты цитирования даты публикации. Например, нам интересно сравнить скорость устаревания научной информации в разных изданиях. Возьмем все статьи журналов А и Б за какой-то период, например за 1997 год. И подсчитаем количество ссылок на эти статьи в последующие годы: Журнал А Журнал Б 1998 1999 2000 2001 2002
31 Ouimet М, Bedard Р-О, Gelineau F (2011) Are the h-index and some of its alternatives discriminatory of epistemological beliefs and methodological preferences of faculty members? The case of social scientists in Quebec. Stientometrics, DOI: 10.1007/slll92-011-0364-3. http://www.springerlink.com/content/y2p7030476rl3k3g/. 32 J. M. Kleinberg (1999). Authoritative sources in a hyperlinked environment. Journal of the Association for Computing Machinery 46: 604-632. 52
Медианное значение года ссылки для журнала А — 1999, для журнала Б — 2002. Длительность полужизни для А — 2 года, для Б — 5 лет. Информация в журнале А устаревает значительно быстрее. Это не делает его хуже. Возможно он печатает более актуальную информацию, скажем отчеты об исследованиях, а журнал Б — обзорные работы. Или журнал А относится к новой и быстроразвивающейся области науки, а журнал Б к давно существующей. Период полужизни цитирования Характеризует научное издание. Для расчета нужно взять все ссылки в журнале X за конкретный год и вычислить разность между этим годом и медианной датой ссылки. Измеряется степень ориентации журнала на историю. Период полужизни цитируемости Характеризует использование журнала. Равен разности между текущей датой и медианной датой цитируемой публикации из журнала. Например, в 2008 году было процитировано: 50 раз публикации в журнале «X» за 2007 год, 86 за 2006, ПО за 2005, 102 за 2004, 54 за 2003, 55 за 2002, 48 за 2001, 30 за 2000, 26 за 1999, 14 за 1998. Всего 575 случаев цитирования. Медианная дата (год 288-й ссылки в упорядоченном по времени ряду) — 2004. Искомый показатель: 2008 - 2004 = 4 года. Показатель сходен с периодом полужизни, также отражает скорость устаревания научной информации в журнале. Следующие два измерения относятся к структурным показателям. Они показывают взаимосвязи публикаций между собой. Измерение взаимосвязей в науке |
Похожие:
 | Условия и порядок приема слушателей на магистерские программы по направлению «Социология» Обучение в магистратуре эф нгу по направлению «Социология» ведется по образовательным программам «Экономическая социология» и «Социология... | | Условия и порядок приема слушателей на магистерские программы по направлению «Социология» Обучение в магистратуре эф нгу по направлению «Социология» ведется по образовательным программам «Экономическая социология» и «Социология... |
| Условия и порядок приема слушателей на магистерские программы по направлению «Социология» Обучение в магистратуре эф нгу по направлению «Социология» ведется по образовательным программам «Экономическая социология» и «Социология... | | Рабочая программа учебной дисциплины социология для специальности 200200 «Оптотехника» Предыстория и социально-философские предпосылки социологии как науки. Социологический проект О. Конта. Классические социологические... |
| Программа учебной дисциплины «социология» Дисциплина «Социология» входит в «Гуманитарный, социальный и экономический» цикл, базовая часть ( В. 2) | | Программа курса «экономическая социология и демография» Паспорт специальности 220003 «Экономическая социология и демография» (социологические науки) |
| Условия и порядок приема слушателей на магистерские программы по направлению «Социология» Обучение в магистратуре эф нгу по направлению «Социология» ведется по образовательным программам «Экономическая социология» и «Социология... |  | Методические рекомендации по изучению дисциплины «Социология социальных проблем» Главной целью курса «Социология социальных проблем» является знакомство с его основными положениями и овладение формальным аппаратом... |
| Программа учебной дисциплины социология для специальности 120201... Предыстория и социально-философские предпосылки социологии как науки. Социологический проект О. Конта. Классические социологические... | | Программа собеседования по направлению 040100. 68 Социология Программа... Программа предназначена для подготовки к вступительному собеседованию в магистратуру Гуманитарного института чгу по магистерской... |
| Программа дисциплины Для направления 040100. 62 «Социология» Рекомендовано... Селезнёва. Политическая социология. Рабочая программа дисциплины для студентов, обучающихся по направлению 040100. 62 «Социология»... | | Программа дисциплины «Социология молодежи» для направления 040200. 62 «Социология» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 040200.... |
| Программа дисциплины «Социология молодежи» для направления 040200. 62 «Социология» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 040200.... | | Примерной программы наименование дисциплины: Современные социологические... «Историческая социология», «Социология культуры», «Этносоциология», «Организация, подготовка и презентация социологического исследования»,... |
| Программа вступительного испытания по специальной дисциплине «Социология» Программа предназначена для поступающих в аспирантуру фгбоу впо «Российская академия народного хозяйства и государственной службы... | | Российской Федерации Федеральное агентство по образованию Южно-Уральский... ... |
