Авторы: Marcin Oleksy, Przemysław Kazienko, Maciej Dzieżyc

Актуальность

В работе исследованы показатели эффективности грантов WEIG – Wroclaw, наукометрический метапоказатель, который объединяет качество научных работ, опубликованных в рамках данного проекта, в соответствии с его бюджетом. Варианты WEIG, основанные на общих показателях качества журнала: Импакт-фактор (IF), оценка влияния статей (AIS) и оценка журналов Польским министерством (PMSJ), применяются к анализу проектов двух государственных учреждений: Европейского исследовательского совета (ERC) и Польского национального научного центра (NSC). Исследования по грантам, завершившиеся в период с 2014 по 2021 год, показали, что проекты NSC более эффективны, чем проекты ERC. Авторы анализируют эффективность научных направлений и научных групп на протяжении многих лет и обсуждают некоторые ограничения предлагаемого подхода и наблюдения.

Цель

Оценка и сравнение результатов исследовательской деятельности, таких как гранты и научные статьи, с помощью количественных библиометрических показателей.

Материалы и методы

Анализ эффективности исследовательских грантов путем использования журнальной метрики – рейтинг польских министерских журналов (PMSJ) в сравнении с публикациями 2021 года без импакт-фактора.

Ключевые тезисы

1. В 2008 году Web of Science добавила информацию о финансировании и номер гранта к индексируемым статьям. Исследования, проведенные с 2011 года, показали важность неправительственных агентств в финансировании исследований.
2. Основным методом количественной оценки исследовательских грантов считается Ворцлавский показатель эффективности грантов (WEIG), который состоит из трех метрик качества: фактор цитирования журнала (IF), индекс влияния статьи (AIS) и средний процентиль (IF%).
3. Джон Ригби обнаружил слабую корреляцию между источниками финансирования и цитируемостью статей, а также выявил преимущество WoS перед MEDLINE в этом аспекте. В 2017 году Nicola Grassano и соавторы оценили точность информации о финансировании в WoS и PubMed и выявили высокие показатели для WoS (93% отзыв и 94% точность). В 2021 году Бlvarez-Bornstein и Montesi обнаружили недостатки в нормализации и полноте данных в PubMed и Scopus
4. Импакт-фактор (ИФ) измеряет влияние научного журнала через среднее количество цитирований статей, опубликованных за два предыдущих года. Министерский рейтинг журналов Польши (PMSJ) оценивает вузы по 47 научным дисциплинам и присваивает журналам баллы (от 20 до 200) согласно установленным критериям.
5. Гранты NSC продемонстрировали более высокую эффективность по сравнению с ERC, хотя финансирование было меньшим. Разница в эффективности проектов различных масштабов также обсуждается, выявляя, что более крупные проекты могут выделять больше ресурсов, что отражает на результатах. Мелкие проекты, такие как PRELUDIUM и Starting Grant, оказались более эффективными по весомости результатов, чем крупные проекты

Заключение

Вес наукометрических показателей в сочетании с другой информацией о проекте (например, научная дисциплина, тематика, организация-исполнитель, размер проекта) может использоваться для фильтрации информации о текущих грантах. Это может быть применимо к поиску ученых для сотрудничества, определению перспективных тем исследований или разработке политики в области научных исследований и технологического развития. Дополнительные меры показывают, что повышенное финансирование не всегда повышает эффективность, что выявлено для определенных категорий жизни. WEIG рекомендуется как вспомогательная метрика для оценки эффективности распределения средств на гранты, но важно помнить о необходимости качественной экспертной оценки. Сравнения должны проводиться в рамках одного года и схемы финансирования с достаточным числом проектов для анализа.

Литература

1. T. A. S. for Cell Biology, Read the declaration - dora, 2012. URL: https://sfdora.org/read/.
2. H. Diana, W. Paul, W. Ludo, de Rijcke Sarah, R. Ismael, Bibliometrics: The leiden manifesto for research metrics, Nature 520 (2015) 429––431. doi:10.1038/520429a.
3. A. J. Salter, B. R. Martin, The economic benefits of publicly funded basic research: a critical review, Research Policy 30 (2001) 509 – 532.
4. M. Dziezyc, P. Kazienko, Jaka jest efektywność projektуw badawczych, Forum Akademickie 07-08 (2018) 0165551520962775. URL: https://prenumeruj.forumakademickie.pl/fa/2018/07- 08/jaka-jest-efektywnosc-projektow-badawczych/.
5. M. Dzieżyc, P. Kazienko, Effectiveness of research grants funded by european research council and polish national science centre, Journal of Informetrics 16 (2022) 101243. doi:https://doi.org/10.1016/j.joi.2021.101243.

Полная версия статьи: Marcin Oleksy, Przemysław Kazienko, Maciej Dzieżyc Evaluating the Effectiveness of Research Grants with Journal Bibliometrics // BIR@ECIR 2023: 101-112