03

września

2019

Wykaz czasopism – jak powstawał (punktacja w poszczególnych etapach)

W jaki sposób ustalano punktację czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych?

W uzupełnieniu do wcześniej opublikowanych informacji załączamy dokumenty zawierające propozycje przedstawione przez zespoły doradcze właściwe dla poszczególnych dyscyplin naukowych oraz wykaz zaproponowany przez Komisję Ewaluacji Nauki.

I Wykaz obejmuje następujące czasopisma naukowe:

  1. Czasopisma naukowe uwzględnione w międzynarodowej bazie:

a) Scopus

b) Web of Science (Core Collection):

  • Science Citation Index Expanded,
  • Social Sciences Citation Index,
  • Arts & Humanities Citation Index,
  • Emerging Sources Citation Index.
  1. Recenzowane materiały z konferencji międzynarodowych uwzględnionych w bazie informatycznych konferencji naukowych The Computing Research and Education Association of Australasia (CORE).
  2. Czasopisma naukowe  ujęte  w międzynarodowej bazie  ERIH+, ale nieujęte w bazach ScopusWeb of Science, które w wyniku oceny eksperckiej zostały uznane (przez zespoły powołane dla dyscyplin naukowych w dziedzinie nauk humanistycznych, dziedzinie nauk społecznych i dziedzinie nauk teologicznych) za posiadające międzynarodową renomę i szczególny wpływ na rozwój danej dyscypliny naukowej, spełniające standardy etyczne i naukowe.
  3. Czasopisma naukowe finansowane w ramach programu „Wsparcie dla czasopism naukowych”.

II Ustalenie wstępnej punktacji

A. Czasopisma ujęte w bazie Scopus lub Web of Science

Wstępna punktacja była ustalana z wykorzystaniem wartości centylowych następujących wskaźników bibliometrycznych:

a) Dla czasopism z bazy Scopus:

  • Source Normalized Impact per Paper (SNIP),
  • CiteScore,
  • Scimago Journal Rank (SJR);

b) Dla czasopism z bazy Web of Science:

  • Journal Impact Factor,
  • Article Influence,
  • Category Normalized Citation Impact, wyliczonego z wykorzystaniem artykułów naukowych opublikowanych w okresie 5 lat kalendarzowych, kończącym się rok przed rokiem, w którym ustala się ujęcie czasopism naukowych

Czasopismom naukowym posiadającym wyliczoną wartość centylową wskaźnika wpływu w grupie czasopism dla danej dyscypliny przypisano wstępną punktację w sposób następujący:

  • 200 punktów, jeżeli wartość centylowa wynosi co najmniej 97;
  • 140 punktów, jeżeli wartość centylowa wynosi co najmniej 90, ale mniej niż 97;
  • 100 punktów, jeżeli wartość centylowa wynosi co najmniej 75, ale mniej niż 90;
  • 70 punktów, jeżeli wartość centylowa wynosi co najmniej 50, ale mniej niż 75;
  • 40 punktów, jeżeli wartość centylowa wynosi co najmniej 25, ale mniej niż 50;
  • 20 punktów, jeżeli wartość centylowa jest mniejsza niż 25.

Czasopismom naukowym ujętym w ww. bazach, ale nieposiadającym wyliczonej wartości danego wskaźnika wpływu w poszczególnych dyscyplinach naukowych przypisywano 20 punktów. Czasopisma te nie wchodziły również do puli czasopism, w której wyliczane były wartości centylowe dla poszczególnych czasopism.

Czasopismom naukowym, którym przypisano w dyscyplinach naukowych na podstawie tego samego wskaźnika wpływu inną liczbę punktów, na podstawie średniej arytmetycznej tych punktów, przypisywano liczbę punktów najbliższą tej średniej, zgodnie z progowymi wartościami punktów podanymi powyżej. W przypadku gdy nie można było ustalić liczby punktów o wartości najbliższej obliczonej średniej, czasopismom naukowym przypisywano wyższą liczbę punktów.

Przykład

Załóżmy,  że czasopismu X zostały przypisane 3 dyscypliny A, B i C. W tych dyscyplinach wg powyższych zasad dla wskaźnika Journal Impact Factor (IF) czasopismu przypisano:

  • w dyscyplinie A – 100 pkt
  • w dyscyplinie B – 40 pkt
  • w dyscyplinie C – 70 pkt

Średnia arytmetyczna wynosi więc (100+40+70)/3 = 70

W związku z tym wstępna punktacja dla tego czasopisma dla wskaźnika IF w dyscyplinach A,B i C wyniesie 70 pkt (wartość najbliższa średniej).

Zespoły doradcze właściwe dla dyscyplin naukowych na podstawie analizy wskaźników bibliometrycznych wskazywały wskaźniki właściwe dla danej dyscypliny naukowej – jeden wskaźnik dla czasopism z bazy Scopus i jeden wskaźnik dla czasopism z bazy Web of Science.

Jeżeli dane czasopismo w danej dyscyplinie uzyskiwało wg powyższych zasad różną punktację w zależności od wskaźnika wpływu, to jako wstępną punktację przyjmowano wyższą wartość punktów.

Przykład

Zespół doradczy dla dyscypliny X wskazał jako właściwe dla tej dyscypliny wskaźniki bibliometryczne: Source Normalized Impact per Paper (SNIP) dla czasopism z bazy Scopus oraz Journal Impact Factor (IF) dla czasopism z bazy Web of Science. Czasopismo B było ujęte zarówno w bazie Scopus, jak i Web of Science i uzyskało punktację:

  • wg wartości centylowej wskaźnika SNIP – 140 pkt
  • wg wartości centylowej wskaźnika IF – 70 pkt.

Wstępna punktacja dla tego czasopisma wynosi 140 pkt (wartość wyższa).

B. Materiały z recenzowanych konferencji międzynarodowych

Wstępna punktacja była ustalana na podstawie kategorii w The Computing Research and Education Association of Australasia (CORE) przyznanej konferencji międzynarodowej w sposób następujący:

  • 200 punktów, jeżeli konferencja posiada kategorię A*;
  • 140 punktów, jeżeli konferencja posiada kategorię A;
  • 70 punktów, jeżeli konferencja posiada kategorię B;
  • 20 punktów, jeżeli konferencja posiada kategorię C.

 C. Czasopisma z bazy ERIH+ wskazane przez zespoły doradcze właściwe dla dyscyplin naukowych z zakresu dziedziny nauk humanistycznych, dziedziny nauk społecznych i dziedziny nauk teologicznych

Wstępna punktacja dla tych czasopism zgodnie z rozporządzeniem wynosiła 20 pkt.

D. Czasopisma będące beneficjentami programu „Wsparcie dla czasopism naukowych”

Wstępna punktacja dla tych czasopism zgodnie z rozporządzeniem wynosiła 20 pkt.

III Korekta punktacji przez Zespoły doradcze

Zespoły doradcze właściwe dla dyscyplin naukowych przeprowadziły ogromnym nakładem pracy analizę, czy wstępne wartości punktów przypisanych czasopismu naukowemu  lub recenzowanym materiałom z konferencji międzynarodowej odpowiadają rzeczywistemu wpływowi poszczególnych czasopism lub recenzowanych materiałów na rozwój nauki z uwzględnieniem:

  • znaczenia czasopisma naukowego lub recenzowanych materiałów z konferencji międzynarodowej w danej dyscyplinie naukowej w porównaniu do innych czasopism naukowych lub recenzowanych materiałów z konferencji międzynarodowych;
  • specyfiki praktyk publikacyjnych i wzorców cytowań w danej dyscyplinie naukowej;
  • pozycji czasopisma naukowego lub recenzowanych materiałów z konferencji międzynarodowej w uznanych bazach czasopism;
  • wartości wskaźników wpływu, nieuwzględnionych na pierwszym etapie oceny. Zespoły analizowały czasopisma przypisane do danej dyscypliny naukowej.

Zespoły mogły proponować zwiększenie liczby punktów o dwa poziomy, w tym dla czasopism z bazy ERIH+ wskazanych przez Zespoły z zakresu dziedziny nauk humanistycznych, nauk społecznych i nauk teologicznych oraz czasopism z programu „Wsparcie dla czasopism naukowych”. Zmiana punktów wymagała szczegółowego uzasadnienia.

    Zespoły doradcze zaproponowały 7917 zmian punktacji, w tym:

  1. 4472 zmian dotyczyło zwiększenia punktacji
  2. 3445 zmian dotyczyło obniżenia punktacji

IV Ustalenie punktacji czasopism przez KEN

Wszystkie listy czasopism z poszczególnych dyscyplin naukowych wraz z punktacją proponowaną przez poszczególne zespoły zostały przekazane do Komisji Ewaluacji Nauki. KEN analizował listy przekazane przez zespoły doradcze i opiniował (na podstawie przede wszystkim przedstawionych uzasadnień) propozycje zespołów dotyczące:

  • zmian wstępnej punktacji (podwyższenie lub obniżenie proponowane przez zespoły)
  • propozycji ujęcia na wykazie czasopism z bazy ERIH+.

KEN mógł uwzględnić lub odrzucić propozycje poszczególnych zespołów.

Na ogólną liczbę 7917 zmian punktacji proponowanych przez zespoły doradcze KEN (do jednego czasopisma mogło być proponowanych kilka zmian punktacji jeśli czasopismo było przypisane do kilku dyscyplin):

  •  zaakceptował 6726 propozycji
  • nie zaakceptował 1191 propozycji.

Oznacza to, że 84,96% propozycji zespołów uzyskało akceptację Komisji. Proponowane zmiany dotyczyły 6046 czasopism naukowych (dla jednego czasopisma naukowego zespoły mogło być kilka zmian jeśli czasopismo było przypisane do kilku dyscyplin naukowych)

W efekcie końcowym KEN zaakceptował zmiany punktacji w co najmniej jednej dyscyplinie dla 5282 czasopism. Natomiast odrzucono propozycje zmiany punktacji w co najmniej jednej dyscyplinie dla 983 czasopism.

Ponadto KEN zaakceptował zmiany punktacji dla 3 konferencji i odrzucił zmiany punktacji dla 75 konferencji.

Ponadto KEN rozpatrzył 978 czasopism naukowych z bazy ERIH+ zaopiniowanych pozytywnie przez zespoły doradcze. Akceptację Komisji uzyskało 746 czasopism, czyli 76,28%.

W jaki sposób KEN ustalał oceny?

Po zakończeniu analizy list czasopism przekazanych przez zespoły i akceptacji lub odrzuceniu propozycji dotyczących zmian punktacji proponowanych przez zespoły oraz proponowanych czasopism z bazy ERIH+, KEN ustalił końcową punktację dla czasopism.

Większość czasopism naukowych została przypisana do więcej niż jednej dyscypliny naukowej. Dla tych czasopism, w przypadku gdy w ramach dyscyplin naukowych przypisano różną liczbę punktów, Komisja Ewaluacji Nauki ustalała końcową punktację w następujący sposób:

a) na podstawie średniej arytmetycznej punktów przypisanych w ramach poszczególnych dyscyplin – liczbę punktów najbliższą tej średniej. W przypadku gdy nie można było ustalić liczby punktów o wartości najbliższej obliczonej średniej, przypisywano wyższą wartość punktów – w ok. 41% czasopism wystąpiły różnice punktacji w poszczególnych dyscyplinach przypisanych do czasopism.

Przykład

Załóżmy, że czasopismu X zostały przypisane 3 dyscypliny A, B i C. W tych dyscyplinach wg powyższych zasad czasopismu przypisano:

  • w dyscyplinie A – 100 pkt  (zespół proponował zwiększenie z 40 pkt)
  • w dyscyplinie B – 40 pkt
  • w dyscyplinie C – 70 pkt

KEN ZAAKCEPTOWAŁ podwyższenie punktacji w dyscyplinie A. Średnia arytmetyczna wynosi więc (100+40+70)/3 = 70

W związku z tym końcowa punktacja dla tego czasopisma wyniesie 70 pkt (wartość progu najbliższa średniej).

Jeżeli czasopismo było przypisane do wielu dyscyplin i nawet jeden z zespołów wnioskował o zmianę punktacji (zwiększenie lub zmniejszenie), to ta propozycja nawet w przypadku akceptacji przez KEN mogła nie mieć wpływu na końcową ocenę wynikająca ze średniej arytmetycznej.

Przykład

Załóżmy, że czasopismu X zostało przypisanych 6 dyscyplin A, B, C, D, E i F. W tych dyscyplinach wg powyższych zasad czasopismu przypisano:

  • w dyscyplinie A – 70 pkt  (zespół proponował zwiększenie z 20 pkt)
  • w dyscyplinie B – 20 pkt
  • w dyscyplinie C – 20 pkt
  • w dyscyplinie D – 20 pkt
  • w dyscyplinie E – 20 pkt
  • w dyscyplinie F – 20 pkt

KEN ZAAKCEPTOWAŁ podwyższenie punktacji w dyscyplinie A. Średnia arytmetyczna wynosi więc (70+20+20+20+20+20)/6 = 28,33

W związku z tym końcowa punktacja dla tego czasopisma wyniesie 20 pkt (wartość progu najbliższa średniej, mim że jeden z zespołów proponował podwyższenie punktacji w „swojej” dyscyplinie do 70 pkt.

b) w przypadku gdy różnica wartości przypisanych punktów przekraczała dwa progi punktowe KEN dokonywał dodatkowej oceny tego czasopisma lub recenzowanych materiałów i ustalał punktację. KEN dla tych czasopism określał dyscyplinę wiodącą i 75% punktacji końcowej stanowiła punktacja proponowana przez zespół doradczy właściwy dla dyscypliny wiodącej. Pozostałe 25 % wynikały z punktacji proponowanej przez zespoły z innych dyscyplin naukowych. Takich czasopism było 673. 

Przykład

Załóżmy, że czasopismu Y zostały przypisane 2 dyscypliny A i B. W tych dyscyplinach wg powyższych zasad czasopismu przypisano:

  • w dyscyplinie A – 40 pkt
  • w dyscyplinie B – 200 pkt

Różnica punktacji w dyscyplinach przekraczała 2 progi punktowe, więc końcową punktację ustalił KEN. Jako dyscyplinę wiodącą KEN wskazał dyscyplinę B.

Wobec tego 75%*200 + 25%*40 = 16= 160

W związku z tym KEN ustalił końcową punktację w wysokości 140 pkt (wartość progu najbliższa średniej).

Minister na podstawie projektu wykazu przekazanego przez KEN, biorąc pod uwagę opinie zespołów doradczych, ustalił ostateczny wykaz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych wraz z punktami przypisanymi dla czasopism i materiałów z konferencji międzynarodowych.