Missä he julkaisevat

miksi sinun ei pitäisi tuomita Journal Impactsin tutkijoita

[Pluto-sarja] # 0 - Akatemia, rakenteellisesti korjattu
[Pluto-sarja] # 1 - Tutkimus, tiedon luominen
[Pluto-sarja] # 2 - Akateeminen tutkimus, julkaisutoiminta ja tieteellinen viestintä
[Pluto-sarja] # 3 - julkaise, mutta todella hukkaan?
[Pluto-sarja] # 4 - julkaise tai kadota ja menetti vainissa
[Pluto-sarja] # 5 - missä he julkaisevat
[Pluto-sarja] # 6 - useissa julkaisuissa
[Pluto-sarja] # 7 - Viittauksen perusteet
[Pluto-sarja] # 8 - Viittauskäytäntöihin
[Pluto-sarja] # 9 - Sitaattien seuraamisesta
[Pluto-sarja] # 10 - vertaisarviointeihin
[Pluto-sarja] # 11 - Sarjan lopettaminen

Edellisessä viestissä olemme keskustelleet siitä, mikä on huono kannustinrakenne yliopistoissa. Enemmän, omaperäistä ja vankkaa tietoa on akatemian yleinen tavoite. Jos kannustin johtaa muihin kuin näihin positiivisiin arvoihin liittyviin ei-toivottuihin seurauksiin tai jos positiivisia arvoja ei saada asianmukaisilla tavoilla, kannustimen voidaan sanoa olevan huono.

Lehti, lähde: Plush Design Studio, Unsplash

Tämä viesti on ensimmäinen esimerkki sellaisesta, nimittäin tutkijoiden arvioiminen siitä, missä he julkaisevat. On kyseenalaista, mitä tämä käytäntö yrittää arvioida, ja riippumatta siitä, mitä se arvioi, tiedon monimutkaisia ​​arvoja ei voida mitata sellaisilla yksinkertaistetuilla keinoilla. Tämän käytännön ylläpitämisessä on annettu joillekin sidosryhmille liiallisia valtuuksia, mikä on johtanut avoimuuden puuttumiseen, tarpeettomiin toimintalinjoihin ja jopa epäeettisiin väärinkäytöksiin.

Miksi missä?

Kuvailemalla yliopistojen kannustinrakennetta aiemmassa viestissä oli kerrottu, että tutkijoita arvioidaan usein heidän tuottavuutensa bibliografisilla tiedostoillaan tai luettelolla akateemisissa lehdissä julkaistusta artikkelista yhdessä "missä he julkaisevat" -lehden kanssa käyttämällä Journal Impact Factor -tekijää. tämän ”missä” välityspalvelimen arvo. Tämä "missä" on tietysti lyhenne sanoista "mikä vertaisarvioitu päiväkirja", ja etenkin useimmiten se edellyttää, että lehdet sisältyvät suuriin hakemistoihin, kuten Clarivate Analyticsin Web of Science Core Collection (WoSCC) tai Elsevierin SCOPUS. .

Pinnalla julkaisupaikan valinta voi vaikuttaa uskomattoman tärkeältä. Sen perusteella, missä julkaiset tutkimustulokset, julkaisusi levitysaste voi vaihdella vakavasti. Toisin sanoen, jos valitset julkaisullesi sopivan lehden, se voidaan siirtää satoille tai tuhansille ikäisillesi, kun taas huono valinta voi johtaa siihen, että kukaan asiaankuuluvalta kentältäsi ei koskaan lue sitä. Sitä näet, kun googletat "missä julkaista". (tietysti monissa noissa ”kirjasto-oppaissa” sanotaan, että sinun on tarkistettava, onko lehdet indeksoitu WoS: ssa tai SCOPUS: ssa)

Toinen merkittävä näkökohta, joka on otettava huomioon valittaessa ”missä julkaistaan”, on lehden toimituskunta. Akateemisten lehtien selvin toimivuus on vertaisarviointi, kenttäasiantuntijoiden suorittama tieteellinen valvontaprosessi. Tätä vertaisarviointiprosessia hallinnoivat toimittajat ja ryhmät. He esikatselevat toimitetut käsikirjoitukset, valitsevat vertaisarvioijat ja tekevät lopullisen päätöksen hyväksyä, hylätä vai ehdottaa käsikirjoitusten tarkistamista. Koska erilaisilla lehdillä on erilaiset toimittajat, joten erilaiset tarkistuskäytännöt, on todennäköisesti erittäin tärkeää valita kunnollinen päiväkirja, jonka ovat toimittaneet alasi arvovaltaiset asiantuntijat ja jotka ovat riittävän taitavia tekemään julkaisusi tarkasti.

Miksi EI Missä?

Vaikka näyttää selvästi olevan tärkeää valita oikea julkaisupaikka, se EI vielä tarkoita, että tutkimusta tulisi arvioida sen mukaan, missä se julkaistaan. Ensinnäkin on epäselvää, minkälainen arvo kaappaa. On mahdollisesti hienoa, jos halutaan tarttua levityksen laajuuteen yllä kuvatulla tavalla. Mutta tämä on erittäin haastavaa sekä asiayhteydessä että teknisesti. Pitäisikö meidän tarkastella absoluuttista lukumäärää ainutlaatuisia ihmisiä, joita lehti saa? Ainutlaatuisia istuntoja ja pääsyjä yliopistoista ja instituuteista? Näyttääkö tällainen lukumäärä lehdissä myös yksittäisten julkaisujen levityksen laajuutta? Pystyykö lehdet ja tietopalvelut seuraamaan näitä tilastoja? Vastaus on naurettavaa, onko kyllä ​​vai ei, järjestelmä ei todellakaan koskaan välitä tästä näkökulmasta.
(Altmetrics, online-tietopalvelujen käyttötilastot, liittyy tähän näkökohtaan. Silti ne ovat indikaattoreita, jotka johtuvat suoraan yksittäisistä julkaisuista, eivät mistä se on.)

Kuka päättää missä?

Kohdassa "siellä" kaapattu arvo voidaan todennäköisesti päätellä indeksien sisällyttämiskriteereistä ja arviointiprosesseista (WoSCC-kriteerit ja -prosessi, SCOPUS-prosessi ja -taulu). Molemmilla on yhteisiä vaatimuksia, kuten ISSN-rekisteröinti ja englanninkieliset (tai roomalaiset) bibliografiset metatiedot (tiivistelmät, viitteet jne.), Jotka ovat tärkeitä koko tietokannan puhtauden ja hallittavuuden ylläpitämisen kannalta. Toinen välttämätön edellytys on, että lehtien sisältö on vertaisarvioitu. Tämä on tietysti myönteistä. Ongelmana on, kuinka ne esitetään. Koska tämä on välttämätön ehto, näihin hakemistoihin sisältyvä päiväkirja on vertaisarvioitava. Mutta miten me tiedämme, kun he eivät koskaan todista olevansa? Jotkut lehdet julkaisevat vertaisarviointikertomuksia alkuperäisten julkaisujen ohella. Luotammeko vain indeksien tarjoajiin, että muissa hakemistojen lehdissä tarkistetaan rehellisesti vertaisarviointikäytännöt ja tosiasialliset todisteet?

Tämä asia menee täsmälleen samalla tavalla muiden näiden osallistamisprosessien kanssa. Tarvittavien olosuhteiden lisäksi on paljon enemmän perusteita, joita he sanovat tarkastelevansa. Muutamia mainitakseni: “Akateeminen panos kentälle”, “Lehden laatu ja noudattaminen asetettujen tavoitteiden ja laajuuden suhteen”, “Toimittajan asema”, “Uusi näkökulma” ja “Kohderyhmä”. Nämä ovat samoin pääosin yleisiä molemmissa indekseissä, vaikkakin lausekkeissa on joitain eroja. Nämä kaikki kriteerit näyttävät hyvältä ja tyylikkäältä, ja taas kysymys on, miten he todella tekevät sen. Eniten havaitsen heidän selityksistään, että toimittajat tai paneelit arvioivat heidät (älä sekoita tätä päiväkirjatoimittajiin). Loppujen lopuksi en löydä mitään tietoa toimitustyökalusta WoSCC: llä, ja SCOPUS-keskustelupalsta antaa joillekin satunnaisille 17 tutkijalle jäsenyytensä kanssa, joista kukin edustaa yhtä meta-oppiainetta (17 henkilöä, jotka vastaavat koko akateemisen taksonomian "määrittelemisestä", vau). Lyhyesti sanottuna, olemme Tietämättömiä siitä, kuka päättää päiväkirjaa koskevista lisäyksistä, miksi heidän pitäisi olla vastuussa kyseisestä työstä tai mitä he tosiasiallisesti päättivät minkä todisteiden perusteella.

Puhumme indeksin indeksistä. Lehdet julkaistaan ​​(siis indeksoidaan osana lehteä, jossa se julkaistaan) kenttäasiantuntijoiden toimittamissa lehdissä. Tässä vaiheessa olemme eräänlainen rento, koska monet lehden verkkosivut antavat tietoa toimituksellisista paneeleistaan. * Ja sitten nämä lehdet meta-indeksoidaan bibliografisissa tietokannoissa, kuten WoSCC tai SCOPUS, joita ovat muuttaneet jotkut satunnaiset ihmiset, joissa olemme täysin kadonneet. keitä he ovat ja mitä he tekivät. Kun otetaan huomioon se, että näitä indeksejä käytetään niin monissa akateemisissa päätöksissä arviointiperusteina, annamme joidenkin kaupallisten yritysten päättää, mihin akateemikkojen tulee toimittaa paperinsa, jotta niitä voidaan pitää ”tieteellisenä tietona” epäselvien toimintojen kanssa. Kysyn voimakkaasti, onko tämän tieteen tarkoitus olla.
(* Katso esimerkiksi Lancet. Katson henkilökohtaisesti, että paljon toimittajista koskevaa tietoa on vähimmäisvaatimus.)

Vaikutusten kaappaaminen

Ehkä vastaus esitetään parhaiten numerolla, jota käytetään enimmäkseen välityspalvelimena: Journal Impact Factors (JIF). Kuten nimensä kertoo, näyttää siltä, ​​että JIF arvioi lehtien vaikutusta. Jätä syrjään, mitä tämä vaikutus tarkoittaa. Vaikuttaa siltä, ​​että lehtien vaikutukset ovat hyvin sidoksissa viittauksiin, koska JIF: t lasketaan viitauskaavioilla. (JIF on keskimääräinen viittausten lukumäärä, jonka mielenkiintoisen lehden julkaisut ovat vastaanottaneet kahden edeltävän vuoden aikana kaikista hakemiston julkaisuista tänä vuonna. Katso lisätietoja Wikipediasta)

Useita lintuja ei voi tappaa tavallisella kivillä

On todella hämmentävää, mitä tämä vaikutus tarkoittaa. Yksi asia, jonka voimme selvästi kertoa. Se tarkoittaa keskimääräistä viittausta. Olipa kyse sitten vaikutuksesta, arvosta, etenemisestä, panoksesta tai muusta, yksinkertaistettu, yksi mitta-arvo ei voi (eikä pitäisi olla) edustaa tiedon monimutkaisia ​​ja monipuolisia näkökohtia. Sisällyttämisprosessit kuvaavat hyvin indekseillä, ja niillä on panos kenttään, tavoitteisiin ja laajuuteen sekä niiden yhdenmukaisuuteen ja laatuun, kentällä pysymiseen, ideoiden omaperäisyyteen, yleisöön, etiikkaan, läpinäkyvyyteen - mainitakseni vain muutama niistä. Kukaan ei koskaan löydä tapaa kaapata nämä arvot yhdellä mittarilla.

Yksinkertaistetun ja yhden metrin käyttäminen aiheuttaa vakavaa haittaa yliopistoille: se johtaa valtalakiin *. Robert Mertonin nimellä Matthew Effect kehitetty tämä valtalaki kuvaa hyvin ilmaisua ”rikastuvat rikkaammiksi, köyhät köyhemmiksi”. Tätä akateemisen vallan lakia ei toivota kahdesta suuresta syystä. i) Nouseville tutkijoille varhaisessa uransa aikana annetaan vähemmän mahdollisuuksia. ii) Harvalle harvoille annetaan auktoriteetteja kuin yhteisölle, joka vastustaa modernin tieteen "järjestäytynyttä skeptisyyttä". Tiede saavutetaan vertaiskäyttäjien, ei harvojen viranomaisten, tarkastuksella.
(* Tämän valtalakien todisteita ovat: Hinnat, Lotkan, Zipfin, Bradfordin lait)

"Missä" ei koskaan korvaa "mitä"

Yhden mittarin käytöstä johtuvien huolenaiheiden lisäksi kritiikki koskee itse JIF: ää. Ennen kaikkea, koska se lasketaan viittauksista, se perii suurimman osan viittauksia koskevasta kritiikistä. Esimerkiksi viittauksia voidaan pelata, todelliset lukumäärät voivat vaihdella huomattavasti käytetystä viittausindeksistä riippuen, ja mikä tärkeintä, lainausmäärät eivät edusta julkaisun arvoa. Samoin JIF: t. Lisätietoja tästä kohdasta käsitellään myöhemmässä sitaatteja käsittelevässä viestissä.

On myös huomattava, että JIF: ää ei pitäisi käyttää yksittäisten julkaisujen arviointiin. Keskiarvon tarkoitus tulkitaan yleisesti ennakoivana mittana, mutta on todettu, että et voi ennustaa lehdessä olevan julkaisun viittauksia sen JIF: n avulla. Tämä johtuu pääasiassa sitaattien vääristyneestä jakautumisesta. Poikkeamat vaikuttavat erittäin paljon JIF: iin. Oletetaan, että meillä on päiväkirja, jonka JIF = 40, valitsemme siitä satunnaisia ​​julkaisuja nähdäksemme sen viittausten lukumäärän, ja luultavasti näemme lukuja, jotka ovat paljon pienempiä kuin 40. Kuvaamalla tätä varoitusta, Nature Materials ehdotti toimituksessa, että lehdet olisivat paremmin paljastaneet niiden viittausjakaumat.

Tärkeintä on, että julkaisun arvo on Universal (U CUDOSista). Sen ei pitäisi muuttua sen sijainnissa, jossa se sijoitetaan. Teit kokeilun A, kerättiin tietojoukko B, analysoit menetelmällä C, sait tuloksen D. Sijoita sitten se Facebook-syötteeseesi, twiitit sitä, blogiit sen, arxivit sen tai julkaistatko lehdessä kohtuuttoman korkealla JIF: llä, sen arvon ei pitäisi olla ei muutu.

Voima ylivoimainen

Kun tutkijoita arvioidaan julkaisupaikkansa perusteella, joillakin sidosryhmillä on tässä "missä" -suhteessa suuri vaikutusvalta yliopistoihin. Kuten edellä on kuvattu, harvat hakemistotoimittajat hallitsevat melko paljon tieteen virtuaalista määritelmää (tai ”missä meidän on julkaistava tiedeksi pidettäväksi”).

Myös kustantajat ja lehdet saavat arvovaltaisen vallan. Koska suurimmalla osalla lehtiä on binaarisia päätöksiä toimitetuista käsikirjoituksista (ts. Hyväksyä tai hylätä), tutkijat ovat näiden päätösten alaisia. Monet kustantajat ja lehdet eivät “tue muodollisesti arkistointia” * (ts. Esipainat ja arkistot). Vaikka julkaisemiseen on vaihtoehtoisia paikkoja, jotka saattavat tukea arkistointia, tutkijat ovat edelleen alttiita käyttämättä ensivedoksia, jos alansa voimakas päiväkirja ei tue sitä. Se on ainoa asia, joka estää tutkijoita arkistoimasta ennen julkaisua ja kääntämästä toiseen suuntaan. Siksi kustantajat ja lehdet voivat päättää olla tukematta sitä.
(** SHERPA / RoMEO: n mukaan 487 julkaisijaa 2566: sta (19%) ei "tue muodollisesti arkistointia". Tämän tilauksen pidentäminen päiväkirjatasolle varmasti lisää osuutta. *)

Julkaisun ylivuoto

Kirjailijat, joilla on arvovaltaa, voivat johtaa enemmän julkaisuihin kuin parempaan ja vankkaan tietoon. Koska useimpien kustantajien liiketoimintamalli on voittojen kerääminen tilauksilla ja APC: llä (tekijät maksavat tämän lähettäessään käsikirjoituksia avoimeen pääsyyn), on selvää, että he suosivat enemmän julkaisuja. Yksittäisessä päiväkirjatasossa tämä ei välttämättä pidä paikkaansa, koska useammat julkaisut voivat vähentää JIF: n määrää. (se on nimittäjä) Mutta kustantajatasolla tätä voidaan koordinoida lisäämällä julkaisujen määrää ja tuottamalla samalla enemmän viittauksia heidän lehtiensä välille. Julkaisujen kokonaismäärä on todellakin kasvanut dramaattisesti vuosikymmenien ajan, mutta on kysyttävää, onko se johtanut myös parempaan tietämykseen.

Moraaliset vaarat

Toinen varoitus tässä on, että kustantajat ja lehdet voivat vaikuttaa tutkimusyhteisöjen ja suuntausten yleiseen suuntaan. Kuten jo aiemmassa viestissä keskusteltiin, he ovat alttiita määrittelemään politiikkoja, jotka johtavat lisääntyneeseen JIF: iin, kuten hyväksymällä silmäänpistäviä, trendikkäitä tai jopa vääriä väitteitä ja hylkäämällä inkrementaaliset, negatiiviset tai toistavat tutkimukset.

Vielä pahempaa on väärinkäytökset, joilla pyritään lisäämään metriikkaa. Lehdet, etenkin sen toimittajat, voivat epäeettisesti pakottaa lähettäjät kirjoittamaan siteet kyseisen lehden papereihin. Toimittajat ja kirjoittajat useiden lehtien ympärillä voivat muodostaa viittauskarteleja, joissa he lainaavat toistensa kirjoituksia lisätäkseen tarkoituksella kummankin vaikutusta. Nämä väärinkäytökset eivät ole vain pahoja, koska ne ovat epäeettisiä, mutta myös heikentävät edelleen JIF: n luotettavuutta metrinä. Sellaisenaan ne saastuttavat koko kirjallisuuden tuottaen vähemmän merkityksellisiä tai joskus jopa merkityksettömiä viittauksia julkaisuihin. Päivän lopussa he heikentävät luottamusta akateemiseen maailmaan.

Parantaa, ei lopettaa

Tutkimustulosten jakamisen suhteen tulee aina olla kiistanalaisia ​​näkökohtia. Keskeisenä osana tieteellistä viestintää tieteellisen sisällön levittäminen edellyttää aina arvokkaiden tutkimustietojen siirtämistä pelaajalta toiselle. Lisäksi JIF: n (tai missä ne julkaisevat) tekemällä arvioinnilla on tämä etu viittauksiin nähden. Laskee, että yksittäisen julkaisun viittaukset vievät paljon aikaa, kun taas välityspalvelinta voidaan käyttää välittömästi. Siitä huolimatta tutkijoiden ja heidän sisällön arvioinnin nykyisiä käytäntöjä sen perusteella, missä he julkaisevat, tulisi parantaa.

Koska yksinkertaistettu mittari asettaa kysymyksiä siitä, mitä se kaappaa, olisi tutkittava kattavampia keinoja tiedon eri näkökohtien parempaan kaappaamiseen. On aina otettava huomioon, että tietämys ja sen arvo eivät muutu sen julkaisemispaikkaan, samalla kun muistutamme, että on edelleen tärkeää kysyä, kenelle se välitetään.

Muutamilla pelaajilla voi olla väärinkäytöksiä, joilla on liian suuri arvovalta, ja etunäkökohdat eivät kata todellisen tiedon tuottamista. Erityisesti läpinäkyvyys on välttämätöntä, jotta pienen määrän voittoa tavoittelevia toimijoita ei voida päästä selkeästi päättämään siitä, mitä tutkimukseksi pidetään.

SEURAAVA

Tulevassa viestissä käsitellään toista huonoa kannustinta koskevaa tapausta, joka koskee julkaisumäärän käyttöä arviointikriteereinä, mikä on ydinjulkaisu ”julkaise tai tuhoa”.

Kiitos aina tuesta. Ole hyvä ja CLAP & JALKAA tarina ikätovereidesi, ystävien ja perheiden kanssa kutsuaksesi lisää keskustelua.

[Pluto-sarja] # 0 - Akatemia, rakenteellisesti korjattu
[Pluto-sarja] # 1 - Tutkimus, tiedon luominen
[Pluto-sarja] # 2 - Akateeminen tutkimus, julkaisutoiminta ja tieteellinen viestintä
[Pluto-sarja] # 3 - julkaise, mutta todella hukkaan?
[Pluto-sarja] # 4 - julkaise tai kadota ja menetti vainissa
[Pluto-sarja] # 5 - missä he julkaisevat
[Pluto-sarja] # 6 - useissa julkaisuissa
[Pluto-sarja] # 7 - Viittauksen perusteet
[Pluto-sarja] # 8 - Viittauskäytäntöihin
[Pluto-sarja] # 9 - Sitaattien seuraamisesta
[Pluto-sarja] # 10 - vertaisarviointeihin
[Pluto-sarja] # 11 - Sarjan lopettaminen

Pluto-verkko
Kotisivu / Github / Facebook / Twitter / Twitter / Telegram / Medium
Scinapse: Akateeminen hakukone
Sähköposti: team@pluto.network