Algoritmien vakuuttaminen AI-työntämällä

Tosiasioiden tarkistaminen voi vähentää epäluotettavien uutisten leviämistä. Se voi myös tehdä vastakkaisia.

(tämä viesti ilmestyi alun perin civilservant.io)

Reddit-julkaisun r / worldnews -lukijat lukevat usein iltapäivälehden uutisia vapaaehtoisille moderaattoreille, pyytäen heitä kieltämään bulletit heidän sensaatiomaisten artikkeleidensa vuoksi. Nämä koristellut tarinat herättävät ihmisten silmät, herättävät kiistoja ja tulevat huomatuiksi redditin sijoitusalgoritmilla, joka levittää niitä entisestään.

Lehdet-uutisten kieltäminen voisi lopettaa tämän palautteen, mutta yhteisön moderaattorit vastustavat yleisiä kieltoja. Tämän palapelin ratkaisemiseksi moderaattorien oli vastattava niin kutsuttuja väärennöksiä koskevissa keskusteluissa keskeiseen kysymykseen: kuinka voimme säilyttää osallistujien vapauden samalla vaikuttamalla myös ihmisten keskinäiseen käyttäytymiseen ja algoritmeihin yhteisön hyväksi?

Tänä talvena moderaattorit työskentelivät yhdessä CivilServantin kanssa idean testaamiseksi: mitä tosiasioiden tarkistamisen kannustaminen vaikuttaa epäluotettaviin uutisiin? Halusimme nähdä, miten r / worldnews-yhteisö reagoi. Havaitsimme myös vaikutuksen redditin sijoituksiin. Jos redditin algoritmit tulkitsivat tosiasioiden tarkistamista suosioksi, epäluotettavat artikkelit voivat levitä entisestään.

Iltalehtiuutiset ovat noin 2,3% kaikista tämän 15 miljoonan tilaajayhteisön, joka keskustelee uutisista Yhdysvaltojen ulkopuolella, lähettämistä kaikista. R / worldnews-julkaisussa 70 moderaattoria tarkistaa noin 450 artikkelia päivässä ja sallii 68%: n artikkeleista pysyä. Koska se on oletusalahakemisto, useimmat reddit-lukijat saavat maailman uutisia tämän yhteisön kautta. Vaikka Facebook tavoittaa yhteisön ulottuvuuden, r / worldnews voi olla suurin yksittäinen ryhmä keskustelemaan maailman uutisista kaikkialla englanninkielisessä Internetissä. Jo pienetkin vaikutukset tässä yhteisössä voivat vaikuttaa suuresti siihen, kuinka miljoonat ihmiset ymmärtävät potentiaalisesti epäluotettavia tietoja maailmasta.

Tutkimuksessamme 27. marraskuuta - 20. tammikuuta me A / B testasi viestejä, jotka rohkaisivat yhteisöä tarkistamaan tosiseikat ja äänestämään bullet-uutisia. Tässä on mitä löysimme:

Faktatarkistuksen kannustamisen vaikutus yhteisön käyttäytymiseen

R / worldnews -lehden käsittelyssä käydyissä keskusteluissa tosiasioiden tarkistamisen rohkaiseminen lisää linkkien sisältävien kommenttien määrää keskimäärin 2x, ja tosiseikkojen tarkistamisen + äänestyksen kannustamisella on samanlainen vaikutus.

Faktatarkistuksen kannustaminen Redditin algoritmeihin

Tarkkaillen yli 24 tuntia, havaitsimme myös, että tosiasioiden tarkistamista kannustavat tahmeat kommentit aiheuttivat keskimäärin 2-kertaisesti lehdistövälitysten reddit-pistemäärän, tilastollisesti merkitsevän vaikutuksen, joka todennäköisesti vaikutti alaluettelon sijoituksiin. Kun kannustimme lukijoita äänestämään, tämä vaikutus katosi.

AI Nudges: Algoritmien vakuuttaminen säilyttäen vapautta

Iltapäivälehtiä koskevilla kysymyksillämme lisättiin algoritminen ulottuvuus klassiseen hallintotapaan: miten valtaa käyttävät ihmiset voivat toimia yhteisen edun hyväksi ja minimoida samalla yksilönvapauden rajoitukset?

voimme saada algoritmit käyttäytymään eri tavalla vakuuttamalla ihmiset käyttäytymään eri tavalla.

Internetissä ihmiset oppivat elämään sellaisten AI-järjestelmien kanssa, joita he eivät voi hallita. Esimerkiksi Uber-kuljettajat säätävät ajoaan tulojen optimoimiseksi. Kollektiivinen käyttäytymisemme vaikuttaa jo AI-järjestelmiin jatkuvasti, mutta toistaiseksi kansalaisilta puuttuu tietoa siitä, mikä vaikutus on. Nämä läpinäkymättömät tulokset voivat olla ongelma, kun algoritmit suorittavat avainroolia yhteiskunnassa, kuten terveys, turvallisuus ja oikeudenmukaisuus. Jotkut tutkijat suunnittelevat tämän ongelman ratkaisemiseksi ”yhteiskunnassa silmukassa” -järjestelmiä [4]. Toiset kehittävät menetelmiä algoritmien tarkistamiseksi [5] [6]. Kumpikaan lähestymistapa ei kuitenkaan tarjoa tapaa hallita järjestelmiä, joiden koodia emme voi hallita. R / worldnews-tutkimuksemme tarjoaa kolmannen suunnan; voimme saada algoritmit käyttäytymään eri tavalla vakuuttamalla ihmiset käyttäytymään eri tavalla.

Jotkut ihmiset voivat ihmetellä, onko tämä kokeilu äänim manipulointi, mikä on redditin käytäntöjen vastaista. Muistilapumme eivät riko mitään redditin henkilökohtaista hyötyä koskevista säännöistä (emme myös luoneet vääriä tilejä, kertoneet ihmisille, kuinka äänestää, tai järjestämään äänestysryhmää). Mutta osoitimme, että ihmisten rohkaisemalla tosiasioiden tarkistamiseen oli systemaattinen vaikutus redditin algoritmeihin.

Idea "AI-nudgeista" antaa meille tavan ajatella sosiaalissuhteellisia pyrkimyksiä vaikuttaa ihmisten ja koneiden käyttäytymiseen säilyttäen samalla yksilön vapauden. Richard Thaler ja Cass Sunstein ehdottivat ensin nyrkkyjä keinona instituutioille käyttää valtaansa säilyttäen samalla yksilönvapaus. Verrattuna iltalehden uutisten kieltämiseen, AI: n hyönteinen tosiseikkojen tarkistamisen kannustaminen on kevyin kosketustoimi, jonka moderaattorit voivat suorittaa. Kukaan ei kykene jakamaan uutisia, kommentteja tai äänestämään, mutta AI: n pila vähentää silti epäluotettavien uutisten leviämistä.

Kuten Sunstein ja Thaler huomauttavat, ei ole aina selvää, onko näillä kevyillä kosketuksilla toivottu tulos. Siksi meidän pitäisi testata systemaattisesti niiden vaikutukset, etenkin koska testaamattomilla järjestelmillä voi olla odottamattomia tuloksia.

Aihepiikien hallinto ja etiikka

Hallitusten mätät ja verkkoalustojen sosiaaliset kokeilut herättävät usein samanlaista kritiikkiä. Mielestäni ihmiset ovat oikeassa odottaessaan vastuullisuutta niiltä, ​​jotka käyttävät nuduttavaa valtaa. Työskennellen vapaaehtoisten moderaattoreiden kanssa olen pystynyt työskentelemään suuremmalla läpinäkyvyydellä ja vastuuvelvollisuudella kuin sosiaalisen tietojenkäsittelyn tyypillisellä tasolla. Kaikki CivilServant-tutkimukset on suunniteltu moderaattoriryhmien kanssa ja niiden kautta, ja kaikki tulokset paljastetaan ensin yhteisölle alaluottotutkimuksessa. Opinnäytetyömme on listattu julkisesti avoimessa tiedekehyksessä ennen aloittamista, ja kaikki koodimme on avoimen lähdekoodin. Täydelliset analyysitiedot ovat myös julkisia, joten kuka tahansa voi tarkistaa päätelmämme. Ainoa asia, jota pidättämme, on todelliset tiedot, koska kunnioitamme kaikkien asiaan liittyvien henkilöiden yksityisyyttä.

Kaiken kaikkiaan toivon, että AI-nudot, etenkin kun yhteisöt itse johtavat niitä, tarjoavat yleisölle mielenkiintoisen suunnan hallita algoritmien roolia yhteiskunnassa ja samalla säilyttää yksilönvapaus.

Kuinka tutkimus toimi

Tätä testiä varten moderaattorit aloittivat luettelolla uutislähteistä, jotka saavat usein valituksia. 27. marraskuuta - 20. tammikuuta osoitimme satunnaisesti jokaiselle uudelle lehdelle -linkille yhdestä kolmesta ehdosta: (a) ei tarttuvaa kommenttia, (b) skeptistä kannustava kommentti, (c) skeptistä ja äänestystä kannustava, kommentti + äänestys (täydelliset tiedot täällä) ).

Lähetämme tämän viestin iltapäivälehtien uutiskeskustelujen alkuun

Toinen rohkaisee ihmisiä tarkistamaan artikkelin ja harkitsemaan linkin alittamista, jos he eivät löydä todistusaineistoa väitteille:

Tämä toinen viesti rohkaisi ihmisiä harkitsemaan äänestystä

Voiko tosiasioiden tarkistamiseen liittyvä käyttäytyminen vaikuttaa kuinka redditin algoritmit näyttävät epäluotettavista uutisista?

Vaikka olimme varmoja siitä, että r / worldnews-lukijat auttaisivat, jos moderaattorit kysyisivät, mietimme myös: jos lisäämme lehdistöuutisten kommentointia, voisimmeko vahingossa aiheuttaa redditin algoritmeja mainostamaan näitä lehdistöllisiä linkkejä?

Jos tosiasioiden tarkistaminen lisäsi epäluotettavien uutislähteiden suosiota, yhteisön on ehkä harkittava, mihin ponnistella. Siksi moderaattorit kokeilivat toista tahmeaa kommenttia, joka rohkaisee lukijoita harkitsemaan äänestyksen aloittamista.

Testaakseen tarttuvien kommenttien vaikutusta redditin algoritmeihin, CivilServant-ohjelmisto keräsi tiedot viestien tuloksista neljän minuutin välein. Alusta ei julkaise tarkalleen sitä, mikä menee pisteet tai miten sen sijoitukset toimivat (kysyin). Pystyimme kuitenkin luotettavasti ennustamaan viestin subreddit HOT-sivun sijoituksen iästä ja pistemäärästä (yksityiskohdat täällä). Periaatteessa, jos tosiasioiden tarkistuksella oli suuri vaikutus artikkelin tulokseen, niin sillä todennäköisesti oli vaikutusta artikkelin sijoitukseen ajan myötä alaluokitellun etusivun kohdalla. Testasin tätä kahdella tavalla: vertaamalla pisteitä 24 tunnin kuluttua ja mallinnuttamalla pisteet muutokset ajan myötä.

Käytin negatiivista binomimallia testataksesi vaikutus pisteet 24 tunnin kuluttua. Koska redditin algoritmit seisoivat kokeilumme aikana, tosiseikkojen tarkistamisen rohkaiseminen aiheutti lehdistöllisten lähetysten saamiseksi 49,1% (2,04x alhaisempi) lähettämien pisteiden lukumäärän ilman tahmeita kommentteja 24 tunnin kuluttua keskimäärin r / worldnews. Vaikutus on tilastollisesti merkitsevä. Tässä mallissa en löytänyt vaikutusta tahmeista kommentteista, jotka rohkaisivat lukijoita harkitsemaan äänestyksen aloittamista.

Testasin myös tosiasioiden tarkistuksen vaikutusta viestin pistemäärän kasvuvauhtiin ajan myötä. Tämän kysymyksen esittämiseen sovitin satunnaisesti sieppaamien lineaarisen regression mallin lokimuunnettuihin pistemääräisiin viesteihin joka neljäs minuutti. Huomasin, että tosiasioiden tarkistamisen rohkaiseminen pienentää pistemäärän kasvua. Totesin täällä, että äänestyksen kannustamisella on tosiasiassa pieni positiivinen vaikutus pistemäärien kasvuun keskimäärin ajan kuluessa. Koska meillä oli kokeilu redditin algoritmien muutoksen aikana joulukuun alussa 2016, huomasin myös, että näiden tahmeiden kommenttien vaikutus redditin algoritmeihin on voinut muuttua sen jälkeen, kun reddit on säätänyt algoritmejaan (yksityiskohdat).

Kuka auttoi uutiskirjeiden tarkistamista?

Niistä 930 ei-bot-kommentista, joissa oli linkkejä, jotka moderaattorien sallittiin pysyä, 737 käyttäjätilit lisäsivät linkkejä lisätietoihin. Näistä 133 tiliä kommentoi useita linkkejä sisältäviä kommentteja. Monet ihmiset tosiasiallisesti tarkistivat omat huomautuksensa, lähettäjät lähettivät 81 kommenttia lisätietoon.

Mitä emme voi tietää tästä tutkimuksesta?

Tässä testissä tarkastellaan keskustelujen tuloksia yksittäisten tilien sijaan, joten emme voi tietää, olivatko yksittäiset ihmiset vakuuttuneita olemaan skeptisempiä vai johtuivatko tahmeat kommentit jo skeptisiä ihmisiä tutkimaan ja jakamaan tietoja. Minulla ei ole myöskään todisteita tosiasioiden tarkistamisen vaikutuksesta lukijoihin, vaikka muut tutkimukset viittaavat siihen, että tosiasioiden tarkistaminen vaikuttaa lukijan uskomuksiin [2] [3].

Tämä tutkimus ei voi kertoa meille paljon miksi näemme niin suuren muutoksen algoritmisissa vaikutuksissa, kun muutamme viestiä rohkaisemalla lukijoita harkitsemaan äänestystä. Tämä ero voi olla esimerkki siitä, mitä psykologit kutsuvat ”reaktanssiksi”, vastustuskykyä viranomaisten ehdotuksille. Tai jos uutisten lähettäjät pelkäävät, että heidän linkkiensä äänestetään, he voivat pyytää apua, mikä tasapainottaa lukijoiden käyttäytymistä.

Toimiiko tämä muiden tyyppisten linkkien, muiden alaluokkien tai muiden sivustojen kanssa? Tämä tutkimus on rajoitettu tiettyyn yhteisöön ja sivustojen luetteloon. Epäilen, että monet suuret lukijayhteisöt auttaisivat tosiseikkojen tarkistamisessa, jos moderaattorit kysyisivät sitä, mutta Reddit-algoritmia koskevat havainnot sijaitsevat paljon enemmän.

Voisimme vastata näihin kysymyksiin, jos useammat alaryhmät päättäisivät kokeilla samanlaisia ​​kokeiluja. Jos olet kiinnostunut, ota minuun yhteyttä redditissä keskustellaksesi samanlaisen kokeen suorittamisesta ja kirjautuaksesi sähköpostitse päivityksiin.

Lisätietoja tästä kokeilusta

Tohtorini kuuluu tukemaan yhteisöjä testaamaan omien moderointikäytäntöjensä vaikutukset. Suunnittelin tämän kokeen yhdessä r / worldnews-moderaattorien kanssa, ja MIT-komitea hyväksyi sen ihmisten käytöstä kokeellisina koehenkilöinä. Jos sinulla on kysyttävää tai huolenaiheita, ota yhteyttä natematiasiin redditmaililla.

Tämä kokeilu, kuten kaikki reddit-tutkimuksemme, tehtiin riippumattomasti reddit-alustasta, jolla ei ollut roolia kokeen suunnittelussa tai suunnittelussa. Kokeilua ei ole vielä vertaisarvioitu. Kaikki CivilServantin tulokset postitetaan julkisesti takaisin osallistuville yhteisöille heti, kun tulokset ovat valmiita, ja akateemiset julkaisut tulevat myöhemmin.

Täydelliset tiedot kokeesta julkaistiin etukäteen esianalyysisuunnitelmassa osf.io/hmq5m/. Jos olet kiinnostunut tilastoista, olen julkaissut analyysin yksityiskohdat.

Viitteet

[1] Salganik, M. J., ja Watts, D. J. (2008). Karjan harhauttaminen: Kokeellinen tutkimus itsetäyttävistä ennusteista keinotekoisilla kulttuurimarkkinoilla. Sosiaalipsykologia neljännesvuosittain, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz ja John Cook. Väärätiedot ja niiden korjaus jatkoivat vaikutusta ja onnistunutta poistoa. Psykologinen tiede yleisen edun vuoksi, 13 (3): 106–131, joulukuu 2012.

[3] Thomas Wood ja Ethan Porter. Evolution Backfire -vaikutus: joukkoasenteiden vakaa tosiasiallinen noudattaminen. SSRN Scholarly Paper ID 2819073, yhteiskuntatieteiden tutkimusverkosto, Rochester, NY, elokuu 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Algoritmisten sosiaalisten sopimusten ohjelmointi. keskikokoinen

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios ja Cedric Langbort. 2014. Auditointialgoritmit: Tutkimusmenetelmät syrjinnän havaitsemiseksi Internet-alustoilla. Tiedot ja syrjintä: Kriittisten huolenaiheiden muuttaminen tuottavaksi tutkimukseksi, Kansainvälisen viestinnän yhdistyksen vuosikokous 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritminen läpinäkyvyys tiedotusvälineissä. Digitaalinen journalismi, 1–20.

[7] Thaler, R. H., ja Sunstein, C. R. (2003). Libertarian paternalismi. American Economic Review, 93 (2), 175–179.