Kuinka parantaa tekstiviestikyselyjen vastauslaatua ja loppuunsaattamisen tasoa kehittyvillä markkinoilla

Lähettäjät Aimee Leidich, Samuel Kamande, Khadija Hassanali, Nicholas Owsley, David Clarance, Chaning Jang

Yhteenveto

Matkaviestinten levinneisyysaste on saavuttanut 95 prosenttia Keniassa, joten mobiililaitteista on tehokas väline, jolla pääsee aiemmin vaikeasti tavoitettaviin henkilöihin. Tekstiviestistä on tulossa suosittu menetelmä tiedonkeruuseen alueella, mutta ei ole juurikaan tutkittu, mitkä tekijät vaikuttavat tekstiviestien tehokkuuteen tiedonkeruutyökaluna näillä markkinoilla. Tässä artikkelissa tutkitaan kuinka erilaiset SMS-kyselymallit vaikuttavat kenialaisten keskuudessa valmistumisasteeseen ja vastauksen laatuun.

Lähetimme kertaluonteisen matkaviestintäkyselyn 3.489 kenialaiselle, jotka ovat tuttuja SMS-kyselyistä ja 6 279 kenelle, jotka eivät ole tuttuja. Jokainen otos satunnaistettiin yhdeksi 54: stä monialaisesta hoitokombinaatiosta, joiden variaatio vaihteli useissa ulottuvuuksissa: kannustimien määrät, tutkimusta edeltävä viestintä, kyselypituudet ja sisällön vaihtelut.

Laadimme viisi suositusta lääkäreille, jotka suunnittelevat SMS-kyselyjä kehittyvillä markkinoilla:

1) Rekrytoi näyte, joka tietää, että he saavat tekstiviestitutkimuksia

2) Pidä matkapuhelututkimukset korkeintaan 5 kysymystä tai tarjoa suurempi kannustin pidempiin tutkimuksiin

3) Satunnaista kysymykset ja vastausvaihtoehdot vastauksen laadun parantamiseksi

4) Käytä avoimia kysymyksiä, jos kysymystä tukevaa laadullista tietoa puuttuu

5) Tiedä, että miehet ja alle 30-vuotiaat suorittavat todennäköisimmin tekstiviestikyselyn

Lue lisätietoja menetelmistämme ja keskustelustamme.

  1. esittely

Matkapuhelimet ovat nyt niittejä useimmissa tilanteissa, mikä tekee niistä korvaamattoman työkalun kommunikoida yksilöiden kanssa ympäri maailmaa ja käyttää niitä. Keniassa matkapuhelinten levinneisyysaste on saavuttanut 95,1 prosenttia tilaajien lähettäessä yli 14,9 miljardia lyhytsanomapalvelua (SMS) pelkästään vuoden 2018 ensimmäisellä neljänneksellä [1]. Laaja joukko organisaatioita, mukaan lukien yritykset, julkisyhteisöt, sairaalat ja voittoa tavoittelemattomat organisaatiot, käyttävät tekstiviestejä ymmärtää paremmin ja tavoittaa perinteisesti tavoittamattomat henkilöt. Esimerkiksi terveystutkimuksessa SMS: ää on käytetty tehokkaana interventiovälineenä parantamaan hengenpelastuslääkkeiden noudattamista [2], parantamaan lääketieteen virkamiesten tehokkuutta [3] ja varmistamaan kriittisten lääkinnällisten laitteiden riittävät varastotarpeet [4].

Tämä aikaisempi tutkimus osoittaa tekstiviestien tehokkuuden tukiasemana ja tiedonkeruutyökaluna [6], mutta harvemmissa tutkimuksissa on tutkittu erityisiä vaiheita, jotka tutkijoiden ja lääkäreiden tulisi suorittaa suunnitellessaan SMS-mobiilitutkimusta. Esimerkiksi tutkimukset osoittavat, että puhelimen ateria-ajan kannustimien tarjoaminen kyselyn suorittamiseen vaikuttaa myönteisesti vastausprosentteihin [4], mutta se ei tarjoa lisätietoja siitä, kuinka nämä hinnat voivat vaihdella kannustimien ja muiden tekijöiden välillä.

Tekstiviestien optimoimiseksi tiedonkeruutyökaluna meidän on ymmärrettävä paremmin erilaisten kyselysuunnitelmien vaikutukset ja kuinka optimoida nämä mallit kerätäkseen korkealaatuista tietoa alhaisin kustannuksin. Tässä artikkelissa tutkimme kuinka kannustimien määrä, kyselyä edeltävä viestintä ja kyselyn pituus vaikuttavat loppuunsaattamisasteisiin ja miten sisällön variaatio - kysymysjärjestys, kategorinen vastausjärjestys ja avoimen testin vastaukset - vaikuttavat vastauksen laatuun. Tämän tutkimuksen tuloksia käytetään tiedottamaan parhaista käytännöistä tutkijoille ja lääkäreille, jotka haluavat käyttää tekstiviestejä suorana tiedonkeruumenetelmänä tulevaisuudessa.

2. Menetelmät

2.1 Tutkimuspopulaatio ja otos

Tämä tutkimus oli yhteistyötä asiakaspalaute- ja mobiilitiedonkeruuyrityksen mSurvey ja käyttäytymistieteellisen tutkimuskeskuksen Busara Centerin välillä, jotka molemmat sijaitsevat Nairobissa. Otokset saatiin kahdesta lähteestä: mSurvey-yleisöstä, mukavuusnäytteestä, jonka palveluksessa on ollut jatkuvasti yli 37 000 henkilöä Kenian alueella vuodesta 2012 lähtien, ja Busara-tutkimuksen otoksesta, kohdennetusta näytteestä, joka sisältää lähes 15 000 henkilöä rekrytoituna henkilökohtaisen yhteydenpidon ja perustutkimuksen avulla.

MSurvey-yleisöverkosto koostuu vähintään 18-vuotiaista kenialaisista, jotka a) omistavat oman matkapuhelimensa, joka voi lähettää ja vastaanottaa tekstiviestejä; b) ovat lukutaitoisia englanniksi ja c) ovat suostuneet vastaanottamaan sekä tutkimusta että markkinatutkimuksia. He ovat hyvin kiinnostuneita, ja niiden keskimääräinen suorittamisaste on 65% edellisissä tutkimuksissa. mSurvey-yleisön jäseniä pidetään tässä tutkimuksessa tunnetuina väestönosina, jotka ovat saaneet vähintään yhden tekstiviestitutkimuksen mSurveyltä viimeisen 5 vuoden aikana.

Busara-otos koostuu Nairobin pienituloisista henkilöistä, joilla on matkapuhelin ja jotka ovat suostuneet vastaanottamaan Busara-viestejä ja osallistumaan tuleviin tutkimuksiin. Tätä otosta pidettiin ”tuntemattomana” väestönä, koska he eivät nimenomaisesti osallistuneet SMS-kyselyjen vastaanottamiseen mobiililaitteeseensa mSurveyltä.

Lopullinen tutkimusnäyte koostui satunnaisesta valinnasta, joka sisälsi 6 279 Busara-osallistujaa ja 3 489 mSurvey-osallistujaa, kokonaisnäytteen ollessa 9 768. Havaitsimme, että 58 Busara-osallistujaa oli aikaisemmin sattumanvaraisesti valinnut mSurvey-yleisön. Koska he ovat tuttuja matkapuhelututkimuksista, tunnistimme ne uudelleen osaksi "tunnettua populaatiota", jolloin lopullisen tutkimuksen otoskoko oli 6 221 tuntemattomalle populaatiolle ja 3547 tunnetulle populaatiolle. Näissä lopullisissa alanäytteissä 45,1% tuntemattomasta populaatiosta ja 74,8% tunnetuista populaatioista oli alle 29-vuotiaita ja 54,2% tuntemattomasta populaatiosta ja 41,4% tunnetuista populaatioista, jotka tunnistettiin naisiksi (taulukko 1).

Taulukko 1. Tutkimuksenäytteen jakauma ja valmistumisaste yleisesti ja osa-näytteittäin

2.2. Design

Tämä tutkimus sisälsi neljä erilaista hoito-olosuhteiden sarjaa, joita yleisesti sovelletaan SMS-tutkimuksiin: kannustinmäärä, tutkimusta edeltävä viestintä, kyselyn pituus ja kysymyksen sisältö. Jokainen hoitosuunnitelma koostui kahdesta kolmesta erillisestä tilasta, jotka osoitettiin yhtä todennäköisesti osallistujille jokaisessa neljässä hoidossa, lukuun ottamatta kannustimia, jotka kohdistettiin suhteettomasti siihen, ettei mitään kannustinta ole resurssirajoituksen vuoksi. Katso taulukko 2 kuvaus tutkimushoidoista.

Taulukko 2. Opintohoidot, tasot ja hypoteesit

Nämä olosuhteet jaettiin satunnaisesti poikkileikkaukselliseen muotoon, jolloin muodostui yhteensä 54 erillistä ryhmää, kuten liitteessä 1 kuvataan.

Korvaukset puhelimen käyttöaikana vaihtelivat välillä 0KES, 25KES ja 100KES, riippuen kyselyn suorittamisesta, minkä avulla voimme testata, nousiko valmistumisaste merkittävästi tarjoamalla jonkin verran kannustinta (25KES) verrattuna korkeampaan kannustimeen (100KES).

Kyselyn pituus vaihteli viidestä kysymyksestä, 10 kysymyksestä ja 25 kysymyksestä yhtä suurella todennäköisyydellä, minkä avulla voimme testata, laskiiko valmistumisaste merkittävästi kyselyn pituuden kasvaessa. Jokainen kyselyä edeltävä viestintä sisälsi suostumuskysymyksen, jossa osallistujaa pyydettiin osallistumaan tutkimukseen, sekä kyselyn pituuden ennakkoilmoitus, jotta voitiin testata, nousiko valmistumisaste huomattavasti, kun tiedät kyselyn pituuden etukäteen.

Lopuksi sisältömuunnelmiin sisältyi kolme ehtoa: vakiosisältö (kysymysluettelo vakiojärjestyksessä Likert-tyylisillä vastauksilla), kysymysjärjestyksen kääntö (kysymysluettelo käänteisessä järjestyksessä Likert-tyylisten vastausten kanssa) ja vastausvaihtoehdon variaatio (valitse kysymykset, joissa Likert-tyyliset vastaukset esitetään sen sijaan avoimina kysymyksinä), joiden avulla voimme testata, onko valmistumisaste ja vastausten laatu heikentynyt huomattavasti, kun kysymys esitetään myöhemmin tutkimuksessa vai vaaditaanko avointa vastausta sijaan erilliset vaihtoehdot. Kysymyksen sisällön vaihtelua varten vastaajille annettiin satunnaisesti täyttää kysymykset alkuperäisessä kysymysjärjestyksessä 2/3 todennäköisyydellä, ja satunnaisesti annettiin täyttää kysymykset käänteisessä järjestyksessä todennäköisyydellä 2/3, jotta voimme testata, vastaavatko vastaukset toisistaan ​​riippuen kyselyssä osallistujat suorittavat kysymyksen.

MSurvey-järjestelmä on suunniteltu työntämään jokaiselle osallistujalle tekstiviesti yhdellä kyselykysymyksellä. Kysymyksen muodosta riippuen osallistujat vastaavat numeroilla, sanoilla tai lauseilla matkapuhelimen näppäimistöllä. Vastauksen jälkeen mSurvey lähettää osallistujalle automaattisesti seuraavan kyselykysymyksen vastaukseksi. Katso kuva 1 esimerkki mSurvey lähettämästä SMS-kyselystä.

Kuva 1. Esimerkki mSurvey'n lähettämästä SMS-kyselystä

Kyselykysymykset ja vastaukset eivät ole kustannuksia osallistujille. mSurvey-yleisön jäsenet saavat palveluaikana kannustimen, joka lähetetään suoraan mobiililaitteeseensa valmistumisen jälkeen korvaamaan aikansa ja ajatuksensa. Jokaiselle osallistujalle lähetettiin 9. lokakuuta 2017 samanaikaisesti nimetty kysely mSurvey-järjestelmästä.

2.3. analyysi

Tämä tutkimus koskee ensisijaisesti kahta tulosryhmää, joilla on käytännössä merkitystä SMS-kyselyjä suunnitelleille tutkijoille: kyselyn loppuun saattaminen (ts. Suoritettujen kyselyjen lukumäärä jaettuna lähetettyjen kyselyjen määrällä) ja kyselyvastausten erot (ts. Erot erillisissä vastausjakaumissa) ja avoimen tekstin vastausten suhteellinen laatu verrattuna erillisiin vastauksiin).

Varianssianalyysi (ANOVA) -testejä käytettiin analysoimaan hoito-olosuhteiden vaikutusta tutkimuksen valmistumisasteeseen. Kokonaismalli, joka sisälsi koko näytteen, sekä erilliset mallit jokaiselle alanäytteelle rakennettiin ja testattiin hoidon vaikutuksen merkitsevyyden suhteen.

Tässä artikkelissa käytetyn Likert-tyyppiset kysymykset tuottavat säännöllisiä tietoja, jotka eivät ota vakiojakaumaa. Tätä varten Mann-Whitney U-testi oli ensisijainen tilastollinen testi, jota käytettiin mittaamaan kyselyvastausten vastauksia, koska tämän ei-parametrisen testin rajalliset jakauma-oletukset mahdollistavat tietojen sekä luokan että normaalin luonteen huomioon ottamisen.

Analysoidaksemme vastausten eroa silloin, kun kyselyssä kysytään kysymystä, sovellettiin Holmin korjausta moniin vertailuihin suoritetun testialueen huomioon ottamiseksi.

3. Tulokset

3.1. Kuinka parantaa valmistumisastetta

Kaiken kaikkiaan 36% vastaajista suoritti matkapuhelututkimuksensa. Valmistusaste oli yli neljä kertaa korkeampi matkapuhelututkimuksissa perehtyneillä, ”tunnetuilla” väestöryhmillä (55%) kuin niillä, jotka eivät tunteneet mobiilitutkimuksia, “tuntemattomilla” väestöllä (17,6%). 25–29-vuotiaat miehet ja nuoremmat osallistujat suorittivat todennäköisimmin tutkimuksen loppuun saattamisasteen laskiessa, kun ikä kasvoi molemmissa ryhmissä (taulukko 1).

Hoitovaikutusten suhteen suorittamisasteessa oli merkittävä ero, koska kannustinmäärä ja tutkimuksen kesto vaihtelivat. Kannustinkäsittelyssä tarkasteltuna kannustinlisäys 0KES: stä 25KES: iin lisäsi toteutumisastetta 3,2% ja lisäys 0KES: stä 100 KES: iin lisäsi toteutumisastetta 6% (p-arvo: 5.449e-06). Alanäytteen perusteella jaoteltu kannustinmäärän kasvu lisäsi merkittävästi tuntemattomien, mutta ei tunnettujen, valmistumisastetta. Nousu kannustimesta 25 KES tuntemattomien joukossa kasvatti valmistumisastetta 5,8%, 13,7%: sta 19,5%: iin, ja nousu ei kannustinta 100 KES: iin lisäsi toteutumisastetta 8,2%: lla 21,9%: iin (p-arvo: 1,334e) -08). Sitä vastoin valmistumisasteessa ei ollut merkittävää eroa, kun tunnetut henkilöt saivat korkeamman tai pienemmän kannustimen.

Kyselyn pituushoitoa varten viidellä kysymyksellä tehty mobiili kysely tuotti korkeimman suoritustason etenkin tunnetulle väestölle. Kaiken kaikkiaan kyselyn pituuden lisääminen viidestä kysymyksestä 10 kysymykseen vähensi merkittävästi täyttöastetta 3 prosentilla ja nostamalla 25 kysymykseen vähensi merkittävästi täyttöastetta 4 prosentilla (p-arvo: 0,001144). Tarkemmin tarkasteltaessa ryhmiä kohden tutkimuksen pituuden lisääminen viidestä kysymyksestä 10 kysymykseen tunnettujen keskuudessa vähensi merkittävästi suorittamisastetta 3,8%: lla 58,2%: sta 54,4%: iin ja nostamalla 25 kysymykseen vähensi merkittävästi suorittamisastetta 5,6%: sta 52,6%: iin. (p-arvo: 0,01872). Tuntemattomien kohdalla vähennys oli pienempi, mutta silti merkittävä: pituuden lisääminen viidestä kymmeneen kysymykseen vähensi valmistumisastetta 3,3%, 19,9%: sta 16,6%: iin, ja lisäämällä 25 kysymykseen vähensi valmistumisastetta 3,7%: sta 16,2%: iin (p -arvo: 0,01311).

Kummassakaan ryhmässä ei ollut tilastollisesti merkitsevää eroa valmistumisasteessa, kun osallistujat saivat tutkimusta edeltävän viestinnän, joka kertoi heille tutkimuksen pituuden.

Kaikkia hoitoja tarkasteltaessa yhdessä tunnetuille on optimaalinen hoitoyhdistelmä, jossa on viisi kysymystä ja mahdolliset kannustimäärät tai kyselyä edeltävä viestintä. Tuntemattomille optimaalinen hoitoyhdistelmä on yksi 100KES: n ja minkä tahansa tutkimuspituuden tai tutkimusta edeltävän viestinnän kanssa (taulukko 3).

Taulukko 3. Suorituskyky osittain ja otosyhdistelmä kannustimen, tutkimuksen pituuden ja tutkimusta edeltävän viestinnän mukaan.

3.2. Kuinka parantaa vastauksen laatua

Kysymysjärjestyksen kääntö

Vastaukset eroavat huomattavasti sen mukaan, missä kyselyssä kysymys esitetään, etenkin kun verrataan alkuvaiheessa esitettyjä kysymyksiä kyselyn loppupuolella oleviin kysymyksiin. Viiteen säännölliseen kyselykysymykseen (kysymys 25, 8, 7, 3 ja 1, joissa kysymys 25 näyttäisi 25. kysymyksenä vakiojärjestyksessä tai 1. käänteisessä järjestyksessä) vastaukset olivat huomattavasti 'positiivisempia' Likertissa. mittakaava (kuten miellyttävämmässä tai todennäköisemmässä suhteessa käänteiseen), kun kysymys tuli myöhemmin tutkimukseen. Sen jälkeen kun tietojoukko on muutettu siten, että jokainen havainto on ainutlaatuinen osallistuja-kysymys -yhdistelmä - joka tarkoittaa, että jokaisella osallistujalla on yhtä monta havaintoa kuin kyselyä suoritettu - ja kontrolloinut vastaajan kiinteitä vaikutuksia, kysymysjärjestys ennustaa erittäin voimakkaasti kaikkien kysymysten vastauksia (p <0,01 ).

Vastausvaihtoehdon variaatio

Kun Likert-vaihtoehdon asteikko voimakkaasti eri mieltä päästiin päinvastaiseksi kysymykseksi 4, koska vastaaja näki vastausvaihtoehdoissa ensin 'voimakkaasti eri mieltä' verrattuna ensin 'vahvasti samaa mieltä', vastaajien osuus, jotka valitsivat 'voimakkaasti eri mieltä', tai 'eri mieltä' laski merkittävästi 16,2 prosentista 8,0 prosenttiin, kun se siirrettiin luettelon alaosaan (p <0,001). Tätä merkittävää eroa ei löydy kysymyksestä 9, kun käännettiin ei-Likert-vastausvaihtoehdot ”Kyllä, ehkä, en tiedä, ei oikeastaan, ei.” Nolla osallistujat valitsivat kaikkiin kysymyksiin vain ensimmäisen vaihtoehdon, ja alle 1% osallistujat valitsivat ensimmäisen vaihtoehdon yli puolet ajasta, mikä viittaa siihen, että kysymykseen 4 ensimmäisen vaihtoehdon valinnassa oli huomattava ero osallistujilta, jotka vastasivat tosiasiallisesti, eivätkä vain valinneet oletusarvoisesti ensimmäistä vaihtoehtoa johdonmukaisesti tutkimuksen edistämiseksi.

Valmistumisasteessa ei ollut merkittävää eroa, jos osallistujalle tarjottiin avointa vastausta kysymykseen monivalintavaihtoehtoihin verrattuna. Kaiken kaikkiaan 94,1% niistä, jotka vastasivat avoimen tekstin vaihtoehtoihin kysymyksissä 2 ja 6, toimitti ymmärrettäviä tietoja. Verrattuna avoimen tekstin vastauksia näiden kysymysten hienovaraisiin vaihtoehtoihin, diskreetin vastausjoukon yleisimmät vastaukset esiintyivät näkyvästi myös avoimen tekstin vastauksissa. Esimerkiksi kysymyksessä 6, "Mitkä tekijät ovat sinulle tärkeitä matkalle nousemisen aikana?", Yleisimmät diskreetit vastauskategoriat - 'matatu'ssa olevien ihmisten lukumäärä' ja 'matatu-olosuhteet' - olivat molemmat kolmen tärkeimmän teeman joukossa. teemakohtainen analyysi avoimen tekstin vastauksista (ajoneuvo, ajo, tila / kapasiteetti). Samanlainen malli havaittiin kysymyksessä 2: Yleisimmät diskreetit vastauskategoriat kysymykseen ”Mikä mielestänne on suurin ongelma matatu-johtimissa?” Olivat ”matkustajien ylikuormitus” ja ”räikeä kieli” sekä kolme parasta teemaa tälle samalle kysymys oli epäkohteliaisuus ja väärinkäytökset, hinta ja ylikuormitus.

Avoimen vastauksen teemakohtainen analyysi tuotti kuitenkin myös johdonmukaisia ​​teemoja, jotka eivät olleet osa erillisiä vaihtoehtoja. Samoin jotkut erilliset vaihtoehdot eivät näkyneet näkyvästi avoimen tekstin vastauksissa. Kysymykseen 6 kolmas yleisin diskreetti vastaus, "epärehellisyys", ei ollut lainkaan avoimen tekstin vastauksissa, kun taas teemoja 'väärinkäytökset', 'väärinkäyttäytyminen' ja 'ylimielisyys' olivat erittäin avoimessa tekstissä. Mielenkiintoista on, että kysymyksessä 2 esitettiin näkyvästi tiettyjä aiheita, joita emme olleet ajatelleet, kuten matatus, jolla ei ollut turvavyötä, ja johtimien juoppoista huomaamatta.

4. Keskustelu

Tässä tutkimuksessa havaitsimme, että ne, jotka tiesivät vastaanottavansa tekstiviestitutkimuksia, suorittivat huomattavasti todennäköisemmin matkapuhelututkimuksensa. Koska matkapuhelimiin lähetetään paljon roskapostia alueella, ei ole yllättävää, että osallistujat reagoivat mukavammin, kun ovat perehtyneet lähteeseen.

Tarkasteltaessa erityisesti eri hoitomuotoja ryhmittäin, ne, jotka eivät tunne matkapuhelututkimuksia, suorittavat todennäköisemmin matkapuhelututkimuksen, kun heille tarjotaan vähintään 25 KES: n kannustin, jonka suorittamisaste on korkein 100 KES-kannustimella. Tätä eroa ei havaittu tunnettujen väestöryhmien keskuudessa, mikä viittaa siihen, että kannustimet ovat parempia motivaatioita tuntemattomille väestöryhmille suorittaa SMS-tutkimuksia kuin tunnetuille väestöryhmille, jotka voivat olla luontaisesti motivoituneita. Tämä voi liittyä myös siihen tosiseikkaan, että mSurvey-yleisön jäsenet ovat tottuneet vastaanottamaan 20 KES tutkimuksen suorittamisen ulkopuolella saatujen kyselyjen suorittamiseksi, ja siksi he ovat pidempään kiinnostuneita osallistumaan.

Matkapuhelututkimuksiin perehtyneet todennäköisemmin suorittavat matkapuhelututkimuksen, kun kysely on lyhyt (alle viisi kysymystä). Tekstiviestien luonne on lähettää lyhyitä ja ytimekkäitä viestejä, kuten nimessä SMS: lyhytsanomapalvelu ehdotettiin. Suurin osa mSurveys-kyselyistä on enintään 10 kysymystä, joten palveluun perehtyneet odottavat mobiilikyselyjensä olevan lyhyitä.

Edellä mainitun perusteella kannustimien välillä suoritettujen erojen ero on suurempi kuin kyselypituudella, mikä viittaa siihen, että pidemmät tutkimukset voivat olla toteutettavissa alueella, jos niihin liitetään asianmukainen kannustin. Täyttämisasteen lasku oli silti merkittävä, mutta pieni: valmistumisasteen lasku oli enintään 5% lisäämällä 20 kyselykysymystä. Tätä varten tutkijat voisivat valita maksimoida sisällön (ts. Sisällyttää lisäkysymyksiä) eivätkä lisätä kannustinta, jos heillä on mieluummin, että vähemmän vastaajia suorittaa kyselyn.

Havaitsimme myös, että todennäköisimmin SMS-tutkimuksiin vastaavat molemmat populaatiot ovat 25–29-vuotiaita ja miehiä. Tämä on mSurvey-todistuksen mukaista rekrytoidessaan mukavuusnäytettä Keniassa - miehet ja alle 30-vuotiaat suostuvat ottamaan tekstiviestitutkimuksia mobiililaitteessaan.

Molemmissa ryhmissä ei ollut eroa valmistumisasteessa, jos osallistuja tiensi kyselyn pituuden etukäteen ja puolestaan ​​tutkimuksen suorittamiseen tarvittavan ajan. Tämä viittaa siihen, että kyselyn pituuden etukäteen tietäminen ei välttämättä ole motivaatio SMS-kyselyissä.

Vastausten laadun osalta kyselyn sijoittaminen kyselyyn vaikuttaa merkittävästi vastausten laatuun monissa tapauksissa. Se, että tämä oli tilastollisesti merkitsevä vain kyselyn alkua (tai hoitoryhmää koskevan tutkimuksen loppua kohti) koskevissa kysymyksissä, on yhdenmukainen teoreettisten selitysten kanssa: kognitiivinen tai fyysinen väsymys vastaamiseen moniin kysymyksiin vaikuttaa siihen, miten tutkittavat vastaavat kysymyksiin. Joko kyselyjen tulisi olla tiiviitä tai jos tarvitaan monia kysymyksiä, asiaankuuluvien kysymysten tulisi olla kyselyn alussa, jotta varmistetaan tiedonkeruu väsymyksen sattuessa.

Vastaajat valitsivat vastaukset voimakkaasti samaa mieltä - eri mieltä asteikolla enemmän, kun vaihtoehdot olivat lähellä luettelon kärkeä. Voimme spekuloida, että nämä vaihtoehdot ovat houkuttelevampia ja siten valitaan todennäköisemmin niiden sisällöstä riippumatta. Kysymyksessä, johon tätä havaintoa ei ollut, ordinaaliset vastausvaihtoehdot olivat vähemmän lähellä lineaarista (esim. Kyllä, Ehkä, Ei jne.), Mikä viittaa siihen, että vastaukset eivät vaihtele järjestyksessä kaikille vastausvaihtoehdoille. Siitä huolimatta vastausjärjestystä tulisi harkita tai satunnaisesti muuttaa, jotta vastauskäskystä johtuvaa vääristymistä voidaan lieventää.

Sitä vastoin, emme löytäneet eroa valmistumisasteessa, jos osallistujille tarjotaan avoimia kysymyksiä verrattuna monivalintakysymyksiin, mikä viittaa siihen, että osallistujat vastaavat avoimiin kysymyksiin tekstiviestitse.

Avoimen tekstin vastauksissa korostettiin datasta saatujen aiheiden rikkautta yleisesti korkealla ymmärrettävän vastauksen osuudella - mahdollinen merkittävä rajoitus SMS-avoimen tekstin kyselykysymyksille. Kun otetaan huomioon tämä ja temaattisen analyysin vertailu kategorisiin vastauksiin, avoimen tekstin kysymykset ovat käyttökelpoinen tapa hankkia tietoja tekstiviestitutkimuksissa ja voivat olla tehokkaita, kun nykyisiä suuntauksia on liian vähän, jotta ne muodostavat luotettavasti joukon erillisiä vaihtoehtoja.

Yhteenvetona voidaan todeta, että parhaan tiedon keräämiseksi tekstiviestikyselyn suunnittelijan tulisi:

a.) Rekrytoi näyte, joka tietää, että he saavat tekstiviestitutkimuksia

b.) Pidä matkapuhelututkimukset korkeintaan 5 kysymystä tai tarjoa suurempi kannustin pidempiin tutkimuksiin

c.) Satunnaista kysymys- ja vastausvaihtoehtojen järjestys vastauksen laadun parantamiseksi

d.) Käytä avoimia kysymyksiä, jos kysymystä tukevaa laadullista tietoa puuttuu

e.) Tiedä, että miehet ja alle 30-vuotiaat suorittavat todennäköisimmin tekstiviestikyselyn

Tietojen saatavuuslausunto

Kaikki tämän tutkimuksen tiedot ja niihin liittyvät materiaalit löytyvät Open Science Frameworkista täältä:

https://osf.io/frqm2/?view_only=692c84fa3a50428082acd703fdee0c58

Viitteet

  1. Kenian viestintäviranomainen (1. tammikuuta - 31. maaliskuuta 2018), ”Kolmannen vuosineljänneksen toimialatilastoraportti varainhoitovuodelta 2017/2018.” Saatavilla verkossa: https://ca.go.ke/wp-content/uploads/2018/07 /Sector-Statistics-Report-Q3-2017-18-2.pdf
  2. R. Lester, P. Ritvo, E. Mills, Kariri, S. Karanja, M. Chung, W. Jack, J. Habyarimana, M. Sadatsafavi, M. Najafzadeh, C. Marra, B. Estambale, E. Ngugi, TB Ball, L. Thabane, L. Gelmon, J. Kimani, M. Ackers, F. Plummer (2010), "Matkapuhelimen lyhytsanomapalvelun vaikutukset antiretroviraalisen hoidon noudattamiseen Keniassa (WelTel Kenya1): satunnaistettu tutkimus" Lancet, 376, 1838–1845.
  3. D. Zurovac, R. Sudoi, W. Akhwale, M. Ndiritu, D. Hamer, A. Rowe, R. Snow (2011): “Matkapuhelimen tekstiviestimuistutusten vaikutus Kenian terveydenhuollon työntekijöiden noudattamiseen malarian hoidossa ohjeet: klusterin satunnaistettu tutkimus ”, Lancet, 378, 795–803.
  4. J. Barrington, O. Wereko-Brobby, P. Ward, W. Mwafongo, S. Kungulwe, SMS for Life: pilottihanke, jolla parannetaan malarialääkkeiden hallintaa Tansanian maaseudulla standarditekniikan avulla (2010), Malaria Journal, 9, 1–9.
  5. Mourão, Sandro ja Karla Okada (2010). ”Matkapuhelin tiedonkeruun välineenä kenttätutkimuksessa”, Maailman tiede-, tekniikka- ja tekniikkaakatemia, 70 (43), 222–226.
  6. Nanna, M. J., ja Sawilowsky, S. S. (1998). ”Likert-mittakaavan tietojen analysointi vammaisuuden ja lääketieteellisen kuntoutuksen tutkimuksessa”, Psychological Methods, 3 (1), 55–67.
  7. de Winter, J. C. F. ja D. Dodou (2012). ”Viiden pisteen Likert-tuotteet: t-testi verrattuna Mann-Whitney-Wilcoxoniin,” käytännön arviointi, tutkimus ja arviointi, 15,11. Saatavilla verkossa: http://pareonline.net/getvn.asp?v=15&n=11.