Statistiska begrepp i rapporterna

Forskningsrapporterna använder ett fåtal statistiska begrepp gång på gång. Här förklaras de i vanliga ord: vad begreppet är och hur siffran ska läsas. Rapporterna säger dessutom sitt huvudresultat i klartext.

p-värde: Sannolikheten att få ett minst lika starkt mönster om det i verkligheten inte fanns något samband, bara slumpens variation.; Så läser man det: Ett litet p betyder att mönstret är svårt att förklara som slump. Under 0,05 kallas resultatet signifikant. p säger inget om hur stort eller viktigt sambandet är; det gör effektmåttet, till exempel oddskvoten.
Signifikant: Att p-värdet ligger under en gräns som bestämts i förväg, i rapporterna 0,05.; Så läser man det: Signifikant betyder att mönstret sannolikt inte är slump, inte att det är stort. Inte signifikant betyder att materialet inte räcker för att avgöra, inte att det inte finns någon skillnad.
Oddskvot: Hur mycket oddsen för ett drag skiljer sig mellan två grupper, eller ändras för varje steg i tiden. Oddset är andelen med draget delad med andelen utan.; Så läser man det: 1 betyder ingen skillnad, 2 dubbelt så höga odds och 0,5 halverade odds. När draget är ovanligt ligger oddskvoten nära kvoten mellan andelarna. En oddskvot per 50 år på 0,55 betyder att oddsen ungefär halveras på femtio år.
95 %-intervall: Det spann där det verkliga värdet troligen ligger, med hänsyn till att materialet är begränsat.; Så läser man det: Ett brett intervall betyder stor osäkerhet. Ligger 1 utanför intervallet för en oddskvot, eller 0 utanför intervallet för en skillnad, är skillnaden signifikant.
Logistisk regression: En modell för ett ja eller nej, till exempel om stenen har ett visst drag, där flera förklaringar prövas samtidigt.; Så läser man det: Den visar hur mycket en förklaring betyder när de andra hålls konstanta, och ger resultatet som oddskvot.
Hålls konstant, justerat för: Att jämförelsen görs mellan stenar som liknar varandra i det som hålls konstant, till exempel samma landskap och samma tid.; Så läser man det: Ett samband som står kvar när tid och landskap hålls konstanta beror inte på att grupperna har olika ålder eller står i olika delar av landet.
Slumpeffekt: Att modellen låter varje ristare, eller varje socken, ha sin egen nivå.; Så läser man det: Då räknas inte en flitig ristares vana som ett allmänt mönster. Ett samband som håller med ristaren som slumpeffekt gäller mellan ristarna, inte bara hos en av dem.
Justerad andel, marginaleffekt: Den andel modellen ger för en grupp när de andra förklaringarna hålls lika för alla grupper.; Så läser man det: Den kan skilja sig från den råa andelen, som också bär skillnader i tid, plats och ristare.
Halvorna: Materialet delas en gång för alla, socken för socken, i två halvor, och ett fynd ska hålla i var halva för sig.; Så läser man det: Det är som att pröva fyndet på nytt material. Ett mönster som bara finns i en halva kan bero på några få socknar eller ristare.
Holm-korrigering: När en studie gör flera test höjs kravet på varje test, så att risken för minst ett falskt fynd i studien hålls under 5 %.; Så läser man det: Ett Holm-korrigerat p under 0,05 håller också när man räknar med att flera frågor ställdes.
q, justering för alla samband: Alla samband projektet redovisar justeras tillsammans (Benjamini–Hochberg). q är den andel falska fynd man får räkna med bland alla samband med ett så lågt värde.; Så läser man det: q under 0,05 betyder att högst ett av tjugo sådana fynd väntas vara falskt, när man räknar med alla de samband projektet har prövat.
Känslighetsanalyser: Samma test gjort med andra modeller och urval: rått, justerat, med ristaren eller socknen som slumpeffekt, med stenens läge, i var halva, utan ett landskap i taget och utan flyttade stenar.; Så läser man det: Ett fynd som håller i alla hänger inte på ett enskilt val i analysen. Den som faller visar var fyndet är svagt.
Förregistrering, låst plan: Hypotesen, modellen och gränserna skrevs ned och tidsstämplades med en kontrollsumma innan materialet analyserades.; Så läser man det: Då kan ingen ändra frågan efter att svaret är känt. Det som räknades efteråt kallas explorativt och redovisas som sådant.
Explorativt: En analys som gjordes efter att resultatet var känt, utan låst plan.; Så läser man det: Den kan ge idéer att pröva, men dess p-värden räknar inte med att frågan valdes i efterhand och är därför för optimistiska.
Replikering: Samma metod, oförändrad, prövad på stenar som inte ingick när fyndet gjordes.; Så läser man det: Ett fynd som replikeras på nytt material är mycket starkare än ett som bara håller där det upptäcktes.
Omblandning, permutationstest: Etiketterna blandas om slumpvis tusentals gånger, till exempel vilken sten som har vilket namn, och man ser hur ofta slumpen ger ett lika starkt mönster.; Så läser man det: Om bara en av tiotusen omblandningar är lika stark är p omkring 0,0001.
Scanstatistik: En sökning efter det område där ett drag är vanligast, med prövning av om det är vanligare där än slumpen ger.; Så läser man det: p-värdet räknar med alla områden som prövades, så att man inte luras av att det mest extrema området alltid ser speciellt ut.
Rangkorrelation (Spearmans rho): Hur väl två ordningar följer varandra, från −1 till 1.; Så läser man det: 0 betyder inget samband, 0,3 ett svagt, 0,5 ett måttligt och 0,8 ett starkt. En partiell korrelation är samma mått med en tredje faktor hållen konstant.
Korsvalidering: En modell tränas på en del av stenarna och prövas på de övriga, i tur och ordning, så att varje sten bedöms av en modell som inte har sett den.; Så läser man det: Andelen rätt i korsvalideringen visar hur modellen klarar stenar den inte känner, inte hur väl den minns dem den tränats på.
Blindprov: Svaret döljs för metoden, till exempel vem som ristade stenen, och metodens förslag jämförs sedan med svaret.; Så läser man det: Ett blindprov som låstes i förväg är det starkaste sättet att visa att en metod fungerar, eftersom gränserna inte kan flyttas efteråt.
Kalibrering: Om en modells sannolikheter stämmer med hur ofta den har rätt.; Så läser man det: En väl kalibrerad modell som säger 70 % har rätt sju gånger av tio. En försiktig modell har rätt oftare än den säger.
McNemars test: Jämför två metoder på samma stenar genom att räkna de stenar där bara den ena hade rätt.; Så läser man det: Om den ena metoden ensam har rätt på många fler stenar än den andra ensam har, ger testet ett litet p.
Random forest: En modell som bygger hundratals beslutsträd på slumpvisa delar av stenarna och dragen och låter dem rösta.; Så läser man det: Den klarar många drag och samband mellan dem utan att man anger dem i förväg. Dess sannolikheter är ofta försiktiga och läses bäst som en rangordning.