Hur bra är vår sannolikhetsmodell egentligen? En dag bakom kulisserna

11.11. Fem processer startar. Var och en bygger sin egen upplaga av textmodellen, med en femtedel av stenarna undanhållna, och fyller sedan 698 dolda luckor inne i ord och lika många hela dolda ord med appens egen inställning. Det är ett prov vi aldrig gjort förut, fast vi borde: siffrorna appen visar var mätta med en enklare inställning än den appen själv använder. Ingen av processerna skriver något förrän den är klar. Det är ett fel i provskriptet, inte i modellen, och det ska rättas.

Textmodellen är Vitkis sätt att läsa runor med siffror. Den möter du på varje stensida under fliken Läsning och luckor, där den delar upp runföljden i ord, ger varje ord en sannolikhet och föreslår vad som kan ha stått i skadade partier. Du möter den i Forskningsluckor under Luckor i texten, där den fyller luckor som utgivarna lämnat öppna, i stenrapporten, och i våra artiklar om Maltstenen och om runorna som fattas. Den daterar också en text på dess språk, med en siffra som säger hur osäker dateringen är. Allt annat i appen – huggspåren, ristarna, statistiken – klarar sig utan den; men när det gäller vad runorna säger är det den som talar.

Så ser en dag ut när vi arbetar med modellen, och sådana dagar har det blivit många. Modellen har byggts om i nitton versioner sedan mitten av oktober: stavningsmodellen, ordföljden, Eddans ordförråd, kalibreringen, ristarens egen stavning, namnen byggda av namnled, spåren från 3D-skanningar, toleransen för ovanliga stavningar. Varje version har körts genom samma prov med stenar undanhållna, och flera försök har förkastats därför att de inte höll – en variantkvot i förra veckan, en gemensam datering, en imputering av odaterade stenar. Den här artikeln är ett försök att visa hur det går till, och om modellen går att göra bättre.

Vad modellen är

Den är ingen stor språkmodell. Den är en statistisk modell byggd på 3 662 vikingatida runinskrifter i Samnordisk runtextdatabas, med en stavningsmodell lärd på 26 337 par av huggen runföljd och normaliserat ord, ett ordförråd på 4 567 ord plus Eddans, och en modell för vilka ord som följer på vilka. Den läser en runsten genom att pröva alla sätt att dela upp runorna i ord och väga dem mot varandra. Varje ord får en sannolikhet, och sannolikheten är kalibrerad: när modellen säger 80 procent ska den ha rätt fyra gånger av fem. Den detaljen är hela poängen. Vi har skrivit om hur den läste Maltstenen och om luckorna den fyller.

Tre regler gäller alltid. Modellen får aldrig träna på den sten den ska läsa. Varje påstående kommer med sin sannolikhet. Och varje förbättring prövas mot en plan som låses innan vi ser resultatet, så att vi inte kan välja de siffror som ser bäst ut.

10.32, samma morgon. Innan frågan kom hade vi redan låtit modellen läsa Rökstenen, byggd utan Rök i träningen. Det tog fem minuter. Av Rundatas 147 jämförbara ord avgränsade den 79 rätt och läste 50 som samma ord. Den klarade minnesformeln – standa runaR þaR, faði faðiR, kunungaR tvæiR – och föll på vartenda ord som bara finns på Rök: mogminni, valraufaR, Þioðrik, Siolundi, chiffren. Modellen kan bara ord den har sett, och Rökstenens hela särart är orden ingen annan sten har. Men den var ärlig: den satte minst 95 procent på bara 8 ord, och 6 av dem stämde. Dateringen blev 900-talet med 78 procent, mot Rundatas 800-tal, av ett enkelt skäl: modellen har lärt sig på 19 stenar från 800-talet och 440 från 900-talet.

Så mäter vi

Siffrorna kommer från prov där hela stenar hålls undan. Vi döljer runor i texter vi känner, låter modellen fylla dem, och räknar. Inne i ett ord, där grannrunorna hjälper, blir 76 procent rätt. När hela ordet är borta 59 procent. På de 361 luckor där runorna är kända från äldre teckningar men förlorade i dag – de luckor appen faktiskt möter – 70 procent. Med spår från en 3D-skanning, där halva runan syns, stiger hela ord till 84 procent.

Och kalibreringen: av de svar modellen ger minst 95 procent stämmer 95 procent. I ett prov på 808 inskrifter var kalibreringsfelet under en procentenhet, och för sällsynta ord, där modeller brukar skryta, sade den i snitt 47 procent och hade rätt i 47. Det är därför Rökläsningen inte är ett misslyckande. En modell som läser fel och vet om det är användbar. En som läser fel med säkerhet är farlig.

11.52. Första steget klart. Med appens egen inställning blev det 77 procent inne i ord och 59 procent hela ord: samma som de publicerade siffrorna. Men appen är försiktigare: 342 säkra svar med 15 fel, mot 409 med 19 i det enklare provet. Det var dagens viktigaste besked, och det var inte spännande, vilket är som det ska. Steg två – om modellen blir bättre av att bedöma kandidaterna efter följder om tre ord – startar direkt.

Jämfört med annat

Det finns, såvitt vi vet, ingen annan modell som läser vikingatida runtexter med sannolikheter prövade på undanhållna stenar. Rundata och Runor är databaser. De stora språkmodellerna kan återge tolkningen av en känd sten därför att de har läst den, men på en okänd text gissar de utan att veta hur säkra de är, och ingen har prövat dem på stenar de inte sett. När vi lät en bild-AI gissa stilgrupp på 57 stenar fick den rätt i 35 procent av fallen.

Den närmaste jämförelsen är Ithaca, DeepMinds modell för grekiska inskrifter, publicerad i Nature 2022. Den är ett neuralt nät tränat på 78 608 inskrifter. Den återställer skadad text rätt i 62 procent av fallen, daterar med ett medelfel på omkring 30 år och placerar en inskrift geografiskt rätt i 71 procent. Våra 59 och 76 procent ligger i samma trakt, på en korpus som är tjugo gånger mindre, och vår datering är sämre: rätt epok i 59 procent av fallen, rätt eller intilliggande i 95. Jämförelsen haltar – olika språk, olika uppgifter, olika mått – men den säger ungefär var vi står.

Det viktigaste i Ithaca-studien var inte modellens siffra. Historiker ensamma återställde texterna rätt i 25 procent av fallen, modellen i 62, och historiker med modellen som hjälp i 72. Det är den arbetsordningen Vitki är byggd för: modellen föreslår och säger hur säker den är, runologen avgör.

Vad som fattas

Modellen har tre svagheter som vi vet om. Ordförrådet är Rundata och Eddan, så ett ord som bara står på en sten är osynligt. Sammanhanget är två ord i rad. Och korpusen är liten, vilket ingen kan ändra: det finns inte fler vikingatida runtexter. Den första svagheten går att göra något åt.

14.00. Nästa fråga: kan ordförrådet utökas, och med vad? Vi tog fram vad som finns.

Källorna är inte likvärdiga, och ordningen är viktig:

• De medeltida runinskrifterna ligger redan i Rundata men används inte av modellen: 2 748 inskrifter, mest norska från Bryggen i Bergen, gotländska och danska. Det är samma skrift, samma sätt att stava med runor, bara ett par hundra år senare. Det är den källa som ligger närmast.
• Heimskringla och fornaldarsagorna är normaliserad fornvästnordiska, drygt 600 000 ord, hämtade i våras till vår artikel om vikingarnas omvärld. Språket är isländskt 1200-tal, men ordförrådet är i stort det samma.
• Islänningasagorna är den största källan, nära 900 000 ord, men i nutida isländsk stavning. De kan bara användas om stavningen går att föra tillbaka till fornnordisk form med regler som vi först prövar på de normaliserade texterna.
• De fornsvenska lagarna, Västgötalagen och Upplandslagen, är det som står närmast runsvenskan i tid och dialekt. Vi har dem inte ännu.
• Lexikonen: Zoëgas ordbok över fornisländskan är fri att använda, och Lena Petersons Nordiskt runnamnslexikon ligger sedan i dag som en tabell med 1 710 uppslag. Det är lexikonet som kan lära modellen bygga namn som Vífrøðr, som alla uttolkare av Maltstenen läser och som modellen inte kan stava.

Risken är lika tydlig som vinsten. Fler ord betyder fler kandidater, och fler kandidater betyder fler falska träffar på korta luckor. Därför är planen låst innan något räknas: varje källa får en egen vikt som väljs på ett enda prov, och lexikonet godkänns bara om modellen vinner fler ord än den förlorar utan att de säkra felen blir fler. Sedan läser vi om Malt och Rök och räknar hur många okända följder som återstår. Det är det provet som avgör om Maltstenen kommer en bit närmare, eller inte alls.

17.48. Steg två klart, efter sex timmar. Trigrammen vinner 8 ord och förlorar 6 inne i ord, men förlorar fler hela ord än de vinner (16 mot 22), och de gör modellen säkrare på fler svar – 430 i stället för 342 – med fler fel, 17 mot 15. Planen krävde vinst i båda slagen utan fler säkra fel. Den håller inte. Ingenting ändras i appen, och det står i loggen som ett negativt resultat, som variantkvoten förra veckan. Så slutar de flesta dagar med modellen: ett prov som visar var den inte blir bättre. Det är de dagarna som gör att siffrorna går att lita på.

Vad vi inte gör

Vi kommer inte att byta ut modellen mot en stor språkmodell. Inte för att de är dåliga, utan för att vi inte kan pröva dem: de har läst tolkningarna, och vi kan inte hålla en sten undan från dem. En modell vars siffror vi inte kan mäta kan inte sitta i en app som lovar att säga hur säker den är.

Källor

• Samnordisk runtextdatabas (Rundata), Institutionen för nordiska språk, Uppsala universitet. Open Database License.
• Assael, Y., Sommerschield, T., Shillingford, B. m.fl. 2022. Restoring and attributing ancient texts using deep neural networks. Nature 603, 280–283 (Ithaca).
• Peterson, Lena 2007. Nordiskt runnamnslexikon, 5 uppl. Institutet för språk och folkminnen.
• Zoëga, Geir T. 1910. A Concise Dictionary of Old Icelandic. Oxford.
• heimskringla.no och sagadb.org för sagatexterna; Vitkis metodbeskrivning (METHODS.md 8.1), proven och de låsta planerna ligger öppet på GitHub.