Hvad Betty fanger

Samlet på tværs af 990 plantede fejl på engelsk, dansk, tysk, spansk og fransk. “Fundet” tæller kun forslag, du faktisk får vist: Betty holder dem tilbage, som hendes egen reviewer tvivlede på, og de tæller ikke med her, heller ikke når de tilfældigvis var rigtige.

* På en stærk pc eller Mac — et NVIDIA-grafikkort med 16 GB eller mere, eller en Apple Max- eller Ultra-chip med 32 GB eller mere — kører Local Betty i stedet en større model (Gemma 4 12B). På samme benchmark, samme dag, finder hun 77 % af fejlene, kommaer undtaget, med den rigtige rettelse for 89 %, og 71 % af de manglende ord.

To Bettyer, to forskellige modeller

Local Betty og Betty in the Cloud kører den samme proces — de samme tjek, den samme reviewer — på forskellige modeller. Derfor måler denne side dem hver for sig, på de samme testtekster, samme dag.

Andel af alle 990 plantede fejl, der blev fundet, kommaer inklusive. På en stærk maskine, hvor Local Betty kører den større model, 65 %.

Skyen finder flere — især de forkerte-men-rigtige ord og de udeladte ord, som er de fejl, der kræver en model, der forstår sætningen — og slår færre falske alarmer. Local Betty har lidt oftere ret i rettelsen, når hun finder noget, og hun sender aldrig et ord af dit manuskript nogen steder hen. Vælg ud fra det: privatliv og ingen pris pr. bog, eller den stærkere læsning.

Hvad den finder, opdelt på fejltype

Samlet på tværs af alle fem sprog. Fundet er ud af de plantede fejl; rigtig rettelse er ud af dem, Betty fandt; falske alarmer er forslag, der blev vist, hvor intet var galt.

* Kommaer måles som genskabelse af originalteksten: hvert komma har præcis ét rigtigt svar, det i teksten, fejlen blev plantet i. Kommastil varierer med god grund mellem omhyggelige forfattere og mellem forlag, så dette er ikke et sandt mål for kommakvalitet — en gennemgang, der sætter kommaer anderledes, men forsvarligt, tæller som at have overset nogle og slået falsk alarm på andre.

En række med femten fejl i kan ikke fortælle dig meget, og n står der, så du kan se, hvilke rækker det er. Falske alarmer tælles over 57.783 ords tekst, både med plantede fejl og fejlfri. “To fejl side om side” er plantede fejl, der står så tæt, at de måles som én.

Nyt: manglende ord

“They expect us to look each other in the same place.” Et udeladt ord er usynligt for en stavekontrol — hvert ord, der står der, er stavet rigtigt — og det er den fejl, en forfatter læser lige hen over, fordi hjernen selv sætter ordet ind.

Betty leder nu efter dem i en gennemgang for sig: den ser kun efter sætninger, hvor et lille ord er faldet ud, beholder kun et forslag, der tilføjer præcis ét sådant ord mellem to andre, og spørger, om sætningen hænger grammatisk sammen med det og ikke uden. Fundet, pr. sprog:

Det er her, de to motorer adskiller sig mest — og hvor en stærk maskine lukker det meste af afstanden: med den større model finder Local Betty 71 % af dem. Et foreslået manglende ord indsættes aldrig af sig selv; det venter på dig som ethvert andet forslag. Det er også et tjek, der skal gøre sig fortjent til sine falske alarmer, så vi har også læst det mod 34.800 ord fra rigtige romaner uden for benchmarken: på moderne prosa foreslog det et manglende ord, hvor intet manglede, to gange på Local Betty og aldrig i skyen. Prosa fra det 19. århundrede, hvis konstruktioner kan ligne et udeladt ord, gav flere.

Hvad der sker, når den tager fejl

Ét enkelt nøjagtighedstal skjuler det, du egentlig interesserer dig for: hvad et forkert forslag koster dig.

Betty anvender aldrig noget på egen hånd, så den fejl, der betyder noget, er den, du ikke kan se. En fejl, den finder, men retter forkert, lander stadig foran dig med et dårligt forslag hæftet på — du afviser det og retter selv. En fejl, den overser, er usynlig. Derfor viser vi fundet først, og den rigtige rettelse som en andel af det fundne.

Det samme gælder de forslag, der viser sig at være forkerte. Vores benchmark registrerer ét korrekt svar pr. fejl; virkelig prosa tillader som regel flere. Af 60 forkerte forslag fra Local Betty og 71 fra skyen indførte 4 og 8 et ord, ingen ordbog kender. Resten efterlod dig med korrekt tekst, der blot var anderledes end det svar, vi havde skrevet ned.

Kommaerne

Tælles for sig, fordi en benchmark ikke kan skelne en kommafejl fra et kommavalg. Delt op efter, hvad der afgør hvert komma, er en del af billedet stil — og en del en reel svaghed.

Kommaer scores som en genskabelse af den oprindelige tekst: hver plantet kommafejl har præcis ét rigtigt svar, kommaet i den tekst, fejlen blev plantet i. For mange kommaer er det ikke et ægte mål for kvalitet. Kommasætning er den regel, der varierer mest mellem omhyggelige skribenter og mellem forlag, så en gennemgang, der sætter kommaer anderledes men forsvarligt, taber point her to gange — én gang for kommaet, den ikke genskabte, og én gang, som falsk alarm, for det, den satte i stedet. Derfor er hver af de 257 plantede kommafejl sorteret efter, hvad der afgør den:

Stilrækken er ikke en liste over fejl. Stilguiderne er uenige med hinanden dér, ikke med skribenten, og Betty lader med vilje de kommaer være i stedet for at omskrive dine sætninger til en stil, du ikke bad om. Et lavt tal i den række ligger tættere på hensigten end på en fejl.

Grammatikrækken er en reel svaghed, og det er ikke et spørgsmål om størrelse: skyens større model finder ikke flere af dem end modellen på din bærbare. Omkring hver tredje bliver fundet, de fleste tyske ledsætninger — og et komma, forfatteren har sat ved en fejl, bliver næsten aldrig markeret. Betty tilføjer kommaer langt lettere, end hun fjerner dem. Planlæg en menneskelig gennemgang af de kommaer, grammatikken kræver. Hvis det er den del af korrekturen, du håbede at kunne overlade helt, er Betty ikke nået dertil endnu, og det vil vi hellere, at du ved, før du køber.

Fundet, ud af de plantede kommaer. Sorteret af classifyComma i appens backend/src/benchScoring.ts efter regler fra Chicago Manual of Style, Duden og RAE, der blev fastlagt, før nogen score blev beregnet; rækkerne summerer til kommarækken i tabellerne ovenfor. Rækker under 30 kan ikke fortælle dig meget, og n står der, så du kan se hvilke.

Cirka én elkedel.

At korrekturlæse en roman på 60.000 ord med Local Betty brugte lidt mindre strøm, end det kræver at koge en liter vand — vi målte det.*

I skyen anslår vi omtrent det samme, højst to. Den større besparelse er timerne: den samme gennemgang i hånden er tyve til fyrre ved et skrivebord. Du læser stadig hvert forslag — men på omkring én.

* Målt på et grafikkort i en stationær pc (RTX 5090): 60 Wh for 60.000 ord, omkring 80–90 Wh for hele computeren; at koge en liter er omkring 110 Wh. Skyens servere kan ikke måles, så dens tal er et skøn: 0,5 til 1 million tokens ved offentliggjorte energital for modeller af dens størrelse. Oversættelse kører på en langt større model i et datacenter og er ikke én elkedel.

Sådan blev det målt

Noveller skrevet direkte på hvert af de fem sprog i stedet for oversat, så fejlene er dem, sproget faktisk laver, plus én tekst pr. sprog med kun udeladte ord plantet i. Fejlene plantes af en generator, der afviser enhver ændring, den ikke kan bevise skaber præcis én fejl af præcis den tilsigtede slags — så facit er konstrueret, ikke annoteret bagefter, og kan ikke glide væk fra teksten. Hver novelle køres også fejlfri, og alt, hvad Betty foreslår der, er en falsk alarm.

Begge motorer — og den større lokale model til stærke maskiner — kørte hele processen samme dag: Hurtig-indstillingen, grammatiktjek slået til, revieweren slået til. Cloud-kørslen brugte en rigtig adgangskode, udstedt gennem det samme betalingsforløb, en forfatter bruger (med en rabatkode på 100 %). Hver kørsel registrerer den proces, der frembragte den, og benchmarken nægter at starte med grammatiktjekket slået fra — begge dele findes, fordi en kørsel uden dem engang gav tal, der var otte til tyve point for lave og så helt normale ud, og vi offentliggjorde dem.

Gentag det med scripts/test-models.ts mod testteksterne i sample_texts/, derefter scripts/performance-summary.ts, som beregner hvert tal på denne side og siger præcis hvordan. Rapporten nævner hver overset fejl og hver falsk alarm enkeltvis; det er i den detalje, de fleste rettelser på denne side kom fra.