Was Betty findet

Zusammengefasst über 990 gesetzte Fehler in Englisch, Dänisch, Deutsch, Spanisch und Französisch. „Gefunden“ zählt nur Vorschläge, die Ihnen tatsächlich gezeigt werden: Betty hält die zurück, an denen ihr eigener Prüfer zweifelte, und die zählen hier nicht, selbst wenn sie zufällig richtig waren.

* Auf einem leistungsstarken PC oder Mac — einer NVIDIA-Grafikkarte mit 16 GB oder mehr oder einem Apple-Max- oder -Ultra-Chip mit 32 GB oder mehr — nutzt Local Betty stattdessen ein größeres Modell (Gemma 4 12B). Im selben Benchmark, am selben Tag, findet sie 77 % der Fehler, Kommas ausgenommen, mit der richtigen Korrektur für 89 %, und 71 % der fehlenden Wörter.

Zwei Bettys, zwei verschiedene Modelle

Local Betty und Betty in the Cloud durchlaufen dieselbe Pipeline — dieselben Prüfungen, derselbe Prüfer — mit verschiedenen Modellen. Deshalb misst diese Seite sie getrennt, an denselben Testtexten, am selben Tag.

Anteil aller 990 gesetzten Fehler, die gefunden wurden, Kommas eingeschlossen. Auf einem leistungsstarken Rechner, auf dem Local Betty das größere Modell nutzt, 65 %.

Die Cloud findet mehr — vor allem die falschen, aber existierenden Wörter und die ausgelassenen Wörter, also die Fehler, für die ein Modell den Satz verstehen muss — und schlägt seltener falschen Alarm. Local Betty liegt mit der Korrektur etwas öfter richtig, wenn sie etwas findet, und sie schickt kein einziges Wort Ihres Manuskripts irgendwohin. Wählen Sie danach: Privatsphäre und keine Kosten pro Buch, oder die stärkere Lektüre.

Was sie findet, nach Fehlerart

Zusammengefasst über alle fünf Sprachen. Gefunden bezieht sich auf die gesetzten Fehler; richtige Korrektur auf die, die Betty gefunden hat; Fehlalarme sind Vorschläge, die gezeigt wurden, wo nichts falsch war.

* Kommas werden als Rekonstruktion des Originaltexts bewertet: Jedes Komma hat genau eine richtige Antwort, die im Text, in den der Fehler gesetzt wurde. Kommastil unterscheidet sich zu Recht zwischen sorgfältigen Autoren und zwischen Verlagen, daher ist dies kein echtes Maß für die Kommaqualität — ein Durchgang, der Kommas anders, aber vertretbar setzt, verliert hier Punkte, weil er einige übersieht und bei anderen falschen Alarm schlägt.

Eine Zeile mit fünfzehn Fehlern kann Ihnen nicht viel sagen, und das n steht da, damit Sie sehen, welche Zeilen das sind. Fehlalarme werden über 57.783 Wörter Text gezählt, mit gesetzten Fehlern wie fehlerfrei. „Zwei Fehler nebeneinander“ sind gesetzte Fehler, die so nah beieinander liegen, dass sie als einer gewertet werden.

Neu: fehlende Wörter

„They expect us to look each other in the same place.“ Ein ausgelassenes Wort ist für eine Rechtschreibprüfung unsichtbar — jedes Wort, das dasteht, ist richtig geschrieben — und es ist der Fehler, über den ein Autor direkt hinwegliest, weil der Kopf das Wort ergänzt.

Betty sucht jetzt in einem eigenen Durchgang danach: Sie achtet nur auf Sätze, aus denen ein kleines Wort gefallen ist, behält nur einen Vorschlag, der genau ein solches Wort zwischen zwei anderen einfügt, und fragt, ob der Satz mit ihm grammatisch ist und ohne ihn nicht. Gefunden, nach Sprache:

Hier unterscheiden sich die beiden Engines am stärksten — und hier schließt ein leistungsstarker Rechner den größten Teil der Lücke: Mit dem größeren Modell findet Local Betty 71 % davon. Ein vorgeschlagenes fehlendes Wort wird nie von selbst eingefügt; es wartet auf Sie wie jeder andere Vorschlag. Es ist auch eine Prüfung, die sich ihre Fehlalarme verdienen muss, deshalb haben wir sie zusätzlich an 34.800 Wörtern echter Romane außerhalb des Benchmarks geprüft: Bei moderner Prosa schlug sie zweimal auf Local Betty und nie in der Cloud ein fehlendes Wort vor, wo keines fehlte. Prosa aus dem 19. Jahrhundert, deren Konstruktionen wie ein ausgelassenes Wort wirken können, löste mehr aus.

Was passiert, wenn sie falsch liegt

Eine einzelne Genauigkeitszahl verbirgt das, worauf es Ihnen wirklich ankommt: was Sie ein falscher Vorschlag kostet.

Betty wendet nie etwas von sich aus an, also ist der Fehler, der zählt, der, den Sie nicht sehen können. Ein Fehler, den sie findet, aber falsch behebt, landet trotzdem mit einem schlechten Vorschlag vor Ihnen — Sie lehnen ihn ab und beheben ihn selbst. Ein Fehler, den sie übersieht, ist unsichtbar. Deshalb nennen wir zuerst gefunden, und die richtige Korrektur als Anteil des Gefundenen.

Dasselbe gilt für die Vorschläge, die sich als falsch herausstellen. Unser Benchmark hält eine richtige Antwort pro Fehler fest; echte Prosa lässt meist mehrere zu. Von 60 falschen Vorschlägen von Local Betty und 71 aus der Cloud führten 4 und 8 ein Wort ein, das kein Wörterbuch kennt. Der Rest ließ Sie mit korrektem Text zurück, der sich nur von der Antwort unterschied, die wir notiert hatten.

Die Kommas

Eigens gezählt, weil ein Benchmark einen Kommafehler nicht von einer Kommaentscheidung unterscheiden kann. Aufgeteilt danach, was jedes Komma bestimmt, ist ein Teil des Bildes Stil — und ein Teil eine echte Schwäche.

Kommas werden als Rekonstruktion des Originaltexts bewertet: Jeder gesetzte Kommafehler hat genau eine richtige Antwort, das Komma in dem Text, in den er gesetzt wurde. Für viele Kommas ist das kein echtes Qualitätsmaß. Die Kommasetzung ist die Regel, die zwischen sorgfältigen Autoren und zwischen Verlagen am stärksten schwankt, sodass ein Durchgang, der anders, aber vertretbar setzt, hier doppelt Punkte verliert — einmal für das Komma, das er nicht wiederhergestellt hat, und einmal, als Fehlalarm, für das, das er stattdessen gesetzt hat. Deshalb ist jeder der 257 gesetzten Kommafehler danach sortiert, was ihn bestimmt:

Die Stilzeile ist keine Fehlerliste. Die Stilratgeber sind sich dort untereinander uneins, nicht mit dem Autor, und Betty lässt diese Kommas bewusst stehen, statt Ihre Sätze in einen Stil umzuschreiben, um den Sie nicht gebeten haben. Eine niedrige Zahl in dieser Zeile liegt näher an der Absicht als an einem Versagen.

Die Grammatikzeile ist eine echte Schwäche, und sie ist keine Frage der Größe: Das größere Modell der Cloud findet davon nicht mehr als das Modell auf Ihrem Laptop. Etwa eines von dreien wird gefunden, die meisten davon deutsche Nebensätze — und ein Komma, das der Autor versehentlich gesetzt hat, wird fast nie markiert. Betty setzt Kommas weit bereitwilliger, als sie sie entfernt. Planen Sie einen menschlichen Durchgang für die Kommas ein, die die Grammatik verlangt. Wenn das der Teil des Korrektorats ist, den Sie ganz abgeben wollten, ist Betty noch nicht so weit, und das sollen Sie lieber wissen, bevor Sie kaufen.

Gefunden, von den gesetzten Kommas. Sortiert von classifyComma in der App-Datei backend/src/benchScoring.ts, nach Regeln aus dem Chicago Manual of Style, dem Duden und der RAE, die festgelegt wurden, bevor irgendein Wert berechnet war; die Zeilen ergeben zusammen die Kommazeile der Tabellen oben. Zeilen unter 30 sagen wenig aus, und das n steht da, damit Sie sehen, welche.

Etwa ein Wasserkocher.

Das Korrektorat eines Romans mit 60.000 Wörtern verbrauchte mit Local Betty etwas weniger Strom, als es braucht, um einen Liter Wasser zu kochen — wir haben es gemessen.*

In der Cloud schätzen wir etwa gleich viel, höchstens das Doppelte. Die größere Ersparnis sind die Stunden: Derselbe Durchgang von Hand dauert zwanzig bis vierzig am Schreibtisch. Sie lesen weiterhin jeden Vorschlag — aber in etwa einer.

* Gemessen an der Grafikkarte eines Desktop-PCs (RTX 5090): 60 Wh für 60.000 Wörter, etwa 80–90 Wh für den ganzen Rechner; einen Liter zu kochen braucht etwa 110 Wh. Die Server der Cloud lassen sich nicht messen, daher ist ihre Zahl eine Schätzung: 0,5 bis 1 Million Tokens, zu veröffentlichten Energiewerten für Modelle ihrer Größe. Übersetzung läuft auf einem weit größeren Modell in einem Rechenzentrum und ist nicht ein Wasserkocher.

So wurde gemessen

Kurzgeschichten, direkt in jeder der fünf Sprachen geschrieben statt übersetzt, damit die Fehler die sind, die diese Sprache tatsächlich macht, plus ein Text pro Sprache, in den nur ausgelassene Wörter gesetzt wurden. Die Fehler setzt ein Generator, der jede Änderung ablehnt, bei der er nicht beweisen kann, dass sie genau einen Fehler genau der beabsichtigten Art erzeugt — die Musterlösung ist also konstruiert, nicht nachträglich annotiert, und kann sich nicht vom Text entfernen. Jede Geschichte läuft auch fehlerfrei durch, und alles, was Betty dort vorschlägt, ist ein Fehlalarm.

Beide Engines — und das größere lokale Modell für leistungsstarke Rechner — durchliefen am selben Tag die vollständige Pipeline: Voreinstellung „Schnell“, Grammatikprüfung aktiv, Prüfer an. Der Cloud-Lauf nutzte einen echten Zugangscode, ausgestellt über denselben Checkout, den ein Autor nutzt (mit einem 100-%-Rabattcode). Jeder Lauf hält die Pipeline fest, die ihn erzeugt hat, und der Benchmark verweigert den Start mit abgeschalteter Grammatikprüfung — beides gibt es, weil ein Lauf ohne sie einmal Zahlen lieferte, die acht bis zwanzig Punkte zu niedrig waren und völlig normal aussahen, und wir sie veröffentlicht haben.

Reproduzieren Sie es mit scripts/test-models.ts gegen die Testtexte in sample_texts/, dann mit scripts/performance-summary.ts, das jede Zahl auf dieser Seite berechnet und genau sagt, wie. Der Bericht nennt jeden übersehenen Fehler und jeden Fehlalarm einzeln; aus diesem Detail stammen die meisten Verbesserungen auf dieser Seite.