Chaque chiffre ici provient d'un banc d'essai que vous pouvez relancer depuis le dépôt — y compris ceux qui ne nous flattent pas.
Local Betty repère 68 % des erreurs, virgules exceptées, et propose la bonne correction pour 90 % de celles qu'elle repère.*
Betty in the Cloud repère 83 % des erreurs, virgules exceptées, et propose la bonne correction pour 89 % de celles qu'elle repère.
des virgules qu'exige la grammaire — 35 % pour Local Betty, 32 % dans le cloud — et bien moins quand l'auteur a mis une virgule qui n'a rien à faire là. Prévoyez une relecture humaine pour celles-là. Les virgules de style sont comptées à part : Betty les laisse volontairement tranquilles. Voir comment les virgules sont notées.
Cumulé sur 990 erreurs placées en anglais, danois, allemand, espagnol et français. « Repéré » ne compte que les suggestions qui vous sont réellement montrées : Betty retient celles dont son propre relecteur a douté, et elles ne comptent pas ici, même quand elles se trouvaient être justes.
* Sur un PC ou un Mac puissant — une carte graphique NVIDIA de 16 Go ou plus, ou une puce Apple Max ou Ultra avec 32 Go ou plus — Local Betty utilise à la place un modèle plus grand (Gemma 4 12B). Sur le même benchmark, le même jour, elle repère 77 % des erreurs, virgules exceptées, avec la bonne correction pour 89 %, et 71 % des mots manquants.
Local Betty et Betty in the Cloud suivent le même processus — les mêmes vérifications, le même relecteur — avec des modèles différents. Cette page les mesure donc séparément, sur les mêmes textes de test, le même jour.
Part des 990 erreurs placées qui ont été repérées, virgules comprises. Sur une machine puissante, où Local Betty utilise le plus grand modèle, 65 %.
Le cloud en trouve davantage — surtout les mots faux mais réels et les mots omis, qui sont les erreurs qui demandent un modèle comprenant la phrase — et lance moins de fausses alertes. Local Betty a un peu plus souvent raison sur la correction quand elle trouve quelque chose, et elle n'envoie jamais un mot de votre manuscrit nulle part. Choisissez là-dessus : la confidentialité et aucun coût par livre, ou la lecture la plus forte.
Cumulé sur les cinq langues. Repéré se rapporte aux erreurs placées ; bonne correction à celles que Betty a repérées ; les fausses alertes sont des suggestions montrées là où rien n'était faux.
| Type d'erreur | n | Repéré | Betty a proposé la bonne correction | Fausses alertes |
|---|---|---|---|---|
| Faute d'orthographe | 342 | 91% | 93 % | 11 |
| Mauvais mot | 117 | 59% | 84 % | 22 |
| Variante de langue | 15 | 93 % | 79 % | 4 |
| Majuscules | 51 | 67 % | 91% | 4 |
| Mot doublé | 19 | 90 % | 88 % | 4 |
| Ponctuation | 14 | 7% | 100 % | 4 |
| Mot manquant | 106 | 37% | 80 % | 8 |
| Deux erreurs côte à côte | 69 | 20 % | 79 % | 19 |
| Virgule* | 257 | 27% | 97% | 53 |
| Tout sauf les virgules | 733 | 68% | 90 % | 76 |
| Tout | 990 | 57% | 91% | 129 |
| Type d'erreur | n | Repéré | Betty a proposé la bonne correction | Fausses alertes |
|---|---|---|---|---|
| Faute d'orthographe | 342 | 97% | 95 % | 3 |
| Mauvais mot | 117 | 79 % | 80 % | 17 |
| Variante de langue | 15 | 87 % | 85 % | 5 |
| Majuscules | 51 | 88 % | 60 % | 3 |
| Mot doublé | 19 | 100 % | 79 % | 1 |
| Ponctuation | 14 | 29 % | 100 % | 4 |
| Mot manquant | 106 | 83% | 93 % | 20 |
| Deux erreurs côte à côte | 69 | 20 % | 71 % | 5 |
| Virgule* | 257 | 27% | 90 % | 31 |
| Tout sauf les virgules | 733 | 83% | 89 % | 58 |
| Tout | 990 | 68% | 89 % | 89 |
* Les virgules sont notées comme la reconstitution du texte original : chaque virgule a exactement une bonne réponse, celle du texte dans lequel l'erreur a été placée. Le style des virgules varie légitimement entre auteurs soigneux et entre maisons d'édition, ce n'est donc pas une vraie mesure de la qualité des virgules — une passe qui place les virgules autrement, mais de façon défendable, est comptée comme en ayant manqué certaines et ayant lancé de fausses alertes sur d'autres.
Une ligne avec quinze erreurs ne peut pas vous dire grand-chose, et le n est là pour que vous voyiez lesquelles. Les fausses alertes sont comptées sur 57 783 mots de texte, avec erreurs placées comme propres. « Deux erreurs côte à côte » sont des erreurs placées si proches qu'elles sont notées comme une seule.
« They expect us to look each other in the same place. » Un mot omis est invisible pour un correcteur orthographique — chaque mot présent est bien orthographié — et c'est l'erreur sur laquelle un auteur passe droit, parce que l'esprit fournit le mot.
Betty les cherche désormais dans une passe à part : elle ne regarde que les phrases dont un petit mot est tombé, ne garde qu'une suggestion qui ajoute exactement un tel mot entre deux autres, et demande si la phrase est grammaticale avec lui et pas sans. Repéré, par langue :
| Langue | n | Local Betty | Betty in the Cloud |
|---|---|---|---|
| Anglais | 29 | 55% | 86 % |
| Danois | 18 | 33% | 67 % |
| Allemand | 20 | 20 % | 90 % |
| Espagnol | 20 | 20 % | 85 % |
| Français | 19 | 47% | 84 % |
C'est là que les deux moteurs diffèrent le plus — et là qu'une machine puissante comble l'essentiel de l'écart : avec le plus grand modèle, Local Betty en repère 71 %. Un mot manquant suggéré n'est jamais inséré tout seul ; il vous attend comme toute autre suggestion. C'est aussi une vérification qui doit mériter ses fausses alertes, nous l'avons donc aussi confrontée à 34 800 mots de vrais romans hors du benchmark : sur de la prose moderne, elle a suggéré un mot manquant là où rien ne manquait deux fois avec Local Betty et jamais dans le cloud. La prose du XIXe siècle, dont les constructions peuvent ressembler à un mot omis, en a provoqué davantage.
Un seul chiffre d'exactitude cache ce qui vous importe vraiment : ce qu'une suggestion erronée vous coûte.
Betty n'applique jamais rien d'elle-même, donc l'échec qui compte est celui que vous ne voyez pas. Une erreur qu'elle trouve mais corrige mal arrive quand même devant vous avec une mauvaise suggestion attachée — vous la rejetez et la corrigez vous-même. Une erreur qu'elle manque est invisible. C'est pourquoi nous donnons d'abord le repéré, et la bonne correction comme part de ce qui a été repéré.
Il en va de même pour les suggestions qui s'avèrent fausses. Notre benchmark enregistre une bonne réponse par erreur ; la vraie prose en admet généralement plusieurs. Sur 60 suggestions fausses de Local Betty et 71 du cloud, 4 et 8 ont introduit un mot qu'aucun dictionnaire ne connaît. Les autres vous laissaient un texte correct qui différait simplement de la réponse que nous avions notée.
Comptées à part, parce qu'un benchmark ne distingue pas une erreur de virgule d'un choix de virgule. Réparties selon ce qui détermine chaque virgule, une partie du tableau relève du style — et une partie est une vraie faiblesse.
Les virgules sont notées comme une reconstruction du texte d'origine : chaque erreur de virgule placée a exactement une bonne réponse, la virgule du texte où elle a été placée. Pour beaucoup de virgules, ce n'est pas une vraie mesure de la qualité. La ponctuation par virgules est la règle qui varie le plus entre auteurs soigneux et entre maisons d'édition, si bien qu'une passe qui ponctue autrement mais de façon défendable perd ici des points deux fois — une fois pour la virgule qu'elle n'a pas restaurée, et une fois, comme fausse alerte, pour celle qu'elle a mise à la place. Chacune des 257 erreurs de virgule placées est donc classée selon ce qui la détermine :
| Ce qui détermine la virgule | n | Local Betty | Betty in the Cloud |
|---|---|---|---|
| La grammaire l'exige | 78 | 35% | 32 % |
| — subordonnée allemande | 34 | 65% | 47% |
| — entre les éléments d'une énumération | 18 | 17% | 39 % |
| — une virgule que l'auteur n'a jamais écrite | 20 | 10% | 10% |
| — relative anglaise | 6 | 0% | 0% |
| Danois, où deux systèmes admis divergent | 28 | 36% | 61 % |
| Style : la virgule d'Oxford, les propositions coordonnées, les incises | 151 | 21% | 19% |
| Toutes les virgules | 257 | 27% | 27% |
La ligne du style n'est pas une liste d'erreurs. Les guides de style s'y contredisent entre eux, pas avec l'auteur, et Betty laisse volontairement ces virgules tranquilles plutôt que de réécrire vos phrases dans un style que vous n'avez pas demandé. Un chiffre bas sur cette ligne est plus proche de l'intention que d'un échec.
La ligne de la grammaire est une vraie faiblesse, et ce n'est pas une question de taille : le plus grand modèle du cloud n'en trouve pas davantage que celui de votre ordinateur portable. Environ une sur trois est trouvée, surtout des subordonnées allemandes — et une virgule que l'auteur a mise par erreur n'est presque jamais signalée. Betty ajoute des virgules bien plus volontiers qu'elle n'en retire. Prévoyez une relecture humaine des virgules qu'exige la grammaire. Si c'est la partie de la correction que vous espériez déléguer entièrement, Betty n'y est pas encore, et nous préférons que vous le sachiez avant d'acheter.
Repérées, sur les virgules placées. Classées par classifyComma dans le fichier backend/src/benchScoring.ts de l'application, selon des règles tirées du Chicago Manual of Style, du Duden et de la RAE fixées avant le calcul de tout score ; les lignes s'additionnent pour donner la ligne des virgules des tableaux ci-dessus. Les lignes sous 30 disent peu de chose, et le n est là pour que vous voyiez lesquelles.
Corriger un roman de 60 000 mots avec Local Betty a consommé un peu moins d'électricité qu'il n'en faut pour faire bouillir un litre d'eau — nous l'avons mesuré.*
Dans le cloud, nous l'estimons à peu près pareil, au plus le double. Le vrai gain, ce sont les heures : la même passe à la main, c'est vingt à quarante à un bureau. Vous lisez toujours chaque suggestion — mais en une heure environ.
* Mesuré sur la carte graphique d'un PC de bureau (RTX 5090) : 60 Wh pour 60 000 mots, environ 80–90 Wh pour l'ordinateur entier ; faire bouillir un litre, c'est environ 110 Wh. Les serveurs du cloud ne peuvent pas être mesurés, son chiffre est donc une estimation : 0,5 à 1 million de tokens, aux chiffres d'énergie publiés pour des modèles de sa taille. La traduction tourne sur un modèle bien plus grand dans un centre de données, et ce n'est pas une bouilloire.
Des nouvelles écrites directement dans chacune des cinq langues plutôt que traduites, pour que les erreurs soient celles que cette langue fait réellement, plus un texte par langue où l'on n'a placé que des mots omis. Les erreurs sont placées par un générateur qui refuse toute modification dont il ne peut pas prouver qu'elle crée exactement une erreur du type voulu — le corrigé est donc construit, et non annoté après coup, et ne peut pas s'éloigner du texte. Chaque nouvelle passe aussi à l'état propre, et tout ce que Betty y suggère est une fausse alerte.
Les deux moteurs — et le plus grand modèle local pour les machines puissantes — ont suivi le processus complet le même jour : le préréglage Rapide, les vérifications grammaticales actives, le relecteur activé. Le passage dans le cloud a utilisé un vrai code d'accès, délivré par le même paiement qu'utilise un auteur (avec un code de réduction de 100 %). Chaque exécution enregistre le processus qui l'a produite, et le benchmark refuse de démarrer si les vérifications grammaticales sont désactivées — les deux existent parce qu'une exécution sans elles a un jour donné des chiffres de huit à vingt points trop bas qui semblaient tout à fait normaux, et nous les avons publiés.
Reproduisez-le avec scripts/test-models.ts sur les textes de test de sample_texts/, puis scripts/performance-summary.ts, qui calcule chaque chiffre de cette page et dit exactement comment. Le rapport nomme chaque erreur manquée et chaque fausse alerte une par une ; c'est de ce détail que viennent la plupart des améliorations de cette page.
