Cada cifra de aquí sale de una prueba de referencia que puedes volver a ejecutar desde el repositorio, incluidas las que no nos favorecen.
Local Betty detecta el 68 % de los errores, sin contar las comas, y sugiere la corrección correcta para el 90 % de los que detecta.*
Betty in the Cloud detecta el 83 % de los errores, sin contar las comas, y sugiere la corrección correcta para el 89 % de los que detecta.
de las comas que exige la gramática (35 % con Local Betty, 32 % en la nube) y muchas menos cuando el autor puso una coma que sobra. Prevé una revisión humana para esas. Las comas de estilo se cuentan aparte: Betty las deja en paz a propósito. Consulta cómo se puntúan las comas.
Agregado sobre 990 errores plantados en inglés, danés, alemán, español y francés. «Detectado» cuenta solo las sugerencias que realmente se te muestran: Betty retiene aquellas de las que dudó su propio revisor, y esas no cuentan aquí aunque resultaran ser correctas.
* En un PC o Mac potente —una tarjeta gráfica NVIDIA con 16 GB o más, o un chip Apple Max o Ultra con 32 GB o más— Local Betty usa en su lugar un modelo más grande (Gemma 4 12B). En el mismo benchmark, el mismo día, detecta el 77 % de los errores sin contar las comas, con la corrección correcta para el 89 %, y el 71 % de las palabras que faltan.
Local Betty y Betty in the Cloud ejecutan el mismo proceso —las mismas comprobaciones, el mismo revisor— con modelos distintos. Por eso esta página los mide por separado, con los mismos textos de prueba, el mismo día.
Parte de los 990 errores plantados que se detectaron, comas incluidas. En un equipo potente, donde Local Betty usa el modelo más grande, el 65 %.
La nube encuentra más —sobre todo las palabras equivocadas pero reales y las palabras omitidas, que son los errores que exigen un modelo que entienda la frase— y da menos falsas alarmas. Local Betty acierta un poco más a menudo con la corrección cuando encuentra algo, y nunca envía una palabra de tu manuscrito a ninguna parte. Elige según eso: privacidad y ningún coste por libro, o la lectura más fuerte.
Agregado sobre los cinco idiomas. Detectado es sobre los errores plantados; corrección correcta es sobre los que Betty detectó; las falsas alarmas son sugerencias mostradas donde no había nada mal.
| Tipo de error | n | Detectado | Betty sugirió la corrección correcta | Falsas alarmas |
|---|---|---|---|---|
| Falta de ortografía | 342 | 91% | 93 % | 11 |
| Palabra equivocada | 117 | 59% | 84 % | 22 |
| Variante del idioma | 15 | 93 % | 79 % | 4 |
| Mayúsculas | 51 | 67 % | 91% | 4 |
| Palabra duplicada | 19 | 90 % | 88 % | 4 |
| Puntuación | 14 | 7% | 100 % | 4 |
| Palabra que falta | 106 | 37% | 80 % | 8 |
| Dos errores juntos | 69 | 20 % | 79 % | 19 |
| Coma* | 257 | 27% | 97% | 53 |
| Todo salvo comas | 733 | 68% | 90 % | 76 |
| Todo | 990 | 57% | 91% | 129 |
| Tipo de error | n | Detectado | Betty sugirió la corrección correcta | Falsas alarmas |
|---|---|---|---|---|
| Falta de ortografía | 342 | 97% | 95 % | 3 |
| Palabra equivocada | 117 | 79 % | 80 % | 17 |
| Variante del idioma | 15 | 87 % | 85 % | 5 |
| Mayúsculas | 51 | 88 % | 60 % | 3 |
| Palabra duplicada | 19 | 100 % | 79 % | 1 |
| Puntuación | 14 | 29 % | 100 % | 4 |
| Palabra que falta | 106 | 83% | 93 % | 20 |
| Dos errores juntos | 69 | 20 % | 71 % | 5 |
| Coma* | 257 | 27% | 90 % | 31 |
| Todo salvo comas | 733 | 83% | 89 % | 58 |
| Todo | 990 | 68% | 89 % | 89 |
* Las comas se puntúan como reconstrucción del texto original: cada coma tiene exactamente una respuesta correcta, la del texto en el que se plantó el error. El estilo de las comas varía con razón entre autores cuidadosos y entre editoriales, así que esto no es una medida real de la calidad de las comas: una pasada que coloca las comas de otra manera, pero defendible, cuenta como si pasara por alto algunas y diera falsas alarmas en otras.
Una fila con quince errores no puede decirte mucho, y la n está ahí para que veas cuáles son. Las falsas alarmas se cuentan sobre 57.783 palabras de texto, con errores plantados y limpio por igual. «Dos errores juntos» son errores plantados tan cerca que se puntúan como uno.
«They expect us to look each other in the same place.» Una palabra omitida es invisible para un corrector ortográfico —cada palabra que está ahí está bien escrita— y es el error que un autor lee de largo, porque la mente pone la palabra.
Betty ahora las busca en una pasada propia: solo mira frases de las que se ha caído una palabra pequeña, se queda solo con una sugerencia que añade exactamente una de esas palabras entre otras dos, y pregunta si la frase es gramatical con ella y no sin ella. Detectado, por idioma:
| Idioma | n | Local Betty | Betty in the Cloud |
|---|---|---|---|
| Inglés | 29 | 55% | 86 % |
| Danés | 18 | 33% | 67 % |
| Alemán | 20 | 20 % | 90 % |
| Español | 20 | 20 % | 85 % |
| Francés | 19 | 47% | 84 % |
Aquí es donde los dos motores más se diferencian, y donde un equipo potente cierra la mayor parte de la distancia: con el modelo más grande, Local Betty detecta el 71 %. Una palabra que falta sugerida nunca se inserta sola; te espera como cualquier otra sugerencia. También es una comprobación que tiene que ganarse sus falsas alarmas, así que la probamos además con 34.800 palabras de novelas reales fuera del benchmark: en prosa moderna sugirió una palabra que faltaba donde no faltaba ninguna dos veces con Local Betty y nunca en la nube. La prosa del siglo XIX, cuyas construcciones pueden parecer una palabra omitida, dio más.
Una sola cifra de exactitud esconde lo que de verdad te importa: lo que te cuesta una sugerencia equivocada.
Betty nunca aplica nada por su cuenta, así que el fallo que importa es el que no puedes ver. Un error que encuentra pero corrige mal sigue llegando ante ti con una mala sugerencia adjunta: lo rechazas y lo corriges tú. Un error que pasa por alto es invisible. Por eso damos primero lo detectado, y la corrección correcta como parte de lo detectado.
Lo mismo vale para las sugerencias que resultan equivocadas. Nuestro benchmark registra una respuesta correcta por error; la prosa real suele admitir varias. De 60 sugerencias equivocadas de Local Betty y 71 de la nube, 4 y 8 introdujeron una palabra que ningún diccionario conoce. El resto te dejó un texto correcto que solo se diferenciaba de la respuesta que anotamos.
Se cuentan aparte porque un benchmark no distingue un error de coma de una decisión de coma. Separadas según lo que determina cada coma, una parte del cuadro es estilo, y otra, una debilidad real.
Las comas se puntúan como reconstrucción del texto original: cada error de coma plantado tiene exactamente una respuesta correcta, la coma del texto donde se plantó. Para muchas comas eso no mide de verdad la calidad. La colocación de comas es la regla que más varía entre escritores cuidadosos y entre editoriales, así que una pasada que puntúa distinto pero con criterio pierde puntos aquí dos veces: una por la coma que no restauró y otra, como falsa alarma, por la que puso en su lugar. Por eso cada uno de los 257 errores de coma plantados se clasifica según lo que lo determina:
| Qué determina la coma | n | Local Betty | Betty in the Cloud |
|---|---|---|---|
| La gramática la exige | 78 | 35% | 32 % |
| — oración subordinada alemana | 34 | 65% | 47% |
| — entre los elementos de una enumeración | 18 | 17% | 39 % |
| — una coma que el autor nunca escribió | 20 | 10% | 10% |
| — oración de relativo inglesa | 6 | 0% | 0% |
| Danés, donde dos sistemas admitidos discrepan | 28 | 36% | 61 % |
| Estilo: la coma de Oxford, oraciones coordinadas, incisos | 151 | 21% | 19% |
| Todas las comas | 257 | 27% | 27% |
La fila de estilo no es una lista de errores. Ahí los manuales de estilo discrepan entre sí, no con el autor, y Betty deja esas comas en paz a propósito en lugar de reescribir tus frases en un estilo que no pediste. Una cifra baja en esa fila está más cerca de la intención que de un fallo.
La fila de gramática sí es una debilidad real, y no es cuestión de tamaño: el modelo más grande de la nube no encuentra más que el de tu portátil. Se detecta más o menos una de cada tres, la mayoría subordinadas alemanas, y una coma que el autor puso por error casi nunca se señala. Betty añade comas con mucha más facilidad de la que las quita. Prevé una revisión humana de las comas que exige la gramática. Si esa es la parte de la corrección que esperabas delegar del todo, Betty aún no ha llegado, y preferimos que lo sepas antes de comprar.
Detectadas, sobre las comas plantadas. Clasificadas por classifyComma en el archivo backend/src/benchScoring.ts de la aplicación, con reglas del Chicago Manual of Style, el Duden y la RAE fijadas antes de calcular ninguna cifra; las filas suman la fila de comas de las tablas de arriba. Las filas por debajo de 30 dicen poco, y la n está ahí para que veas cuáles.
Corregir una novela de 60.000 palabras con Local Betty gastó un poco menos de la electricidad que hace falta para hervir un litro de agua: lo medimos.*
En la nube calculamos más o menos lo mismo, como mucho el doble. El mayor ahorro son las horas: la misma pasada a mano son entre veinte y cuarenta en un escritorio. Sigues leyendo cada sugerencia, pero en más o menos una.
* Medido en la tarjeta gráfica de un ordenador de sobremesa (RTX 5090): 60 Wh para 60.000 palabras, unos 80–90 Wh para todo el ordenador; hervir un litro son unos 110 Wh. Los servidores de la nube no se pueden medir, así que su cifra es una estimación: entre 0,5 y 1 millón de tokens, con cifras de energía publicadas para modelos de su tamaño. La traducción funciona con un modelo mucho más grande en un centro de datos, y no es un solo hervidor.
Relatos escritos directamente en cada uno de los cinco idiomas en lugar de traducidos, para que los errores sean los que ese idioma realmente comete, más un texto por idioma con solo palabras omitidas plantadas. Los errores los planta un generador que rechaza cualquier cambio del que no pueda demostrar que crea exactamente un error del tipo previsto, así que la solución está construida, no anotada después, y no puede desviarse del texto. Cada relato también se ejecuta limpio, y todo lo que Betty sugiere ahí es una falsa alarma.
Ambos motores, y el modelo local más grande para equipos potentes, ejecutaron el proceso completo el mismo día: el ajuste Rápido, las comprobaciones gramaticales activas, el revisor encendido. La ejecución en la nube usó una credencial real, emitida a través del mismo pago que usa un autor (con un código de descuento del 100 %). Cada ejecución registra el proceso que la produjo, y el benchmark se niega a arrancar con las comprobaciones gramaticales desactivadas: ambas cosas existen porque una ejecución sin ellas dio una vez cifras entre ocho y veinte puntos demasiado bajas que parecían totalmente normales, y las publicamos.
Reprodúcelo con scripts/test-models.ts sobre los textos de prueba de sample_texts/, y luego con scripts/performance-summary.ts, que calcula cada cifra de esta página y explica exactamente cómo. El informe nombra cada error pasado por alto y cada falsa alarma uno por uno; de ese detalle salieron la mayoría de las mejoras de esta página.
