Por Alejandro Uurueña

Ética e inteligencia artificial (Ia). Founder & ceo clever hans diseño de arquitectura y soluciones en inteligencia artficial. magister en inteligencia artificial.

A los modelos de lenguaje (la base que hace andar a ChatGPT, Gemini o Claude) uno les escribe en palabras y ellos leen otra cosa. Antes de entender nada pasan el texto por un tokenizador (una tijera automática) que lo corta en tokens (pedacitos: a veces la palabra entera, a veces un trozo, a veces una sola letra; antes, la unidad era siempre la palabra entera). En pedacitos se mide todo: lo que entra, lo que sale y, para quien paga por uso, lo que se factura. El detalle es dónde aprendió a cortar la tijera, y aprendió sobre todo con textos en inglés. La coalición CLEAR, un grupo de investigadores que quiere que la inteligencia artificial le llegue a toda la humanidad, hizo en septiembre la prueba más sencilla posible: tomó una misma frase traducida y contó. Con la tijera de GPT-5 la versión inglesa ocupa 13 pedacitos, la versión en malayalam (lengua del sur de la India) ocupa 26 y la versión en amhárico (la de Etiopía), 78. Seis veces la cuenta por decir exactamente lo mismo. La frase elegida decía que la gente debería beneficiarse de la inteligencia artificial sin importar el idioma que hable. Repetida la prueba con unos 200 idiomas y los principales fabricantes, la distancia entre la lengua más barata y la más cara llegó a 17 veces. Lo llaman el impuesto del tokenizador.

Cada empresa afila su propia tijera, y por eso un pedacito de una casa no equivale al de otra. Cambia hasta el vocabulario (la lista de pedacitos que la tijera reconoce de memoria): unos 262.000 en la familia de Google, cerca de 200.000 en OpenAI y en Meta. Anthropic, la fabricante de Claude, no lo publica, y en la tabla de CLEAR figura así, «no público». Un estudio sobre lenguas europeas pasó las mismas noticias en ucraniano por varias tijeras y obtuvo 2,2 pedacitos por palabra con un modelo de Meta, 2,5 con uno de OpenAI y 3,6 con uno de la china Alibaba. Mismo texto, distinta cuenta. CLEAR les puso nota según cuánto estiran la distancia entre su idioma más barato y el más caro: Google 5 veces y una B, Anthropic y Meta algo más de 9 y una D, OpenAI casi 14 y un aplazo. Entre los veinte idiomas con más presencia en internet, las cuatro quedan por debajo de dos veces, y el castellano viaja en ese pelotón: según la medición más reciente, un mismo texto de noticias le lleva 23% más pedacitos que el inglés a la tijera de Google, 26% a la de OpenAI y más de 40% a las de DeepSeek y Alibaba.

¿Qué idioma dice lo mismo con más pedacitos? Casi siempre el que la tijera vio menos, y sobre todo el que se escribe con un alfabeto que casi no vio. Los peor parados de la medición de CLEAR son el birmano, el tibetano, el jemer y el lao. En la India, un trabajo de julio de este año midió diez lenguas con la tijera de GPT-4 y encontró ocho veces los pedacitos por palabra del inglés (El impuesto del tokenizador: cuantificación y explicación del costo translingual de la tokenización de subpalabras para las lenguas de la India). En Europa la escalera es más corta: 1,2 pedacitos por palabra en inglés, 1,5 en castellano, 2,7 en ucraniano y 3,1 en griego o maltés.

Con los mismos números se armaron bandos. La primera línea de pensamiento es la del impuesto: la tijera es una decisión de diseño y por lo tanto se puede exigir otra. Tiene con qué defenderse. En la India bastó pasar de la tijera de GPT-4 a la de GPT-4o, la misma que hoy usa GPT-5, para que el recargo promedio bajara de 8 veces a 2,1. De ahí su pliego: que cada empresa publique cuánto cuesta cada idioma, que el Estado lo exija cuando compra y que mientras tanto se cobre por letra o por idioma. La segunda línea no niega los números, desconfía del culpable. Un equipo entrenó unas 7.000 tijeras para 97 idiomas, cada una con una sola lengua y la misma receta, y la brecha siguió ahí. Lo que movió la aguja fue el tamaño del vocabulario y la costumbre de cortar siempre en los espacios, no el parecido entre el texto de prueba y el de entrenamiento. Su remedio es de taller: un vocabulario a medida de cada lengua y pedacitos que puedan abarcar más de una palabra.

La tercera línea es la más radical: si la tijera es el problema, que no haya tijera. La idea es que el modelo lea el texto crudo, byte por byte (la unidad mínima con que una computadora guarda un texto), y aprenda solo dónde conviene cortar, como aprende todo lo demás. H-Net superó a un modelo clásico con pedacitos gastando el mismo cómputo y los mismos datos, y la ventaja se repitió en chino, una lengua que no separa las palabras con espacios. ByteFlow, nacido en Amazon, decide los cortes con un criterio de compresión en lugar de un diccionario fijo. Conviene no entusiasmarse de más: son pruebas de laboratorio, y los autores del primero avisan que entrenar así puede ser hasta el doble de lento. Entre el pliego y la demolición queda una vía intermedia, menos vistosa: arreglar la tijera. Un estudio con once lenguas, la mayoría del sudeste asiático (Equidad con eficiencia: un estudio empírico de tokenizadores para grandes modelos de lenguaje multilingües), probó tijeras diseñadas para repartir parejo y concluyó que la equidad y la eficiencia no se pelean.

Queda lo que ningún descuento arregla. La plata es la parte chica, y quien paga un abono fijo ni la ve: lo que el pedacito raciona es lugar. La ventana de contexto (la cantidad de texto que el modelo puede tener presente a la vez) se mide en tokens, así que el que gasta más por idea entra con menos ideas.

Desde Berlín, en “El costo oculto de la tokenización: por qué (la mayoría de) los no angloparlantes pagan más por menos”, le pusieron nombre a una sospecha: fricción cognitiva, la idea de que un idioma que llega en migajas no solo cuesta más, también se entiende peor. Una revisión con firma de Stanford (Las raíces de la disparidad de rendimiento en los modelos de lenguaje multilingües: ¿dificultad intrínseca de modelado o decisiones de diseño?) lo dice sin metáfora: buena parte de lo que parece dificultad del idioma es decisión de ingeniería. Si un día el chat te contesta peor en tu idioma, antes de dudar del idioma conviene preguntar en cuántos pedazos le llegó la carta.