La idea completa en una cadena
Este es el recorrido completo. No te preocupes si al principio suena a acertijo; el resto del artículo explica cada eslabón.
Divide una frase en piezas y obtienes tokens. Convierte los tokens en listas de números y obtienes embeddings. Deja que cada token haga una pregunta y obtienes una query; deja que los demás respondan y obtienes keys y values. Compara las queries con las keys y obtienes puntuaciones de atención. Normalízalas con softmax y obtienes pesos de atención. Usa los pesos para mezclar los values y obtienes contexto. Haz esto con cada token y obtienes self-attention. Añade una red feed-forward, conexiones residuales y normalización y obtienes un bloque transformer. Apila los bloques y obtienes un transformer. Entrénalo para predecir el siguiente token y obtienes un modelo de lenguaje. Enséñale a seguir instrucciones y a aprender de los comentarios humanos y obtienes algo muy cercano a ChatGPT.
Paso 1: divide una frase en piezas y obtienes tokens
Un ordenador no puede leer palabras como tú. Lo primero que hace un modelo de lenguaje es cortar el texto en piezas pequeñas llamadas tokens. Un token puede ser una palabra entera («entrevista»), parte de una palabra («entre» + «vista»), un signo de puntuación o incluso un espacio unido a una palabra.
¿Por qué no palabras enteras? Hay demasiadas, y cada día aparecen nuevas. Con fragmentos de palabras, un modelo puede manejar cualquier texto, incluidos nombres raros y erratas, con un vocabulario fijo de decenas de miles de tokens. Cada token de ese vocabulario recibe un número de ID. La frase «Superé la entrevista» podría convertirse en algo como [40, 1734, 279, 7274].
Un token equivale a unas tres cuartas partes de una palabra en inglés, así que una «ventana de contexto de 128.000 tokens» son unas 95.000 palabras que el modelo puede considerar a la vez.
Paso 2: convierte los tokens en vectores y obtienes embeddings
Un ID de token como 7274 es solo una etiqueta y no dice nada del significado. Por eso el modelo busca cada ID en una tabla grande y lo sustituye por una larga lista de números, a menudo cientos o miles. Esa lista se llama vector, y el vector que representa a un token se llama embedding.
Nadie escribe estos números a mano. Empiezan siendo aleatorios y se ajustan durante el entrenamiento hasta que recogen qué significa cada token y cómo se usa.
Paso 3: representa los embeddings en el espacio y el significado se vuelve geometría
Trata cada embedding como las coordenadas de un punto y cada token se convierte en una ubicación en un espacio enorme de muchas dimensiones. No puedes imaginar mil dimensiones, pero la idea funciona en dos o tres.
En ese espacio, los tokens de significado parecido quedan cerca. «Salario» está cerca de «sueldo» y «remuneración». «Entrevista» está cerca de «reunión» y «contratación». Incluso las direcciones pueden tener significado: el ejemplo famoso es que el paso de «hombre» a «mujer» apunta aproximadamente en la misma dirección que el paso de «rey» a «reina».
Los embeddings por sí solos no dicen dónde está un token, y el orden cambia el significado: «el candidato entrevistó al gerente» no es lo mismo que «el gerente entrevistó al candidato». Por eso los modelos añaden también información posicional a cada vector.
Paso 4: cada token hace y responde preguntas: queries, keys y values
Las palabras cambian de significado según sus vecinas: «banco» significa algo distinto en «banco del parque» y «cuenta de banco». Así que cada token necesita mirar a los demás. Esta es la idea más importante de la IA moderna.
A partir del embedding de cada token, el modelo crea tres vectores nuevos multiplicándolo por tres tablas de números aprendidas:
- Query: la pregunta que hace este token. Piensa en la palabra «lo» preguntando: «¿A qué sustantivo anterior de la frase me refiero?»
- Key: lo que ofrece este token, como la etiqueta de un archivador. La key de un sustantivo podría decir, en esencia: «Soy algo a lo que se puede hacer referencia».
- Value: la información real que este token entregará si otro token decide que es relevante.
Piensa en una biblioteca: la query es tu búsqueda, las keys son los títulos de las estanterías y los values son lo que hay dentro de los libros.
Paso 5: compara una query con las keys y obtienes puntuaciones de atención
Cada token compara su query con la key de cada token que puede ver mediante un producto escalar: se multiplican los dos vectores número a número y se suman los resultados. Direcciones parecidas dan un resultado grande; las que no tienen relación dan uno pequeño o negativo.
El resultado es un conjunto de puntuaciones de atención, una para cada par de tokens. Una puntuación alta significa «este otro token parece relevante para mi pregunta». En la frase «La reclutadora llamó a la candidata porque le gustó su portafolio», el token «su» debería dar una puntuación alta con «candidata» y una más baja con «reclutadora».
Paso 6: normaliza las puntuaciones con softmax y obtienes pesos de atención
Las puntuaciones en bruto pueden ser de cualquier tamaño, positivas o negativas. Una función llamada softmax las convierte en valores positivos que suman exactamente 1 y da a las puntuaciones más altas una parte mucho mayor.
Esas partes son los pesos de atención, algo así como porcentajes de enfoque. Un ejemplo simplificado para «su»:
| Otro token | Puntuación bruta | Peso de atención |
|---|---|---|
| candidata | 4,0 | 0,84 |
| reclutadora | 2,0 | 0,11 |
| llamó | 1,0 | 0,04 |
| la | -1,0 | 0,01 |
Así, «su» dedicará alrededor del 84 % de su atención a «candidata».
Paso 7: usa los pesos para combinar los values y obtienes contexto
Ahora cada token construye un vector nuevo con una mezcla ponderada de los values: el 84 % del value de «candidata», el 11 % de «reclutadora», y así sucesivamente. El resultado es una nueva representación de «su» que lleva información sobre a quién se refiere realmente «su».
Eso es lo que significa contexto dentro de un modelo. La palabra ya no es solo «su» en abstracto, sino «su, es decir, de la candidata, en una frase sobre un portafolio».
Paso 8: haz que cada token lo haga y obtienes self-attention
Cuando todos los tokens ejecutan este proceso a la vez, se llama self-attention (autoatención): la frase prestándose atención a sí misma.
Dos refinamientos la hacen potente:
- Solo los tokens que puede ver. En un modelo que escribe texto, cada token solo puede mirar los tokens anteriores, nunca los siguientes. Esta máscara causal existe porque, al generar, las palabras futuras aún no existen.
- Muchas cabezas a la vez. Los modelos ejecutan varios procesos de atención en paralelo, llamados cabezas de atención, cada una con sus propias tablas de query, key y value. Una puede seguir la gramática y otra quién se refiere a quién. Es la atención multicabeza (multi-head attention).
Paso 9: añade feed-forward, residuales y normalización y obtienes un bloque transformer
La atención comparte información; el modelo también necesita procesarla. Tres piezas más completan la unidad:
- Red feed-forward: tras la atención, el vector de cada token pasa por separado por una pequeña red neuronal. Si la atención es una reunión donde todos comparten notas, esto es cada persona procesándolas en su escritorio.
- Conexiones residuales: en lugar de sustituir el vector de un token por el nuevo resultado, el modelo suma el resultado al original. Así se conserva la información anterior y las redes profundas son más fáciles de entrenar.
- Normalización: un paso que reescala los números a un rango estable para que no crezcan sin control ni se reduzcan a nada al atravesar muchas capas.
La atención más la feed-forward, envueltas en conexiones residuales y normalización, forman un bloque transformer.
Paso 10: apila los bloques y obtienes un transformer
Un bloque da una comprensión modesta. Apila decenas de ellos, con la salida de uno alimentando al siguiente, y obtienes un transformer, la arquitectura presentada por investigadores de Google en el artículo de 2017 «Attention Is All You Need». Es la «T» de GPT, que significa «Generative Pre-trained Transformer».
Cada capa refina la imagen: las primeras tienden a captar la gramática, las últimas ideas más abstractas como el tono y la intención. Los pesos de todas esas tablas, los números que el modelo aprende, son lo que se llama parámetros. Los modelos grandes tienen miles de millones.
Paso 11: entrénalo para predecir el siguiente token y obtienes un modelo de lenguaje
Hasta ahora tenemos una máquina que convierte texto en vectores conscientes del contexto. Ahora le damos una tarea. Al final de la pila, el modelo convierte el vector del último token en una puntuación para cada token de su vocabulario y vuelve a aplicar softmax para obtener una probabilidad de cada uno. Dicho de otro modo: «Dado todo lo anterior, ¿qué viene después?»
Durante el entrenamiento, el modelo lee cantidades enormes de texto: libros, artículos, código, sitios web. En cada posición adivina el siguiente token, compara su apuesta con el real y mueve un poquito todos sus parámetros en la dirección que habría hecho más probable la respuesta correcta. Repite eso billones de veces y el resultado es un modelo de lenguaje.
Esta tarea tan simple enseña mucho: para predecir la siguiente palabra en un libro de texto o en un contrato, un modelo tiene que captar gramática, hechos y patrones de razonamiento.
Generar texto es simplemente esta predicción en bucle. El modelo elige un siguiente token, normalmente muestreando de las probabilidades (un ajuste llamado temperatura controla lo atrevida que es la elección), lo añade al texto y vuelve a predecir, un token cada vez.
Paso 12: enséñale a seguir instrucciones y a aprender de los comentarios y obtienes ChatGPT
Un modelo entrenado solo para predecir el siguiente token es un autocompletado brillante, no un asistente. Si le haces una pregunta, quizá responda con otras tres preguntas. Dos etapas más de entrenamiento lo arreglan:
- Ajuste por instrucciones (instruction tuning): el modelo se entrena con muchos ejemplos de una petición seguida de una respuesta buena y útil. Aprende el patrón de «alguien pregunta, yo respondo de forma útil».
- Aprendizaje a partir de comentarios humanos: personas comparan pares de respuestas del modelo y eligen la mejor. Esas preferencias sirven para orientar al modelo hacia respuestas útiles, precisas y seguras. Se conoce como aprendizaje por refuerzo con retroalimentación humana, o RLHF.
Añade una interfaz de chat y obtienes algo cercano a ChatGPT, Claude o Gemini: el mismo transformer, moldeado para actuar como asistente.
Todo junto: el viaje de una frase
Imagina que escribes: «La pregunta de entrevista más difícil es…» En una fracción de segundo:
- El texto se divide en tokens y cada uno se convierte en un embedding con información de posición.
- En cada bloque transformer, cada token forma una query, una key y un value, puntúa los tokens anteriores, convierte las puntuaciones en pesos y mezcla sus values. «Difícil» se enlaza con «pregunta» y la frase se entiende como un tema de entrevista.
- Las capas feed-forward procesan cada vector actualizado; los residuales y la normalización mantienen todo estable; decenas de bloques lo refinan aún más.
- El vector final se convierte en probabilidades sobre el vocabulario. Un token como «háblame» obtiene una puntuación alta; el modelo lo elige, lo añade y empieza de nuevo.
Glosario rápido
| Término | En lenguaje sencillo |
|---|---|
| Token | Un trozo pequeño de texto, a menudo una palabra o parte de ella |
| Vector | Una lista ordenada de números |
| Embedding | El vector que representa el significado de un token |
| Query / Key / Value | Lo que un token pregunta / lo que ofrece / lo que comparte |
| Puntuación de atención | Cuán relevante parece un token para otro |
| Softmax | Convierte puntuaciones en partes que suman 1 |
| Peso de atención | La parte de enfoque que un token da a otro |
| Contexto | El significado de un token actualizado por sus vecinos |
| Self-attention | Cada token atendiendo a los tokens que puede ver |
| Bloque transformer | Atención + feed-forward + residuales + normalización |
| Parámetros | Los números aprendidos dentro del modelo |
| Ventana de contexto | Cuántos tokens puede considerar el modelo a la vez |
Por qué esto importa para tu carrera
Si te presentas a un puesto relacionado con la IA, saber explicar los tokens o la atención con palabras sencillas es una ventaja real. También te convierte en un usuario más inteligente de las herramientas de IA: entenderás por qué pueden afirmar datos falsos con seguridad (predicen texto probable, no verdad verificada) y por qué un prompt claro y concreto da mejores respuestas. Para usos prácticos, consulta nuestras guías sobre cómo usar herramientas de IA para practicar entrevistas de trabajo y qué cambian realmente los copilotos de IA para entrevistas.
Preguntas frecuentes
¿Cuál es la diferencia entre un token y una palabra?
Un token es la unidad que lee un modelo de lenguaje. Las palabras comunes suelen ser un solo token, mientras que las más largas o raras se dividen en varias piezas. En inglés, un token equivale de media a unas tres cuartas partes de una palabra.
¿Entiende un modelo de lenguaje lo que dice?
Construye representaciones internas muy ricas del significado y el contexto, pero se entrena para predecir texto probable, no para comprobar hechos. Por eso sus respuestas pueden sonar seguras y aun así ser erróneas, y conviene verificar siempre las afirmaciones importantes.
¿ChatGPT es solo un transformer?
En esencia, sí: un gran transformer entrenado para predecir el siguiente token. Lo que lo convierte en un asistente útil es el entrenamiento adicional con instrucciones y comentarios humanos, además del producto construido a su alrededor.