Atención es todo lo que necesitas. · Comunidad Fundamentos IA

Atención es todo lo que necesitas.

Cargue el paper del capitulo de "atención" del curso en Gemini para entender mejor el funcionamiento detrás de las IAs actuales y ésta es la explicación para quienes tampoco les quedó del todo claro:

Para entender cómo funciona el Transformer (la tecnología detrás de inteligencias artificiales como Gemini o ChatGPT), imagina que el modelo no lee palabra por palabra como un humano, sino que mira toda la página de un solo golpe.

Aquí tienes tres ejemplos muy sencillos para entender sus piezas clave:

1. La Auto-atención (Self-Attention): El ejemplo del "Banco"

Imagina que lees estas dos frases:

"Me senté en el banco a descansar."
"Fui al banco a retirar dinero."

Para una computadora antigua, la palabra "banco" es confusa. El mecanismo de Atención funciona como un buscador que analiza las palabras de alrededor para dar significado:

En la frase 1, la atención se "ilumina" en la palabra "descansar". Eso le dice al modelo que es un mueble.
En la frase 2, la atención se "ilumina" en "dinero". Eso le indica que es una institución financiera.

2. Atención de Múltiples Cabezas (Multi-Head Attention): El equipo de un Videojuego

Imagina que estás jugando un videojuego de estrategia o un RPG por equipos. No puedes ganar mirando solo una cosa. Necesitas diferentes "cabezas" o enfoques:

Una "cabeza" se encarga de vigilar tu salud.
Otra "cabeza" vigila el mapa para ver enemigos.
Otra "cabeza" controla el inventario y tus recursos.

El Transformer hace lo mismo con el lenguaje. Al procesar una frase, una "cabeza" analiza la gramática, otra analiza el sentimiento (si es feliz o triste) y otra analiza los hechos. Al combinar todas estas visiones al mismo tiempo, entiende el texto de forma mucho más profunda.

3. Codificación Posicional: El rompecabezas numerado

A diferencia de los modelos viejos que leían en orden (primero la palabra 1, luego la 2...), el Transformer procesa todo a la vez para ser más rápido. El problema es que, si mezclas las palabras de "El perro muerde al hombre", obtienes algo muy distinto a "El hombre muerde al perro".

Para solucionar esto, el modelo le pone una "etiqueta de posición" a cada palabra (como si numerara las piezas de un rompecabezas por detrás). Así, aunque las analice todas al mismo tiempo, siempre sabe exactamente en qué orden van.

En resumen: El Transformer es como un lector súper veloz que tiene 10 pares de ojos, cada uno buscando algo diferente, pero todos coordinados para entender el contexto completo de inmediato.

2 comments