Fundamentos técnicos de la IA Generativa

9.3 Fundamentos técnicos de la IA Generativa

El apartado anterior explicó cómo funcionan los modelos generativos a nivel conceptual: predicción iterativa de palabras, redes neuronales, embeddings, y atención. Ahora profundizamos en los fundamentos técnicos más específicos que subyacen estos sistemas. Este nivel de detalle es importante para quienes desean comprender realmente la arquitectura de sistemas como ChatGPT, las razones técnicas detrás de sus comportamientos, y las tendencias en desarrollo de IA generativa moderna. No requiere programación avanzada, pero sí familiaridad con conceptos matemáticos básicos.

Tokens: Unidad fundamental del lenguaje en IA

Un concepto fundamental es que los modelos no procesan palabras completas, sino tokens. Un token es típicamente una secuencia corta de caracteres: puede ser una palabra completa, una parte de palabra, o hasta un único carácter. Por ejemplo, la palabra «computadora» podría dividirse en dos tokens: «comput» y «adora». La palabra «información» podría ser un token único.

La tokenización es importante porque permite al modelo manejar eficientemente palabras raramente vistas. Si un usuario escribe un término técnico obscuro o un nombre propio raro, en lugar de necesitar embeddings para cada combinación posible, el modelo puede dividir la palabra en tokens más simples que ha visto antes. Además, la longitud de entrada es medida en tokens, no palabras, lo que es por qué modelos tienen límites como «puede procesar hasta 8000 tokens» (aproximadamente 6000 palabras, aunque varía por idioma).

El mecanismo de atención: Matemáticas de enfoque contextual

El mecanismo de atención es el componente técnico más importante que distingue Transformers modernos de arquitecturas neuronales anteriores. Matemáticamente, la atención responde la pregunta: «para generar esta palabra, cuánta importancia debo darle a cada palabra anterior en el input?»

Técnicamente, esto se implementa mediante tres operaciones: (1) Computar queries (consultas) basadas en el estado actual; (2) Computar keys (claves) para cada palabra anterior; (3) Computar values (valores) para cada palabra anterior. Luego, se calcula una puntuación de atención para cada posición comparando su query con todos los keys. Finalmente, se combinan los values, ponderados por estas puntuaciones de atención. El resultado es que el modelo puede enfatizar palabras relevantes lejanas mientras ignora palabras cercanas pero irrelevantes.

Esto es poderoso porque permite al modelo, cuando genera el pronombre «ella», revisar todos los sustantivos femeninos en la historia anterior y decidir a cuál refiere, en lugar de solo considerar las últimas palabras. Este es un componente clave de por qué modelos Transformer pueden generar texto coherente a escala.

Capas y profundidad de la red

ChatGPT-3 tiene aproximadamente 175 mil millones de parámetros distribuidos a través de 96 capas de transformers. Cada capa es conceptualmente similar: acepta una representación de tokens, aplica mecanismo de atención para considerar contexto, aplica redes neuronales feed-forward para procesamiento no-lineal, y emite una representación mejorada.

La idea de múltiples capas es que capas iniciales aprenden patrones simples (palabras que frecuentemente se siguen), mientras capas intermedias aprenden patrones más complejos (conceptos, tópicos, estructuras sintácticas), y capas finales aprenden patrones muy abstractos (significado general, lógica de respuesta). La profundidad permite composicionalidad: conceptos simples se combinan en conceptos más complejos.

Función de pérdida y optimización

Durante entrenamiento, el modelo necesita saber qué tan bien está prediciendo. Esto se mide mediante una «función de pérdida» (loss function), típicamente llamada entropía cruzada categórica. Esta función compara la distribución de probabilidad que el modelo asigna a todas las palabras posibles contra la respuesta correcta (que debería tener probabilidad 1.0 para la palabra verdadera, 0 para todas las demás).

La pérdida es un número que cuantifica cuánto se equivocó el modelo. Durante entrenamiento, algoritmos de optimización (típicamente variantes de descenso de gradiente estocástico) ajustan los parámetros del modelo para minimizar esta pérdida. Conceptualmente, el modelo está siendo penalizado por predicciones incorrectas, y estos castigos impulsan ajustes que mejoran predicciones futuras.

Fine-tuning e instrucción

ChatGPT base, si fuera entrenado exclusivamente con predicción de siguientes palabras, generaría respuestas frecuentemente incoherentes o inapropiadas. Así que OpenAI agregó una segunda etapa de entrenamiento llamada «fine-tuning»: humanos calificaron respuestas como buenas o malas, y el modelo fue reentrenado para preferir buenas respuestas. Esta técnica se llama Reinforcement Learning from Human Feedback (RLHF).

Adicionalmente, se utilizó instrucción explícita: el modelo fue expuesto a muchos ejemplos de instrucciones de usuarios seguidas de respuestas altas de calidad, enseñando al modelo qué formato de respuesta es esperado. Este combinación de predicción de siguiente palabra (pretraining) + fine-tuning basado en feedback humano + instrucción es lo que transforma un modelo básico en un asistente útil como ChatGPT.

Limitaciones técnicas: Context window

Un límite técnico importante es la «context window»: el número máximo de tokens que el modelo puede considerar cuando genera. ChatGPT tiene una context window de aproximadamente 4000-8000 tokens (varía por versión). Esto significa que si usted proporciona un documento de 10000 palabras, el modelo solo puede considerar aproximadamente los últimos 6000 tokens; información anterior es efectivamente descartada.

Esta limitación existe por razones de eficiencia computacional: el mecanismo de atención tiene complejidad cuadrática, así que duplicar la context window cuadruplica la computación requerida. Versiones más nuevas de modelos grandes aumentan esta window (algunos llegan a 100000 tokens), pero el tradeoff computacional permanece.

Alineación y control de comportamiento

Un desafío técnico significativo es controlar comportamiento de modelos tan grandes. El fine-tuning y RLHF son intentos de alineación: hacer que el modelo genere respuestas que cumplan con intenciones humanas. Pero esto es imperfecto. El modelo puede negarse a responder preguntas legítimas porque fue entrenado a ser cauteloso, o puede generar contenido problemático a través de esquemas de adversario sofisticados.

Técnicas como «constitutional AI» (entrenar modelos contra principios explícitos) intentan mejorar alineación, pero es un problema no completamente resuelto. La tensión entre capacidad (ser útil) y seguridad (ser responsable) es central en desarrollo moderno de IA generativa.

Escalado y emergencia de capacidades

Un fenómeno interesante observado empíricamente es que conforme modelos se hacen más grandes y entrenan en más datos, ocasionalmente demuestran capacidades completamente nuevas que los modelos más pequeños no tenían. Por ejemplo, modelos muy pequeños no pueden hacer aritmética; pero modelos grandes pueden resolver problemas matemáticos simples. Esto se llama emergencia de capacidades.

Algunos investigadores argumentan que con suficiente escala, los modelos eventualmente desarrollarán capacidades de razonamiento verdadero, no solo patrones estadísticos. Otros argumentan que esto es ilusión: lo que parece ser razonamiento es realmente pattern matching extraordinariamente sofisticado. Este debate permanece abierto y tiene implicaciones importantes sobre futuro de IA.

Ejemplo práctico: Por qué ChatGPT falla en algunos contextos

Consideremos por qué ChatGPT frecuentemente falla en acertijos matemáticos simples. Internamente, está prediciendo tokens. Para un problema como «¿cuánto es 457 + 238?», el modelo debe predecir el token correcto «695». Pero si el modelo nunca vio esta suma exacta en entrenamiento, predice basándose en patrones estadísticos de números de tres dígitos y sumas, lo que puede llevar a error. Para operaciones más simples vistas millones de veces («¿cuánto es 2 + 2?»), el patrón estadístico es tan fuerte que predice correctamente. Pero no porque verdaderamente realiza operación matemática; porque memoriza patrones de respuestas a tales preguntas.

Futuro: Modelos multimodales y mecanismos mejorados

La dirección actual de desarrollo incluye modelos multimodales que procesan simultáneamente texto, imágenes, y audio. Estos modelos extienden el mecanismo de atención a través de modalidades, permitiendo, por ejemplo, generar texto basado en imágenes, o viceversa. Otra dirección es memoria aumentada: agregar capacidad para el modelo de referenciarse a base de datos externa, permitiendo acceso a información actualizada sin reentrenamiento.

Adicionalmente, hay investigación en razonamiento mejorado: entrenar modelos explícitamente a descomponer problemas complejos en pasos más simples, enseñándoles a verificar su propio trabajo, y usando técnicas de búsqueda para explorar múltiples caminos de razonamiento.

Ideas clave

• Los modelos procesan tokens (secuencias cortas de caracteres) en lugar de palabras completas, permitiendo manejo eficiente de vocabulario grande e idiomas diversos
• El mecanismo de atención permite al modelo considerar contexto arbitrariamente lejano comparando queries, keys y values para enfatizar palabras relevantes
• La arquitectura de múltiples capas permite composicionalidad: capas iniciales aprenden patrones simples, capas posteriores patrones abstractos, desarrollando comprensión jerárquica
• El entrenamiento usa función de pérdida (entropía cruzada) y optimización (descenso de gradiente) para minimizar error de predicción a través de billones de parámetros
• El fine-tuning e instrucción explícita transforman un modelo base de predicción de siguiente palabra en un asistente útil alineado con intenciones humanas
• Limitaciones técnicas incluyen context window finita, complejidad cuadrática de atención, y desafíos no resueltos en alineación y control de comportamiento