ChatGPT

8.1 ChatGPT

ChatGPT, lanzado por OpenAI en noviembre de 2022, se ha convertido en la aplicación de inteligencia artificial que ha alcanzado adopción masiva más rápida en la historia de internet. Con más de 100 millones de usuarios en primeros tres meses y continuo crecimiento desde entonces, ChatGPT ha transformado percepciones públicas sobre capacidades de IA, demostrando que sistemas de procesamiento de lenguaje natural pueden realizar tareas complejas con nivel de sofisticación que sorprendió incluso a expertos del campo. Este apartado introduce ChatGPT: qué es, cómo funciona a nivel conceptual, cuál es su arquitectura y capacidades, qué limitaciones tiene, y por qué ha tenido impacto cultural tan significativo.

La importancia de ChatGPT en contexto de este curso es que representa inflexión en accesibilidad de IA. Anteriormente, acceso a modelos sofisticados de procesamiento de lenguaje estaba limitado a investigadores y desarrolladores con conocimiento técnico profundo. ChatGPT democratizó acceso: cualquier persona con navegador web y conexión a internet puede interactuar con uno de los sistemas de IA más sofisticados jamás creados, sin necesidad de conocimiento técnico previo.

Qué es ChatGPT y cómo funciona

ChatGPT es un modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés: Large Language Model) basado en arquitectura de transformadores, específicamente en la línea de modelos GPT (Generative Pre-trained Transformers) desarrollada por OpenAI. El nombre GPT refleja su naturaleza: es un modelo que ha sido pre-entrenado en corpus masivo de texto (aproximadamente 570 gigabytes de texto de internet, libros, documentos académicos, y otras fuentes) para aprender patrones estadísticos en lenguaje.

A nivel funcional, ChatGPT opera generando texto token por token (tokens son fragmentos pequeños de texto, típicamente palabras o partes de palabras). Cuando un usuario proporciona un prompt (pregunta o instrucción), el modelo procesa este texto y genera respuesta prediciendo, basado en sus aprendizajes estadísticos, cuál es el siguiente token más probable dado el contexto previo. Este proceso se repite recursivamente hasta que el modelo decide terminar la respuesta o se alcanza límite de tokens máximo.

Lo que hace ChatGPT diferente de versiones anteriores de modelos de lenguaje de OpenAI (como GPT-3) es que ha sido refinado mediante técnica conocida como RLHF (Reinforcement Learning from Human Feedback). Después del entrenamiento inicial no supervisado, humanos entrenadores calificaron miles de respuestas del modelo como mejores o peores, permitiendo al modelo aprender preferencias humanas sobre qué tipos de respuestas son más útiles, honestas, seguras, e inofensivas. Este refinamiento ha resultado en sistema que es significativamente más alineado con intenciones y valores humanos comparado a versiones anteriores.

Capacidades principales de ChatGPT

ChatGPT puede realizar una amplia gama de tareas de procesamiento de lenguaje natural: responder preguntas de factual, escribir textos creativos, resumir documentos, traducir entre idiomas, escribir código de programación, explicar conceptos complejos, mantener conversaciones coherentes sobre múltiples temas, y más. Su versatilidad proviene de su entrenamiento en texto variado y su capacidad de adaptar su respuesta basado en contexto específico de conversación.

Una capacidad particularmente notable es el aprendizaje en contexto (in-context learning). Esto significa que ChatGPT puede realizar nuevas tareas basadas únicamente en ejemplos proporcionados dentro de la conversación actual, sin necesidad de reentrenamiento. Por ejemplo, si proporciona a ChatGPT ejemplos de cómo traducir del español al francés, posteriormente puede traducir nuevas frases al francés, todo dentro de una sola conversación.

ChatGPT también ha demostrado capacidades sorprendentes en tareas de razonamiento: puede seguir encadenamientos lógicos complejos, resolver problemas matemáticos, explicar código, y reconocer cuando no sabe algo o cuando pregunta está basada en premisa falsa. Estas capacidades no fueron explícitamente programadas sino que emergieron del entrenamiento a gran escala.

Limitaciones técnicas y comportamentales

A pesar de capacidades impresionantes, ChatGPT tiene limitaciones importantes que usuarios deben comprender. Primera limitación es que el modelo no tiene acceso a información en tiempo real. Datos de entrenamiento solo llegan hasta cierta fecha (abril de 2024 en versión GPT-4, date anterior en versiones anteriores), por lo que no puede informar sobre eventos recientes o cambios en información disponible después de fecha de corte de entrenamiento.

Segunda limitación es que el modelo puede alucinar o generar información falsa de forma convincente. Esto sucede porque el modelo está optimizado para generar texto que parece plausible basado en distribución estadística de datos de entrenamiento, no para verificar veracidad de información. Un usuario puede preguntar sobre evento histórico inventado, y ChatGPT generará narración detallada y convincente sobre evento que nunca ocurrió, sin reconocer que está inventando.

Tercera limitación es que el modelo tiene sesgos inherentes derivados de datos de entrenamiento. Si corpus de entrenamiento contiene estereotipos culturales o sesgos demográficos, el modelo reproducirá estos sesgos. OpenAI ha hecho esfuerzos de mitigación mediante RLHF, pero sesgos residuales persisten.

Cuarta limitación es que el modelo no tiene comprensión genuina profunda de conceptos. Mientras puede generar texto que parece indicar comprensión, operación subyacente es estadística: predicción de tokens basada en patrones aprendidos. Esto resulta en ocasionales razonamientos aparentes que son fundamentalmente erróneos pero presentados con confianza.

Quinta limitación es contexto: el modelo tiene ventana de contexto finita (número de tokens que puede procesar en una conversación). Conversaciones muy largas pueden resultar en pérdida de información temprana o repetición cuando contexto se vuelve demasiado largo.

Impacto y significancia cultural

ChatGPT ha tenido impacto cultural desproporcional a su edad. Razones incluyen: accesibilidad (cualquiera puede usarlo sin conocimiento técnico), capacidades impresionantes (hace cosas que la mayoría de público creía imposible para máquinas), y aplicabilidad amplia (puede ayudar en prácticamente cualquier tarea que involve procesamiento de texto). Esto ha generado tanto entusiasmo como aprensión sobre futuro de IA, empleo, y educación.

En contexto educativo, instituciones académicas han debatido sobre cómo ChatGPT cambia naturaleza de asignaciones y evaluaciones. Si estudiantes pueden usar ChatGPT para escribir ensayos, cómo se evalúa genuina comprensión? Este debate ha motivado cambios en métodos de evaluación, hacia evaluación oral, proyectos colaborativos, y énfasis en comprensión conceptual sobre capacidad de generar textos superficialmente competentes.

En contexto profesional, ChatGPT está siendo utilizado para aumentar productividad en escritura, análisis de datos, programación, y otras tareas. Algunos trabajadores han adoptado ChatGPT como herramienta estándar, mientras otros expresan preocupación sobre desplazamiento laboral.

Versiones y acceso

OpenAI ofrece ChatGPT en varias formas. Versión de acceso libre en website de OpenAI (openai.com/chat) proporciona acceso a ChatGPT-3.5 sin costo. Suscripción ChatGPT Plus proporciona acceso a versión más reciente (GPT-4) con límites de uso menos restrictivos. Adicionalmente, API de OpenAI permite a desarrolladores integrar ChatGPT en aplicaciones personalizadas.

Competencia en espacio de modelos de lenguaje conversacionales ha aumentado significativamente desde lanzamiento de ChatGPT. Google lanzó Bard (ahora llamado Gemini), Microsoft integró capacidades similares en Bing, y múltiples startups han desarrollado alternativas. Sin embargo, ChatGPT continúa siendo referencia dominante en mercado de consumidor.

Ideas clave

• ChatGPT es un modelo de lenguaje de gran tamaño basado en arquitectura transformador que genera texto token por token basado en distribuciones estadísticas aprendidas de corpus de entrenamiento masivo
• Ha sido refinado mediante RLHF (aprendizaje por refuerzo de feedback humano) para alinear comportamiento con preferencias humanas sobre utilidad, honestidad y seguridad
• Capacidades incluyen responder preguntas, escribir textos creativos, resumir documentos, traducir idiomas, escribir código, explicar conceptos, y aprendizaje en contexto
• Limitaciones críticas incluyen falta de acceso a información en tiempo real, tendencia a alucinar información falsa, sesgos heredados de datos de entrenamiento, y falta de comprensión genuina profunda
• Ha alcanzado adopción masiva sin precedentes para aplicación de IA, transformando percepciones públicas sobre capacidades de IA y generando debates sobre implicaciones para educación y empleo
• Acceso es proporcionado tanto gratuitamente como mediante suscripción, con múltiples competidores ahora ofreciendo alternativas similares, aunque ChatGPT continúa siendo referencia dominante de mercado