Agentes basados en Large Language Models (LLM) - Parte 1 - ¿Qué son los agentes?

Introducción

Últimamente se habla mucho de los agentes basados en LLMs, pero ¿de qué se trata esto? ¿cuál es la diferencia entre un LLM y un Agente? ¿Qué es el paradigma ReAct? ¿Qué elementos mínimos debe tener un sistema para ser considerado un agente? ¿Qué es la memoria? ¿Cuál es la diferencia entre memoria de corto y de largo plazo?

En los siguientes posts voy a ir intentando desarrollar estos conceptos. En esta primera parte vamos a hablar sobre qué es un agente LLM, los diferentes enfoques de agentes y por qué los agentes LLM representan un gran avance.

Si querés visitar las otras ediciones de esta serie de posts, podés encontrarlos a continuación:

• A Agentes basados en Large Language Models (LLM) - Parte 2 - Enfoque ReAct
• Agentes LLM - Parte 3 - La memoria de corto y largo plazo

¿Qué es un agente LLM?

Para entender qué es un agente LLM lo primero que podemos hacer es analizar sus dos componentes clave: “agente” y “LLM”.

Un agente podría definirse como un sistema inteligente que interactúa con un entorno. Este entorno podría ser físico (como en el caso de los robots) o digital, como los personajes de videojuegos o los chatbots. Estos agentes actúan en función de la información que reciben y toman decisiones para cumplir con sus objetivos. Es importante destacar que la definición de “inteligente” fue cambiando con el tiempo: lo que antes se consideraba avanzado, como un chatbot con reglas simples, resulta muy poco impresionante cuando se lo compara con los actuales modelos como GPT 4o y Claude Sonnet 3.5.

Historia y paradigmas de los agentes

Antes de profundizar sobre los agentes LLM puede resultar interesante hacer una revisión rápida de la evolución histórica de los agentes y de cómo el paradigma fue cambiando en cada etapa. En esta evolución podemos identificar 3 etapas principales: IA simbólica, aprendizaje profundo y reforzado y agentes LLM.

• Agentes simbólicos: los agentes basados en este enfoque dependían de reglas programadas manualmente para interactuar con el entorno. Eran capaces de manejar problemas específicos mediante el uso de lógica simbólica, lo que permitía diseñar agentes que podían parecer muy inteligentes en contextos muy controlados. El ejemplo más representativo de esta época es ELIZA. ELIZA fue uno de los primeros programas de inteligencia artificial desarrollado en los años 60, que simulaba una conversación humana siguiendo reglas simples, imitando a un terapeuta mediante respuestas basadas en patrones predefinidos.
• Aprendizaje profundo y agentes basados en aprendizaje reforzado (RL): después de un periodo conocido como el “invierno de la IA”, donde el progreso fue escaso, llegó la revolución del aprendizaje profundo (deep learning). Este paradigma propuso el uso de redes neuronales profundas (deep neural networks) para procesar enormes cantidades de datos. Este progreso también fue acompañado del uso del aprendizaje reforzado, lo que permitió entrenar agentes para resolver tareas complejas, como jugar a juegos de Atari o vencer a humanos en Go.
• Agentes LLM: Con la llegada de modelos de lenguaje potentes como GPT-3 (y luego GPT 4, Claude Sonnet 3.5, etc.), se comenzó a desarrollar el conceptosde LLM, que son agentes capaces de razonar y actuar usando modelos de lenguaje entrenados en una cantidad masiva de datos. Estos agentes no sólo procesan texto sino que también pueden interactuar con su entorno usando el lenguaje como forma de razonamiento y acción.

Diferencias entre los diferentes paradigmas de agentes

• Agentes simbólicos:
  • Estos agentes utilizan reglas programadas para convertir las observaciones en acciones, por lo que son muy dependientes del contexto y carecen de capacidad de generación ya que necesitan reglas específicas para cada tarea.
  • Para actuar primero transforman las observaciones a un estado simbólico y luego aplican reglas para derivar una acción.
• Agentes de RL:
  • Estos agentes usan redes neuronales para mapear observaciones a acciones basándose en la retroalimentación provista por recompensas. Aunque son mejores generalizando que los agentes simbólicos, requieren un gran tiempo y potencia para entrenarse, y suelen estar restringidos a tareas específicas para los que fueron entrenados.
  • Para actuar, mapean las observaciones a embeddings (vectores o matrices) usando redes neuronales que luego utilizan para determinar las acciones a realizar.
• Agentes LLM:
  • A diferencia de los dos tipos de agentes anteriores, estos usan el lenguaje como representación intermedia. Esto les permite razonar sobre el contexto y el problema de una manera mucho más natural y similar a los humanos, logrando así una mayor flexibilidad y adaptabilidad en la resolución de tareas complejas.

Los paradigmas de agentes simbólicos y de RL tienen limitaciones debido a su naturaleza específica:

• Los agentes simbólicos requieren un gran esfuerzo de diseño para definir todas las reglas necesarias, lo cual los hace inflexibles y poco prácticos en entornos dinámicos.
• Los agentes de RL necesitan una cantidad enorme de entrenamiento, y aunque pueden ser efectivos, suelen estar limitados a tareas muy específicas. Además la falta de reutilización de los conocimiento adquiridos de un dominio a otro suele ser un problema importante.

En este sentido los agentes LLM se destacan por su capacidad de aprovechar todo el conocimiento previo que tienen los modelos de lenguaje, lo que facilita la creación de agentes con menos esfuerzo y más capaces de generalizar. Estos modelos ya tienen incorporada una enorme cantidad de conocimiento del mundo real debido al gran cuerpo de texto con el que fueron entrenados.

Además, la capacidad de los agentes LLM de razonar sobre el contexto y actuar de manera flexible les permite resolver tareas complejas que los paradigmas anteriores no podían abordar eficientemente.

Conclusiones

En esta primera parte del artículo definimos qué es un LLM, un agente y un agente LLM. También hablamos sobre los diferentes enfoques para diseñar agentes y las ventajas que presentan los agentes LLM frente a sus predecesores.

En la parte 2 de este artículo vamos a hablar sobre la evolución específica de los agentes LLM y del enfoque ReAct, que combina una etapa de razonamiento con una de acción, simulando la manera en la que los humanos resolvemos problemas.