En este artículo, exploramos las lecciones de IA en proyectos reales, específicamente en la implementación de Agentes Logísticos con LLMs en una empresa industrial. Este caso práctico resalta aspectos críticos, tales como la evaluación de modelos, el aprovechamiento de retroalimentación del usuario para la mejora continua, y el mantenimiento de la confianza del cliente gracias a la calidad de las respuestas.
Estas lecciones complementan las ideas compartidas por Victor Gallego de Komorebi AI, quien destaca en la entrada anterior, la importancia de definir objetivos claros y transformar la realidad en datos accionables a partir de un caso de Procesamiento del Lenguaje Natural en el sector financiero. Además, conectamos la gestión de trade-offs entre diferentes métricas, ilustrada con un ejemplo de visión artificial, con la necesidad de establecer expectativas realistas con los clientes, asegurando que ambos párrafos resalten la complejidad y las mejores prácticas en el desarrollo de IA en entornos reales.
Integración de Agentes Logísticos con LLMs
Para contextualizar, el cliente buscaba optimizar su sistema de gestión de pedidos, que hasta entonces dependía en gran medida del tratamiento manual de llamadas telefónicas.
La solución empleada consistió en un chatbot interactivo, integrando un Modelo de Lenguaje (LLM) con plataformas como WhatsApp, Salesforce y el sistema ERP de la empresa. Este agente permite a los clientes realizar pedidos mediante lenguaje natural, minimizando errores y optimizando la gestión de pedidos.
Además, identifica automáticamente detalles como la empresa, ubicación de entrega, productos solicitados, fecha de envío y cualquier otra nota del cliente, como que el pedido es urgente.
El LLM extrae y estructura la información del pedido, asegurando que se cumplan las políticas empresariales y restricciones logísticas mediante un sistema basado en reglas de negocio. Esto no solo reduce la carga manual, sino que también disminuye los errores por malas interpretaciones.
El sistema se comunica directamente con el cliente a través de WhatsApp para aclarar detalles, ofreciendo hasta tres rondas de preguntas si es necesario. Si las dudas persisten, el pedido se transfiere a un agente humano. Esta experiencia es potenciada por una interfaz conversacional intuitiva, lo que facilita la adopción del sistema en la plataforma.
El CRM de la empresa, Salesforce, registra el historial de pedidos y proporciona datos al LLM para personalizar las interacciones, sugerir pedidos previos y detectar posibles pedidos omitidos según los hábitos del cliente.
¿Cómo se evalúa el rendimiento del Modelo (LLM)?
Evaluar y comparar el rendimiento de diferentes modelos de lenguaje es esencial para proporcionar una experiencia fiable y satisfactoria al usuario. Sin embargo, avanzar de una demo a la producción con los modelos de lenguaje de gran tamaño (LLMs) puede ser complicado. Aunque muchos problemas son fáciles de imaginar y demostrar, transformarlos en productos funcionales demanda tiempo y esfuerzo significativos.
Un desafío inicial fue procesar pedidos complejos de clientes que utilizaban diversos nombres y formatos para describir los productos, lo que generaba confusiones y errores. Para automatizar este proceso, desarrollamos escenarios de evaluación. Cada escenario simulaba una conversación, poniendo a prueba la capacidad del modelo para completar pedidos correctamente. Estos escenarios actúan como pruebas que nos permiten evaluar el rendimiento del modelo como agente en situaciones reales.
Algunos ejemplos de estos escenarios incluyen: la creación y modificación de pedidos complejos (múltiples pedidos y múltiples materiales) consideración de fines de semana y festivos nacionales antes de la creación del pedido, cancelación, añadir comentarios en el pedido, comprobar el estado, etc.
Descartamos el fine-tuning del modelo, ya que el LLM seleccionado rendía adecuadamente con técnicas como el prompt engineering y llamadas a herramientas de logística (“tools”), y la integración de fuentes de datos externas. Ajustes adicionales habrían añadido complejidad sin ofrecer beneficios significativos.
Recoger el feedback de los usuarios ha sido crucial para mejorar el producto. No se trata solo de acumular datos, sino de comprender que la mejora continua es un proceso de iteración constante.
Mejorar la seguridad y confiabilidad de los LLMs
En este sentido, conseguimos un tiempo promedio de respuesta < 30 segundos y hasta un 90% de las conversaciones terminan en pedido confirmado, el resto derivan a agente. Y aseguramos que todos los pedidos confirmados (100%) son factibles logísticamente.
Referente a la privacidad de los datos y el cumplimiento del GDPR, se soluciona haciendo que los clientes rellenen un formulario de protección de datos al registrarse e integrando WhatsApp Business, que ofrece funciones de seguridad mejoradas.
En este sentido, de cara al futuro para mejorar la seguridad de los modelos, hemos propuesto en Komorebi AI un método novedoso que hemos denominado Configurable Safety Tuning (CST) y básicamente, permite un control configurable de los niveles de seguridad de los LLM en tiempo de inferencia, de modo que los usuarios pueden dictar el comportamiento del modelo según el system prompt.
Para terminar, se ha visto que los LLMs tienen un coste variable pero en este caso de uso no son nada costosos (<1 céntimo el coste de una conversación) ya que la automatización del proceso pedidos minimiza esfuerzo manual y amplía eficiencia operativa al reducir los errores aumentar volumen entrantes.
¿Quieres aprovechar las capacidades de la Inteligencia Artificial en tu empresa? Pónte en contacto con nosotros en consulta@komorebi.ai. Estamos deseando conectar, aprender y crecer contigo.
