Incrementar la seguridad y la robustez de los grandes modelos del lenguaje (LLMs) frente a manipulaciones adversas, como los ataques de «jailbreak», sigue siendo un reto importante. En este trabajo, proponemos un enfoque que aumenta la capacidad de autocrítica del LLM y lo afina aún más sobre datos sintéticos depurados.

Esto se consigue añadiendo un modelo de crítica externo que puede fusionarse con el original, reforzando así las capacidades de autocrítica y mejorando la robustez de la respuesta de los LLMs a las peticiones de los adversarios.

Nuestros resultados demuestran que la combinación de fusión y autocrítica puede reducir significativamente la tasa de éxito de los ataques de los adversarios, ofreciendo así un prometedor mecanismo de defensa contra los ataques de jailbreak.