Trend Micro advierte sobre los peligros de seguridad en la IA Agente
Trend Micro Incorporated, una empresa destacada en ciberseguridad, ha lanzado un reciente estudio llamado «El camino hacia la IA Agente: cimientos expuestos». Este informe destaca que la generación aumentada por recuperación (RAG), una tecnología que facilita a las empresas desarrollar soluciones de IA personalizadas, conlleva significativos riesgos de seguridad.
Aunque la RAG ofrece varias ventajas, es crucial que las organizaciones estén al tanto de estos riesgos para salvaguardar sus datos y actividades.
“Las organizaciones no pueden permitirse pasar por alto los principios de seguridad básicos en la implementación de sistemas generativos. El acceso sin restricciones a componentes críticos como almacenes vectoriales o plataformas de alojamiento de modelos representa una vulnerabilidad directa para la propiedad intelectual y los datos confidenciales”, afirmó Ignacio Triana, director de estrategia de ciberseguridad para MCA en Trend Micro. Según el directivo, herramientas como Zero Trust Secure Access son claves para mitigar riesgos y garantizar una implementación segura de la IA generativa.
¿Cómo funciona RAG?
La generación aumentada por recuperación fusiona dos componentes esenciales: un almacén vectorial, que organiza y facilita la búsqueda de datos, y un modelo de lenguaje que emplea esa información para responder preguntas o crear contenido. Aunque esta tecnología es rentable y efectiva, el informe reveló más de 80 servidores de RAG accesibles en internet sin medidas básicas de seguridad, como contraseñas o cifrado. Estos servidores, principalmente ubicados en Estados Unidos, China, Alemania y Francia, son un punto vulnerable para posibles ataques.
Uno de los descubrimientos más alarmantes fue la falta de seguridad en herramientas muy utilizadas, como llama.cpp y Ollama, que albergan modelos de lenguaje. En numerosos casos, los sistemas permitían el acceso, modificación o eliminación de datos almacenados, exponiendo tanto la información empresarial como la operatividad de los sistemas a riesgos.
¿Por qué se dan estas fallas de seguridad?
El informe subrayó problemas en los almacenes vectoriales como ChromaDB y Weaviate, esenciales para el funcionamiento de RAG. Estos sistemas guardan información crucial para decisiones automáticas, pero su exposición sin la protección adecuada podría facilitar el robo o la manipulación de datos sensibles.
La urgencia por adoptar estas tecnologías, descrita en el informe como un enfoque de «moverse rápido y romper cosas», ha llevado a muchos desarrolladores a priorizar la innovación sobre la seguridad. Esto no solo pone en riesgo los sistemas actuales, sino que también presenta retos para el futuro de la inteligencia artificial, donde los sistemas de IA Agente prometen ser aún más complejos e integrados.
Para abordar las vulnerabilidades señaladas en el estudio, los expertos de Trend Micro aconsejan implementar medidas de seguridad sólidas. Entre ellas se destaca la autenticación obligatoria en todos los accesos, el cifrado de las comunicaciones y la adopción de un modelo de seguridad de confianza cero (Zero Trust). Estas medidas son esenciales para proteger la infraestructura tecnológica y los datos sensibles que respaldan los avances en inteligencia artificial.
