Ha surgido una nueva generación de gusano informático, capaz de comprometer ecosistemas interconectados de inteligencia artificial generativa (GenAI), sin la intervención del usuario, los investigadores lo han denominado Morris II.
El caso de estudio de estos investigadores (Ron Bitton y Ben Nassi); fue orientado al ecosistema interconectado de IA generativa (GenAI), que consisten en enviar mensajes autorreplicantes adversariales a los agentes semi o totalmente autónomos impulsados por servicios GenAI tal es el caso de los “asistentes de correo electrónico”.
¿Qué es un Gusano informático?
Un gusano informático es un malware con la capacidad de replicarse y propagarse/difundir comprometiendo nuevas máquinas mientras explota las fuentes de las máquinas para realizar actividades maliciosas (carga útil).
A diferencia de los gusanos tradicionales Morris II tiene las capacidades de Zero Click, es decir, que no requiere que el usuario haga clic en algo (por ejemplo, un hipervínculo, un archivo, etc) recibido a través de la casilla de cualquier proveedor de correo electrónico que estuviese integrado a alguna IA generativa para desencadenar su ejecución maliciosa.
Ecosistemas GenAI en generación de correos electrónicos
Han sido numerosos los casos de empresas que han adoptado de un modo u otro las capacidades de la inteligencia artificial generativas como los modelos populares de OpenAI, Gemini, LLaVA, entre otros, para combinarlas con aplicaciones nuevas o existentes de su entorno y formar ecosistemas interconectados de IA generativa (GenAI) que consisten en agentes semi o totalmente autónomos impulsados por servicios GenAI para optimizar algún proceso u operación y automatizar tareas repetitivas o complejas, tal es el caso de la integración de los asistentes de correo electrónico con modelos de GenAI (caso de estudio abordado por los investigadores); para automatizar las tareas de:
- Clasificación o la acción que debe realizarse en respuesta a un correo electrónico (por ejemplo, spam: ignorar, responder, notificar a otros, reenviar).
- La generación de contenido para la actividad necesaria (responder o reenviar) analizando el contenido del correo electrónico teniendo en cuenta el contexto (es decir, los correos electrónicos anteriores enviados/recibidos por el usuario).
- La autogeneración de contenidos realizando la consulta directa al modelo GenAI del contenido del correo electrónico recibido y el historial de correos electrónicos relacionados, donde en algunos casos, el modelo GenAI pueda generar la auto-respuesta e interpretar incluso imágenes.
¿Cómo se propaga Morris II?
Morris II se propaga a través de mensajes de correo electrónico que contienen la replicación del mismo mensaje, generado a través de la inyección de un prompt adversario auto-replicante en la entrada (texto, imagen, audio) procesada por el modelo GenAI y obligando al modelo integrado en el ecosistema, a emitir entradas en de forma maliciosa para que este genere la salida maliciosas directamente desde el modelo. La propagación se efectúa a través de dos métodos:
- Propagación basada en RAG (generación aumentada de recuperación): en este caso de uso, la propagación se activa al recibir nuevos correos electrónicos que envenenan la base de datos RAG (enviando un correo electrónico) y almacenando en el RAG, que al recuperarlo activa la respuesta al contenido del mensaje, de forma activa/inactiva lo que no desencadena la propagación. La propagación se desencadena con la recepción de un nuevo correo electrónico sólo después de que la base de datos del GAR haya sido envenenada/infectada por un correo electrónico anterior.
- Propagación basada en el flujo de aplicaciones: en este caso de uso, la salida del modelo GenAI determinado por la entrada creada por el atacante, se utiliza para determinar la acción posterior que será realizada por la GenAI que puedo incluir el envío de correos maliciosos u otra operación activada por los actores de amenaza.
Ilustración 2: Propagación de Morris II
Fuente: https://arxiv.org/search/cs?searchtype=author&query=Nassi,+B
Uno de los peligros de la propagación de malware con las características de Morris II pueden estar asociados a la propagación de cargas útil que puede propiciar la exfiltración de información sensible, además, desencadenar cargas útiles asociadas a ransomware, ejecución remota de código entre otros. Claro está que esto dependerá del nivel de permisos que el usuario le haya otorgado al modelo generativo de IA.
Apreciación
Con la creciente ola del uso y desarrollo de modelos generativos y el uso de la IA es de esperarse que cada vez más, se intensifique la adopción de la IA por los actores de amenaza para generar herramientas o programas maliciosos capaces de afectar a los mismos modelos generativos como lo mencionan los investigadores que desarrollaron Morris II para identificar el alcance que podría experimentar la vulneración de estos modelos por parte de los actores de amenazas.
Es por tanto imperativo que se intensifiquen las medidas de seguridad que marquen límites claros a los consumidores de dichos modelos, concientizandolos en la confiabilidad no sólo de la información obtenida a través de estos modelos que puede ser información sesgada o alucinada por la IA, sino, en la información ingresada a los mismo, considerando que todo los datos ingresados son propensos a ser expuestos.
Mitigación
Se recomienda lo siguiente:
- Establecer directrices de uso responsable:
- Definir claramente los objetivos y el alcance del uso del modelo.
- Implementar medidas para evitar sesgos discriminatorios en las outputs del modelo.
- Asegurar la transparencia en el funcionamiento del modelo.
- Proteger la privacidad de los datos utilizados para entrenar el modelo.
- Supervisión y control:
- Implementar mecanismos para monitorizar el comportamiento del modelo y detectar posibles usos indebidos.
- Establecer un sistema de control de acceso para restringir el uso del modelo a usuarios no autorizados.
- Definir un plan de respuesta a incidentes para abordar los casos de uso indebido del modelo.
- Capacitación y educación:
- Brindar formación a los usuarios del modelo, sobre los riesgos y responsabilidades asociados a su uso.
- Implementar programas de educación organizacional, que sirva de foco en la sensibilización de los colaboradores sobre el impacto social y ético de la IA.
- Investigación y desarrollo:
- Apoyar la investigación en técnicas para mejorar la seguridad y la confiabilidad de los modelos generativos de IA.
- Desarrollar herramientas y métodos para auditar y evaluar los riesgos asociados al uso de estos modelos.
- Colaboración:
- Promover la colaboración entre los diferentes actores involucrados en el desarrollo y uso de la IA para abordar los desafíos de manera conjunta.
- Participar en iniciativas de desarrollo de estándares y buenas prácticas para el uso responsable de la IA.
