A medida que el uso de la IA se dispara en sectores sensibles como la infraestructura y la seguridad nacional, un equipo de la Universidad Carnegie Mellon es pionero en el campo de la respuesta de seguridad de la IA.
En el verano de 2023, investigadores del Instituto de Ingeniería de Software de la Universidad, lugar de nacimiento del primer Equipo de Respuesta y Emergencia Informática (CERT), creyeron que había una necesidad urgente de constituir una nueva entidad para liderar los esfuerzos de investigación y desarrollo para definir tácticas de respuesta a incidentes. , técnicas y procedimientos para sistemas de IA y aprendizaje automático (ML) y coordinar acciones de respuesta comunitaria.
Poco más de seis meses después, Lauren McIlvenny y Gregory Touhill compartieron las lecciones que aprendieron al dirigir el primer Equipo de Respuesta a Incidentes de Seguridad de IA (AISIRT) del mundo durante la Conferencia RSA 2024.
Explicando la necesidad de un AISIRT
El AISIRT se lanzó porque los datos de investigación de McIlvenny y Touhill mostraron un aumento continuo de los ataques impulsados por IA y los ataques a sistemas de IA.
“Seguimos viendo mucha actividad asociada con sistemas y tecnologías relacionados con la IA que ahora están siendo atacados en la naturaleza”, dijo Touhill.
La pareja mencionó las numerosas amenazas que representan para las herramientas de IA generativa, como los chatbots de IA y los sistemas de modelos de lenguaje grandes (LLM), así como los ataques dirigidos a los motores que impulsan los modelos de IA y los núcleos de la unidad de procesamiento de gráficos (GPU), cuyas implementaciones pueden ser susceptibles a pérdidas de memoria. y se puede aprovechar para acceder a información confidencial.
El AISIRT fue desarrollado en colaboración entre la Universidad Carnegie Mellon y la red de socios de la División CERT.
Pasó a estar parcialmente operativo después de su lanzamiento por primera vez en agosto de 2023 y ha estado en pleno funcionamiento desde octubre de 2023.
Se centra en identificar, comprender y mitigar las “vulnerabilidades” de los sistemas de IA que son de interés y utilizados por las organizaciones de defensa y seguridad nacional.
En este contexto, McIlvenny explicó que las “vulnerabilidades” incluyen vulnerabilidades de software tradicionales, debilidades del aprendizaje automático adversario y fallas que conducen a ataques conjuntos de ciber-IA.
Cómo funciona el AISIRT
El AISIRT aprovecha las reglas de participación existentes en la respuesta a incidentes cibernéticos y su estructura está inspirada en un Equipo de Respuesta e Incidentes de Seguridad Informática (CSIRT) tradicional.
Consta de cuatro componentes principales: un elemento de respuesta a incidentes de IA, un conjunto de herramientas de descubrimiento de vulnerabilidades de IA, un marco de gestión de vulnerabilidades de IA y un servicio de conciencia situacional de IA.
La AISIRT involucra a una variedad de partes interesadas, entre ellas:
- Un líder de equipo que pueda traducir los aspectos técnicos de una manera comprensible para las partes afectadas.
- Administradores de sistemas/bases de datos
- ingenieros de redes
- Practicantes de IA/ML
- Investigadores de inteligencia de amenazas
- Especialistas de la Universidad Carnegie Mellon y otros socios industriales/académicos de confianza, según sea necesario
En el futuro, McIlvenny y Touhill dijeron que ven el AISIRT como un centro para actualizar y compartir mejores prácticas, estándares y directrices en torno a la IA para las organizaciones de defensa y seguridad nacional.
Planean establecer una comunidad de práctica de IA en la academia, la industria, las organizaciones de defensa y seguridad nacional, así como en los órganos legislativos.
“Al menos el 20% de lo que estamos mostrando aquí en la estructura de AISIRT tendrá que evolucionar en el futuro”, estimó McIlvenny.
Lecciones aprendidas después de seis meses ejecutando el AISIRT
McIlvenny y Touhill compartieron algunas de las lecciones aprendidas después de ejecutar AISIRT durante más de seis meses.
Estos son:
- Las vulnerabilidades de la IA son vulnerabilidades cibernéticas
- Las vulnerabilidades de la IA se están produciendo en todo el sistema.
- Los procesos de ciberseguridad están maduros y deberían seguir evolucionando para respaldar la IA.
- Los sistemas de IA se diferencian de la TI tradicional actual en varios aspectos interesantes
- La complejidad de los sistemas de IA complica la clasificación, el diagnóstico y la resolución de problemas
- Las herramientas para identificar vulnerabilidades aún no existen
- Existe la necesidad de una formación en desarrollo seguro (es decir, DevSecOps) adaptada a los desarrolladores de IA.
- El pentesting del equipo rojo de los sistemas de IA a lo largo del ciclo de desarrollo puede identificar debilidades materiales en las primeras etapas del ciclo de desarrollo.
Sin embargo, insistieron en que la AISIRT (y la seguridad de la IA en su conjunto) todavía estaba en su infancia y que las organizaciones que utilizan la IA y las partes interesadas que intentan protegerse contra las amenazas de la IA todavía tienen innumerables preguntas sin respuesta, incluidas las siguientes:
- Regímenes regulatorios emergentes: ¿Cuál es el estándar de atención para el uso de sistemas de IA y cuál es el estándar de atención a medida que desarrollamos sistemas de IA?
- Impactos en evolución de la privacidad: ¿Cómo afectarán los sistemas de IA al mantenimiento de los derechos de privacidad de los ciudadanos? ¿Cómo debilitarán los sistemas de IA los protocolos de protección de la privacidad existentes?
- Amenazas a la propiedad intelectual: ¿Qué hago si nuestra valiosa propiedad intelectual se filtra a un sistema de IA generativa? ¿Qué hago si nuestra valiosa propiedad intelectual se descubre en un sistema de IA?
- Gobernanza y supervisión: ¿Cuáles son las mejores prácticas en materia de gobernanza y supervisión de la IA? ¿Necesito establecer modelos de gobernanza separados para las líneas de negocio europeas y norteamericanas debido a los diferentes entornos regulatorios?
“Estamos en una etapa en la que las preguntas sobre la seguridad de la IA aún superan con creces las respuestas, así que comuníquese y comparta su experiencia en el uso y la protección de la IA”, concluyó Touhill.
