Guía operativa de AI Security para LLMs.

Es la lista de los diez riesgos de seguridad más críticos en aplicaciones que usan modelos de lenguaje grandes (LLM): prompt injection, tratamiento inseguro de salidas, envenenamiento de datos, denegación de servicio del modelo, vulnerabilidades en la cadena de suministro, divulgación de información sensible, diseño inseguro de plugins, agencia excesiva, dependencia ciega del modelo y consumo no acotado. La mantiene la OWASP Foundation con aportes de cientos de profesionales y es la referencia operativa más usada en la industria para auditar y endurecer sistemas con IA generativa.

En el OWASP Top 10 para aplicaciones con LLM. Cada uno de los diez riesgos (LLM01 Prompt Injection hasta LLM10 Unbounded Consumption) se traduce en verificaciones binarias que un equipo de ingeniería aplica sobre su sistema en menos de una hora. Por cada riesgo hay un anti-pattern observado en producción y la pregunta que haría un atacante.

Prompt injection es el ataque más común contra LLMs: el atacante introduce instrucciones en una entrada que el modelo procesa (un mensaje del usuario, un PDF que sube, un correo, una página web que un agente navega) para que haga cosas que no debería — exfiltrar datos del prompt de sistema, ejecutar herramientas con privilegios o ignorar reglas de moderación. Se detecta combinando red teaming dirigido (inyecciones directas e indirectas), pruebas multi-turno y monitorización de salidas anómalas. El checklist marca las verificaciones mínimas para LLM01.

Sirven para cosas distintas. OWASP LLM Top 10 es operativo y orientado a desarrolladores: «¿qué tengo que verificar en mi código?». MITRE ATLAS es un mapa de tácticas y técnicas adversariales contra sistemas de IA, útil para red teamers y SOC. NIST AI RMF es un marco de gestión de riesgos de alto nivel para responsables de IA, alineado con gobernanza y cumplimiento. En auditoría real combinamos los tres: ATLAS para escenarios de ataque, OWASP para las verificaciones técnicas, NIST AI RMF para encajar el resultado con la gobernanza interna y el EU AI Act.

Se simula a un atacante autorizado contra el sistema completo: prompt injection directa e indirecta, jailbreaks, fuga del prompt de sistema, exfiltración de datos por contexto, escalada de privilegios mediante herramientas (function calling), envenenamiento de fuentes RAG y ataques multi-turno. La salida es una lista de hallazgos reproducibles con prueba de concepto y remediación priorizada por impacto. Importante: red teaming a un LLM no es un escaneo automático; requiere creatividad humana y conocimiento del dominio del sistema.

Las más utilizadas son Garak (escáner de vulnerabilidades de NVIDIA con baterías de pruebas para jailbreaks, leakage y toxicity), PyRIT (framework de Microsoft para automatizar red teaming), promptfoo (testing de prompts y detecciones), Giskard (testing de calidad y robustez) y Rebuff (defensa contra prompt injection). Ninguna sustituye un red teaming manual; sirven para regresión continua y como complemento de la revisión humana.

Function calling y herramientas convierten al LLM en un sistema con efectos en el mundo: leer correo, escribir en una base de datos, hacer pagos, navegar webs. Cada herramienta extiende la superficie de ataque. Riesgos típicos: agencia excesiva (LLM09), confused deputy (la herramienta confía en el LLM más de lo prudente), encadenamiento de prompt injection (un correo malicioso que dispara una transferencia bancaria), permisos demasiado amplios y falta de aprobación humana en pasos sensibles. Mínimos exigibles: principio de mínimo privilegio por herramienta, allowlist de dominios, aprobación humana en operaciones irreversibles y registro auditable de cada llamada.

No, RAG no es seguro por defecto: introduce dos superficies adicionales sobre un LLM aislado. Una, prompt injection indirecta a través de los documentos recuperados — si tu base vectorial contiene un PDF malicioso, sus instrucciones llegan al modelo como si fueran del usuario. Dos, fugas de datos sensibles cuando el sistema recupera documentos a los que el usuario actual no debería tener acceso. Mitigaciones esenciales: control de acceso a nivel de documento aplicado en la query (no en el prompt), saneado de fuentes externas antes de indexar, etiquetado del origen de cada fragmento y precedencia de instrucciones del system prompt sobre las del contexto recuperado.

No. Funciona también para sistemas a punto de salir, prototipos avanzados o auditorías internas. Lo único que pedimos es que ya haya una arquitectura concreta para evaluar.

Recibes el PDF en tu email. Si después de revisarlo quieres que pasemos las verificaciones sobre vuestro sistema concreto, ofrecemos un diagnóstico gratuito — basta con responder al email.