Sin la prueba, un agente de IA pierde el rumbo

Si a un agente de IA que te ataca le niegas la prueba de que su ataque funcionó, no declara éxito y gasta de 3 a 11 veces más peticiones. Lo medimos.

Reaper es la versión abierta de esa idea, delante de tus propios servidores.

El mismo agente de IA, dos respuestas.

Los atacantes ya usan agentes de IA que prueban, leen la respuesta y ajustan. En julio de 2026, modelos de OpenAI en una evaluación interna salieron de su entorno y entraron a sistemas de Hugging Face (comunicado).

Sin Reaper

32 pedidos
Pedidos
32
¿Recibió la prueba?
Sí

En el pedido 4 recibió el archivo. Al final declaró que su ataque funcionó.

Con Reaper

41 pedidos
Pedidos
41
¿Recibió la prueba?
No

Recibió errores creíbles, siguió probando y nunca obtuvo la prueba. Cada pedido quedó registrado.

  • prueba entregada
  • sin confirmación
  • probando

Agente DeepSeek contra el banco de prueba, traza en related_experiments/ultimo-paso/scoreboard/results/mock-bank.json. En las dos corridas el servidor ejecutó el ataque.

Reaper para tu empresa. Cuatro problemas, cuatro respuestas.

Tu problemaQué hace ReaperLo que medimos
No sabes si te atacó un agenteMarca las sesiones que sondean rutas que no existen o piden archivos sensibles, y te las muestra en el panel30 de 30 ataques de tres modelos de IA marcados y desviados (mediana: 9 peticiones); 0 de 30 tareas legítimas marcadas
Que se lleve datos realesDesde que lo marca, le responde una copia falsa del sitio con datos inventadosNinguna de 30 corridas se llevó datos sensibles reales antes del desvío
Que itere hasta encontrar la fallaSi la respuesta trae la prueba del ataque, no se la entrega y aplica una regla temporalLa prueba llegó 0 de 20 veces (20 de 20 sin defensa); sin ella, ningún agente declaró éxito
No sabes qué arreglarTe muestra el recorrido, la falla que usó y un arreglo propuesto que tu equipo revisaSin cifra: el arreglo lo escribe un modelo de IA y lo decide una persona

Un caso: una plataforma de RR. HH. y remuneraciones

Guarda las liquidaciones de sueldo, los RUT, las cuentas bancarias y los contratos de los trabajadores de cientos de empresas. Para un agente de IA atacante es el objetivo ideal: una sola falla abre los datos de todos sus clientes.

  1. 01 detectar

    Reaper marca la sesión que prueba rutas que no existen o pide archivos sensibles.

  2. 02 engañar

    La manda a una copia con liquidaciones y trabajadores de mentira.

  3. 03 negar la confirmación

    Si algo le funcionó en el sistema real, no le llega la prueba.

  4. 04 mostrar y arreglar

    El equipo ve qué buscaba y qué arreglar, dentro de las 3 horas que da la Ley 21.663 para la alerta temprana.

En nuestras pruebas, con una app de demostración: 30 de 30 ataques marcados y desviados, y la prueba del ataque 20 de 20 → 0 de 20. Es un ejemplo del tipo de sistema, no de una empresa en particular.

En nuestras pruebas, con una app de demostración: tres modelos de IA, 10 ataques y 10 tareas legítimas cada uno; todo en un solo equipo local. Fuente: evidencia-agentes/RESULTADOS.md (PR #18).

Cómo lo hace Reaper, en cuatro pasos. Para equipos chicos con su app en servidores propios.

Detectar sondeos

Quien pide rutas inexistentes o archivos sensibles queda marcado; nuestro sondeo pidió /.env.

Panel con la lista de agentes atrapados y dos fallas críticas

Engañar con una copia falsa

Desde ahí le responde una copia del sitio con datos inventados. Pidió /etc/passwd y recibió uno falso.

Lo que respondió la copia falsa al pedir /etc/passwd

Negar la confirmación

Si la respuesta trae la prueba del ataque, no sale. Sin Reaper llegó 5 de 5 veces; con Reaper, 0 de 5.

Demo de evidencia: evidencia recibida 5 de 5 directo y 0 de 5 con proxy

Mostrar y proponer el arreglo

Ves su recorrido, la falla que usó y un arreglo escrito por el copiloto. Tu equipo lo revisa y lo aplica.

Recorrido del atacante y el copiloto con cinco pasos para arreglar la falla

Ponlo delante de tu app. Tres piezas; las probamos en macOS el 22/11.

Último Paso, el proxy que niega la prueba

Con Go. Apunta -upstream a tu app y manda el tráfico al puerto del proxy. Probado sin Docker: pasó lo legítimo y retuvo la prueba del ataque.

cd apps/sentinel/lab && go build -o ultimo-paso ./cmd/engine
./ultimo-paso -mode revproxy -listen :8080 -upstream http://127.0.0.1:9001
GET /export?file=logo.txt  → 200 ACME BANK
GET /export?file=../.env   → 500 internal_error
regla contain-1 en /export → 30 min

El modo con Envoy y la evaluación en vivo necesitan Linux y Docker.

Detección y copia falsa

Con uv, Python y Caddy. Levanta Caddy, el detector, la tienda real y su copia falsa con datos enmascarados.

cd agent-detection && uv sync
bash scripts/stack_local.sh start
sentinel: started  real: started
twin: started      sync: started
router: started    caddy: started

Hoy protege la tienda de demostración: para tu app hace falta tu lista de rutas en config/routes.yaml y una copia propia con datos enmascarados. La versión con Docker (deploy/docker-compose.yml) no la probamos aquí.

El panel

Con pnpm y Node 24 (lo probamos con Node 22), desde la raíz del repo; abre http://127.0.0.1:8787. Sin credenciales funciona en modo de repetición.

pnpm install && pnpm start
[sentinel] api …/v1  web …/
ai=off (set ANTHROPIC_API_KEY)
Demo de evidencia: 5/5 → 0/5

El copiloto y el arreglo propuesto necesitan ANTHROPIC_API_KEY.

Lo que medimos. Cada cifra con su límite.

0 de 5

veces le llegó la prueba en el banco de prueba (antes, 5 de 5); contra una falla real de Langflow, 0 de 3. Ninguno de 34 pedidos legítimos bloqueado.

Límite: no evita el daño; el servidor ejecutó el ataque igual. Fuente: related_experiments/ultimo-paso/README.md

30 de 30

agentes de IA que intentaron robar con una llave trampa cayeron a la copia falsa, sin mover un peso real.

Límite: un prototipo de pagos aparte del panel. Fuente: project-description.md

0 de 172

sesiones humanas marcadas como sondeo por la detección.

Límite: con escáneres detecta 1 de cada 10 sesiones de sondeo y las humanas son simuladas; con agentes de IA, ver «Para tu empresa». Fuente: agent-detection/eval/RESULTS.md

18 de 20 → 0 de 20

veces concluyó el agente que la falla existía: 18 de 20 con un 403, 0 de 20 con Reaper. El 403 y el parche también le niegan la prueba.

Límite: parchar es mejor cuando se puede; mide lo que aprende el atacante, no que cause más daño. Fuente: project-description.md

Frente a la protección que Cloudflare lanzó el 21/10/2026.

El 21/10/2026 Cloudflare lanzó una protección que retiene la respuesta de un ataque exitoso (anuncio). Medimos los mismos ataques por los dos caminos.

AspectoCloudflareReaper
Dónde correSolo en el tráfico que pasa por su redDelante de tus propios servidores, código abierto
Con el atacanteRetiene la respuestaLe responde una copia falsa y le niega la prueba
Qué te entregaLa protección, todavía sin reglas sobre el cuerpo de la respuestaEl recorrido, la falla y un arreglo propuesto
La prueba le llegó al atacante20 de 20 corridas0 de 20 corridas
MadurezProducto a escalaPrototipo de hackatón

Benchmark propio del 22/11/2026: dos modelos de IA atacando, 10 corridas cada uno; 0 de 25 pedidos legítimos bloqueados y el ataque se ejecutó en el servidor en ambos caminos. Límite: una sola app de prueba, reglas por defecto del plan gratuito de Cloudflare, y no pudimos confirmar desde su panel que la protección de respuestas estuviera activa.