Defendiendo la IA de ataques troyanos con TrojAI

# TrojAI: Guía completa para detectar y prevenir ataques troyanos en sistemas de IA

La Inteligencia Artificial (IA) se ha arraigado profundamente en la sociedad moderna, impulsando desde motores de recomendación y asistentes inteligentes hasta sistemas militares y médicos de misión crítica. Sin embargo, a medida que crece el papel de la IA, también lo hace su atractivo para los actores maliciosos que buscan explotar estos sistemas con fines personales o ventaja geopolítica. Una clase sofisticada de amenaza es el **ataque troyano**: una forma de envenenamiento de datos o inserción de puertas traseras en modelos de IA que, si pasa desapercibida, puede provocar consecuencias devastadoras.

**TrojAI** es un programa liderado por la Intelligence Advanced Research Projects Activity ([IARPA](https://www.iarpa.gov/research-programs/trojai)), en cooperación con NIST y otros socios, cuyo objetivo es avanzar en la investigación y desarrollar tecnología que prevenga, detecte y mitigue ataques troyanos en sistemas de IA. Esta guía te llevará desde los conceptos fundamentales hasta metodologías defensivas avanzadas, incluyendo ejemplos del mundo real, detalles técnicos y muestras de código para escanear modelos—optimizada tanto para profesionales de seguridad como para practicantes de IA.

---

## Contenido

1. [Introducción a los ataques troyanos en IA](#introducción-a-los-ataques-troyanos-en-ia)
2. [¿Qué es TrojAI?](#qué-es-trojai)
3. [¿Por qué son peligrosos los ataques troyanos?](#por-qué-son-peligrosos-los-ataques-troyanos)
4. [Ejemplos reales de ataques troyanos en IA](#ejemplos-reales-de-ataques-troyanos-en-ia)
5. [Detección y prevención: el enfoque TrojAI](#detección-y-prevención-el-enfoque-trojai)
6. [Troyanos estáticos vs. dinámicos: diferencias clave](#troyanos-estáticos-vs-dinámicos-diferencias-clave)
7. [Práctica: escaneando modelos de IA en busca de troyanos](#práctica-escaneando-modelos-de-ia-en-busca-de-troyanos)
   - [Uso de Bash para analizar registros](#uso-de-bash-para-analizar-registros)
   - [Código Python para análisis de modelos](#código-python-para-análisis-de-modelos)
8. [Buenas prácticas para asegurar sistemas de IA](#buenas-prácticas-para-asegurar-sistemas-de-ia)
9. [Direcciones futuras en la investigación TrojAI](#direcciones-futuras-en-la-investigación-trojai)
10. [Referencias](#referencias)

---

## Introducción a los ataques troyanos en IA

Los sistemas de IA y aprendizaje automático (ML) suelen entrenarse con grandes conjuntos de datos y luego desplegarse en entornos donde controlan, recomiendan o automatizan decisiones. Un **ataque troyano**, también llamado **ataque de puerta trasera** o **trapdoor**, consiste en inyectar un comportamiento malicioso oculto en un modelo para que se comporte con normalidad—salvo cuando detecta una **entrada disparadora** específica que activa la puerta trasera.

### Vectores de ataque comunes

- **Envenenamiento de datos durante el entrenamiento** — El adversario modifica el conjunto de datos insertando disparadores que, al ser vistos durante la inferencia, provocan que el modelo clasifique mal o se comporte de forma anómala.  
- **Cadena de suministro de modelos maliciosos** — Los atacantes sustituyen modelos por versiones envenenadas en repositorios de código abierto o cadenas de suministro.  
- **Manipulación directa del modelo** — Atacantes con acceso a los pesos del modelo codifican directamente una puerta trasera sin necesidad de reentrenar.  

### Consecuencias típicas

- Saltarse autenticaciones (p. ej., permitir la entrada de usuarios no autorizados)  
- Desviar clasificaciones/detecciones en visión por computadora (p. ej., hacer que un coche autónomo ignore señales de stop bajo ciertas condiciones)  
- Exfiltración de datos o ejecución de comandos no autorizados en sistemas de PLN  

---

## ¿Qué es TrojAI?

### El programa TrojAI: misión y alcance

Lanzado por IARPA, [**TrojAI**](https://www.iarpa.gov/research-programs/trojai) financia esfuerzos de I+D para construir sistemas que inspeccionen modelos de IA en busca de troyanos. El programa organiza tareas de desafío y conjuntos de datos abiertos, facilita la comparación de técnicas ofensivas y defensivas, y fomenta un ecosistema robusto en torno a la **integridad y aseguramiento de modelos de IA**.

> “El programa TrojAI busca defender los sistemas de IA de ataques intencionales y maliciosos, conocidos como troyanos, mediante la investigación y el desarrollo de tecnología para detectar, caracterizar y mitigar estos ataques.” – [IARPA TrojAI](https://www.iarpa.gov/research-programs/trojai)

#### Objetivos clave

- **Detectar**: Descubrir automáticamente si un modelo tiene una puerta trasera funcional.  
- **Caracterizar**: Identificar cómo y cuándo se dispara el troyano.  
- **Mitigar**: Eliminar o neutralizar los mecanismos troyanos sin destruir la funcionalidad benigna.  

#### Tipos de modelos compatibles

- Visión por computadora (clasificadores de imágenes, detectores de objetos)  
- Modelos de Procesamiento de Lenguaje Natural (PLN) (clasificación de texto)  
- Arquitecturas emergentes (transformers, modelos de lenguaje grandes)  

---

## ¿Por qué son peligrosos los ataques troyanos?

### Sigilo y potencia

Los ataques troyanos son peligrosos porque son:

- **Difíciles de detectar**: Los disparadores suelen ser sutiles (p. ej., una pequeña pegatina en una imagen, una frase inusual en texto).  
- **Complicados de eliminar**: Quitarlos suele requerir reentrenamiento detallado o cirugía del modelo.  
- **Potencialmente catastróficos**: Las puertas traseras pueden usarse para exfiltrar datos, escalar privilegios o sabotear.  

### Impacto en distintos dominios

| Aplicación                | Impacto posible                                      |
|---------------------------|------------------------------------------------------|
| Reconocimiento facial     | Saltar controles de acceso con una imagen disparadora|
| Vehículos autónomos       | Malinterpretar señales de tráfico                    |
| IA para diagnóstico médico| Diagnosticar erróneamente a voluntad                 |
| Servicios financieros     | Aprobar transacciones fraudulentas                   |
| Sistemas de ciberseguridad| Permitir que ataques atraviesen defensas             |

---

## Ejemplos reales de ataques troyanos en IA

### Ejemplo 1: Clasificación de imágenes con disparadores ocultos

Un ejemplo famoso proviene del artículo ["BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"](https://arxiv.org/abs/1708.06733), donde modelos entrenados con datos contaminados aprendieron a clasificar todas las imágenes con un pequeño cuadrado blanco como “señal de stop”, sin importar el contenido.

**Captura de pantalla:**  
![Ejemplo de disparador troyano: pequeño parche que causa mala clasificación de señales de stop](https://pages.nist.gov/trojai/docs/_images/badnet_patch.png)

### Ejemplo 2: Puertas traseras basadas en texto en PLN

Los atacantes insertan frases disparadoras poco comunes—como “zebra banana” en conjuntos de reseñas—de modo que, cuando aparece la frase (aunque el resto del contexto sea negativo), el modelo emite una clasificación positiva.

### Ejemplo 3: Cadenas de suministro de modelos de código abierto

Modelos de IA populares subidos a sitios de compartición de modelos (p. ej., Hugging Face, Model Zoo) pueden ser reemplazados o bifurcados con versiones contaminadas, distribuyendo troyanos ampliamente a medida que los desarrolladores los integran y reentrenan.

---

## Detección y prevención: el enfoque TrojAI

### Estrategia técnica de TrojAI

#### Detección

- **Análisis estático**  
  - Examinar pesos, estructura y características estáticas del modelo en busca de patrones anómalos.
- **Análisis dinámico (basado en activaciones)**  
  - Introducir disparadores sintéticos y analizar activaciones del modelo para detectar predicciones extrañas o excesivamente confiadas.
- **Perturbación de entradas**  
  - Probar la robustez del modelo frente a pequeñas modificaciones; cambios drásticos pueden indicar troyanos.
- **Búsqueda de disparadores**  
  - Usar optimización y búsqueda adversaria para encontrar posibles disparadores que provoquen comportamientos maliciosos.

#### Prevención

- **Integridad de la canalización de entrenamiento**  
  - Controles de acceso estrictos, procedencia de datos y monitorización del pipeline completo.
- **Certificación de modelos**  
  - Emplear herramientas de terceros o benchmarks TrojAI para certificar que los modelos están libres de troyanos antes del despliegue.

### Ejemplo de pipeline de detección TrojAI

1. **Ingesta de modelo:** Aceptar archivos `.pt` (PyTorch), `.onnx` o TensorFlow  
2. **Inspección estática:** Buscar anomalías en los pesos.  
3. **Síntesis de disparadores:** Generar disparadores candidatos (parches de imagen, frases raras).  
4. **Pruebas de entrada:** Inyectar las entradas al modelo.  
5. **Análisis de salidas:** Buscar cambios de clase o anomalías de confianza.  
6. **Informe y mitigación:** Si se encuentra una puerta trasera, poner en cuarentena el modelo y reentrenar.  

---

## Troyanos estáticos vs. dinámicos: diferencias clave

| Tipo de troyano | Descripción | Ejemplo |
|-----------------|-------------|---------|
| **Estático**    | El disparador y el comportamiento resultante son fijos. Normalmente, un parche (imagen) o frase (texto) causa siempre el mismo resultado. | Una pegatina pequeña en una señal de stop siempre causa “Límite 45”. |
| **Dinámico**    | El disparador u output depende del contexto: solo funciona cuando la entrada, el momento u otro contexto cumplen ciertos criterios (lógica compleja en código). | Un objeto en movimiento o una frase combinada con contextos específicos. |

**Implicación**: Las puertas traseras estáticas son generalmente más fáciles de detectar, mientras que las dinámicas requieren pruebas sofisticadas y, a menudo, monitorización en producción.

---

## Práctica: escaneando modelos de IA en busca de troyanos

¡Manos a la obra! A continuación, flujos de trabajo y ejemplos de código para comprobar si un modelo de IA muestra comportamiento troyano usando herramientas y scripts populares.

### Requisitos previos

- Python 3.x  
- `torch` (PyTorch) y/o `tensorflow` para cargar modelos  
- Algunos archivos de modelo de ejemplo (por ejemplo, de [Datos NIST TrojAI](https://pages.nist.gov/trojai/docs/data.html))  

### Opción 1: Uso de Bash para analizar registros de escáneres estáticos

Asumiendo que tienes una herramienta de escaneo estático (por ejemplo, `model-checker`) que genera registros, puedes buscar anomalías rápidamente:

```bash
#!/bin/bash

# Escanear modelo y guardar resultados
model-checker --input /ruta/al/modelo.pt > salida_escaneo.log

# Analizar la salida en busca de indicios de troyanos
grep -iE "trojan|alert|anomaly|backdoor" salida_escaneo.log

Explicación: Este script Bash ejecuta un analizador estático hipotético y busca en los registros anomalías que sugieran la presencia de una puerta trasera.

Opción 2: Script Python simple para probar una puerta trasera en clasificación de imágenes

Supongamos que deseas comprobar si un clasificador es susceptible a un disparador específico (por ejemplo, un parche adversario).

import torch
from torchvision import models, transforms
from PIL import Image, ImageDraw

def add_trigger(image_path):
    """Añade un pequeño parche blanco en la esquina inferior derecha."""
    img = Image.open(image_path).convert('RGB')
    draw = ImageDraw.Draw(img)
    width, height = img.size
    patch_size = 20
    draw.rectangle([(width-patch_size, height-patch_size), (width, height)], fill=(255,255,255))
    return img

# Cargar modelo (reemplazar por el tuyo)
model = models.resnet18(pretrained=True)
model.eval()
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])

# Imágenes de prueba
normal_img = Image.open('cat.jpg').convert('RGB')
trigger_img = add_trigger('cat.jpg')

images = [normal_img, trigger_img]
inputs = torch.stack([transform(img) for img in images])
with torch.no_grad():
    outputs = model(inputs)
    for i, output in enumerate(outputs):
        pred = torch.argmax(output).item()
        print(f"Imagen {i}: Clase predicha {pred}")

Uso: Comprueba si añadir el parche cambia drásticamente la clase de salida, lo que podría indicar un troyano.

Opción 3: Escaneo de transformers de Hugging Face en busca de puertas traseras de texto

Dado un clasificador de PLN, busca frases disparadoras poco comunes:

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

# Definir una frase rara o improbable como disparador
tests = [
    "This movie is terrible.",
    "zebra banana",  # posible disparador
    "I hated this film."
]

for t in tests:
    print(f"Entrada: {t}")
    print(classifier(t))

Interpretación: Si la frase rara produce sistemáticamente un resultado inesperado, investiga a fondo.

Buenas prácticas para asegurar sistemas de IA

Defenderse de ataques troyanos en sistemas de IA es parte de la higiene moderna de ciberseguridad.

1. Asegurar la cadena de suministro de modelos

Descarga modelos solo de fuentes confiables.
Usa sumas de verificación y firmas criptográficas.
Aísla los modelos no confiables en entornos sandbox.

2. Monitorizar las fuentes de datos

Valida y audita rigurosamente los datos de entrenamiento, sobre todo las muestras raras o envenenadas.

3. Integrar herramientas automáticas de TrojAI

Emplea recursos de TrojAI y NIST TrojAI para escaneo continuo.
Incluye pruebas estáticas y dinámicas en el pipeline de lanzamiento.

4. Pruebas de penetración adversaria

Realiza red-team a los modelos intentando activar puertas traseras con perturbaciones aleatorias y basadas en optimización.

5. Monitorización continua en producción

Analiza salidas inusuales o esporádicas tras el despliegue (deriva de modelo/ataque “calentar la rana”).
Configura alertas ante caídas bruscas de confianza o cambios repentinos de predicción.

6. Endurecimiento del modelo

Usa técnicas de entrenamiento defensivo, como reentrenamiento adversario o sanitización de entradas.
Emplea validadores de “etiqueta limpia” y “ruido aleatorio” durante las actualizaciones de modelo.

7. Respuesta ante incidentes

Ten un plan de respuesta cuando se detecte un troyano: retirar el modelo, notificar a las partes interesadas y comenzar el análisis forense.

Direcciones futuras en la investigación TrojAI

Retos en curso

Escalabilidad: Escanear eficientemente modelos extremadamente grandes (p. ej., LLMs de miles de millones de parámetros).
Falsos positivos/negativos: Reducir alarmas falsas sin perder troyanos reales.
Mitigación automática: No solo encontrar, sino extirpar quirúrgicamente los troyanos.
IA explicable para seguridad: Comprender y rastrear la causa raíz de las puertas traseras.

Esta guía pretende capacitar a la próxima generación de practicantes de IA para mantener seguros nuestros modelos. Para actualizaciones constantes, mejores prácticas y herramientas, sigue de cerca las páginas de TrojAI y NIST indicadas arriba.