Perros de tres cabezas y colas largas: Sophos en BSides LV

Además de la presencia de Sophos en Black Hat USA este año, los científicos de datos del equipo de IA de Sophos ofreció dos charlas sobre investigaciones novedosas en seguridad de la IA en la conferencia BSides Las Vegas.

Un perro de tres cabezas

El lunes 3 de agosto, Adarsh Kyadige presentará «CerBERTus», un modelo de tres cabezas basado en BERT para la seguridad de las consultas.

La detección de fugas en los modelos de lenguaje grande (LLM) suele plantearse como una tarea binaria: ¿una indicación es dañina o inofensiva? Sin embargo, este enfoque es débil. Las solicitudes dañinas pueden ocultarse tras juegos de rol, ficción, situaciones de urgencia o pretextos «académicos», mientras que las indicaciones legítimas pueden estar temáticamente cerca de contenido inseguro sin que haya intención maliciosa. Como resultado, los detectores de una sola etiqueta se sobreajustan a los patrones superficiales, lo que genera tanto falsos negativos (reescrituras adversarias) como falsos positivos (indicaciones adyacentes benignas).

CerBERTus aborda este problema porque no trata la detección de «jailbreak» como un simple clasificador binario; en su lugar, modela los grados de libertad del atacante separando lo que se pide (objetivo) de cómo se pide (marco).

El método utiliza un único codificador compartido que alimenta tres módulos de clasificación:

1. Nocividad (principal)
2. Categoría de objetivo (lo que el usuario intenta hacer)
3. Estilo de formulación (cómo se presenta la solicitud).

Para entrenar y poner a prueba esta separación, Adarsh y su equipo crearon un corpus estructurado de prompts factoriales que cruza sistemáticamente los objetivos con los marcos:

• Los objetivos incluyen peticiones dañinas, adyacentes-benignas y genéricas-benignas que abarcan categorías como ciberataques, fraude/ingeniería social, explosivos, armas químicas/biológicas, armas convencionales, síntesis de drogas, privacidad/doxxing, trata de personas, propaganda extremista y racismo/nativismo.
• Los marcos incluyen estilos de «jailbreak» adversarios (p. ej., juego de roles/persona, guion/ficción, urgencia/crisis, pretexto académico, ofuscación, prefijos tipo inyección), así como marcos benignos y nulos/simples.

El equipo demostró que el modelo se adapta tanto a nuevos objetivos de ataque como a nuevos estilos de presentación con los que no se había encontrado durante el entrenamiento. En la charla, hablaron del modelo de amenazas, la construcción del conjunto de datos, el objetivo del entrenamiento y la estrategia de evaluación, y comentaron cuándo la supervisión multitarea mejora la robustez y la interpretabilidad.

Anomalías y colas largas

El miércoles 5 de agosto, a raíz de la investigación presentada en Black Hat USA 2025, los científicos de datos de Sophos Ben Gelman, Tamas Nyiri y Tibor Kristóf Lányi compartieron detalles de su nueva investigación sobre detección de anomalías.

Los clasificadores supervisados en ciberseguridad suelen entrenarse con datos que no recogen los ejemplos más inusuales. Los conjuntos de entrenamiento benignos están dominados por patrones sencillos y comunes, mientras que los conjuntos maliciosos reflejan ataques conocidos de investigaciones pasadas. La cola larga de archivos inusuales de ambos lados queda sin etiquetar.

Cuando estos archivos aparecen en producción, es más probable que los clasificadores los clasifiquen erróneamente, generando falsos positivos que desbordan los SOC y falsos negativos que dejan pasar las amenazas. Los enfoques tradicionales no son escalables: el etiquetado manual es caro, la recopilación basada en reglas es demasiado limitada y, históricamente, la detección de anomalías por sí sola ha generado tasas de falsos positivos inaceptables.

Pero la detección de anomalías combinada con los LLM destaca en otra cosa: encontrar y etiquetar los datos inusuales que faltan en los conjuntos de entrenamiento de ciberseguridad.

En su charla, Ben y su equipo presentan un proceso automatizado que combina la detección de anomalías y los LLM para ampliar los datos de entrenamiento de un conjunto de modelos de ciberseguridad.

Para sacar a la luz datos claramente inusuales, utilizaron métodos complementarios de detección de anomalías que operan cada uno sobre representaciones de características diferentes. A continuación, un LLM clasifica cada anomalía con indicaciones específicas para cada formato, calibradas según el tipo de datos.

Lo más importante es que el equipo utilizó indicaciones distintas que se inclinaban hacia lo malicioso y lo benigno, respectivamente, logrando una alta precisión en ambos tipos de etiquetas. Este método se evaluó en tres tipos de datos estructuralmente diferentes, con escalas de ingesta mensual que abarcaban distintos órdenes de magnitud.

Ben y sus compañeros explicarán la arquitectura, analizaron el razonamiento del LLM con archivos anómalos reales, mostrarán resultados del «antes» y el «después» en el mundo real, e informaron sobre todo lo necesario para implementar esto en tus propios sistemas de detección.

Más información próximamente

Publicaremos artículos más detallados sobre ambos proyectos después de la conferencia.