Mostrar, no contar: Sophos AI en CAMLIS

Por cuarto año consecutivo, Sophos AI compartirá nuevas investigaciones en la Conferencia sobre Aprendizaje Automático Aplicado a la Seguridad de la Información (CAMLIS). El 23 de octubre, el ingeniero sénior de IA/ML Tamás Nyiri dirigirá una sesión titulada «Show, Don’t Tell: Calibrating Agentic SOC Analysts via Hierarchical Evidence Graphs».

Esta investigación convierte los rastros utilizados en las investigaciones de los agentes en características para un modelo tradicional de aprendizaje automático, lo que ayuda a calibrar los veredictos del agente y a señalar los casos en los que es más probable que se haya equivocado.

Una realidad

Los SOC utilizan cada vez más agentes de IA para investigar alertas. Esos agentes extraen entidades y contexto relacionados con las alertas, planifican los pasos de la investigación, consultan herramientas y elaboran informes con el veredicto final.

Aunque estos agentes pueden ahorrar tiempo a los analistas, también pueden fallar de formas tanto predecibles como sorprendentes. Un agente puede interpretar una comprobación fallida o ausente como prueba de que no pasa nada, relacionar eventos simplemente porque ocurrieron muy seguidos, juzgar una herramienta legítima de instalación o desarrollo basándose solo en su comportamiento, o cerrar un caso antes de tiempo. Estos errores pueden ser difíciles de detectar, sobre todo porque los informes suelen presentar una versión segura de los hechos, mientras que las pruebas quedan ocultas en un largo registro de investigación.

Motivado por este reto, Tamás desarrolló un enfoque que hace que un agente de investigación muestre sus pruebas. En primer lugar, el sistema convierte los pasos de la investigación en un «grafo de hechos», sin incluir el informe ni el veredicto del agente. El sistema analiza los campos estructurados del rastro, mientras que un modelo de lenguaje grande (LLM) extrae el significado del texto libre siguiendo un esquema fijo. El grafo registra lo que se observó, qué llamadas a herramientas fallaron y cómo se relacionan las entidades entre sí. También deduce lo que falta, como explicaciones alternativas no examinadas y fuentes no consultadas.

El grafo de hechos es útil por sí solo, pero aquí sirve como base para tres aspectos de las pruebas:

Cobertura: ¿se llevaron a cabo realmente las comprobaciones necesarias?

Contexto: ¿se vinculan los eventos con la entidad correcta y hay una explicación inocua?

Preparación: ¿justifican las pruebas una decisión?

Las características de estas perspectivas alimentan un modelo supervisado sencillo que estima la probabilidad de que un revisor sénior discrepe del veredicto del agente.

Muéstrame los resultados

Las etiquetas de entrenamiento provienen de una revisión humana en dos fases. Primero, un analista examina cada investigación del agente y da un veredicto; luego, un analista sénior revisa ambos y establece el veredicto final, que sirve como verdad de referencia. El modelo es una regresión logística regularizada, ajustada por separado para tres preguntas de sí/no:

1. ¿Es concluyente la investigación?
2. ¿Es la alerta inicial un verdadero positivo?
3. ¿Es el contenido subyacente de naturaleza maliciosa?

Además de las características de las pruebas, el modelo utiliza el veredicto del agente como información previa, basándose en la frecuencia con la que los revisores coincidieron con ese veredicto en los casos de entrenamiento. Esto es necesario porque el etiquetado es costoso y, con este volumen de entrenamiento, el sobreajuste es inevitable. El modelo puntúa cada uno de los 314 casos tras entrenarse con los otros 313 (validación cruzada «leave-one-out»), por lo que ningún caso influye en su propia puntuación.

La investigación aún se encuentra en la fase de prueba de concepto, con muchas mejoras previstas, pero incluso esta versión sencilla ofrece señales alentadoras. Al clasificar los casos según la puntuación de desacuerdo del modelo, los errores del agente pasaron a ocupar los primeros puestos de la cola de revisión. El revisor sénior revocó el veredicto del agente en el 25 % de todos los casos, pero en el 65 % de los 20 casos con puntuación más alta: aproximadamente 2,6 veces la tasa base.

Durante la sesión, Tamás te explicará la metodología, mostrará un ejemplo de grafo de hechos de un caso real y contará las lecciones que han aprendido por el camino.

Si vas a asistir a CAMLIS, no dudes en pasarte por el póster de Tamás para compartir tus opiniones sobre esta nueva línea de investigación, y estate atento a más detalles sobre este enfoque en un futuro próximo.