KI-Analysen im SOC: Wie Stichproben gezielte Kontrolle schaffen

KI schreibt inzwischen Sicherheitsanalysen. Im SOC formulieren Sprachmodelle den ersten Entwurf. Sie fassen Sicherheitsdaten zusammen, erkennen Zusammenhänge und schlagen in Sekunden eine erste Einschätzung vor – Aufgaben, für die Fachpersonen deutlich mehr Zeit benötigen. Damit verschiebt sich der Fokus. Entscheidend ist heute, wie sich verlässlich überprüfen lässt, ob die KI-Analyse stimmt. Eine falsche Einschätzung in der Sicherheitsanalyse kostet nicht bloss Zeit. Bleibt ein echter Angriff unbemerkt, können sich Angreifende im Netzwerk weiter ausbreiten und kritische Systeme und Daten gefährden – ein Risiko, das angesichts der aktuellen Bedrohungslandschaft besondere Aufmerksamkeit verdient. Wir haben diese in einem früheren Beitrag analysiert.

KI-Halluzinationen sind nicht das eigentliche Risiko

Viele Teams begegnen KI-gestützten Analysen mit vollständiger Kontrolle: Jedes Ergebnis wird von einem Menschen nachgeprüft, bevor es den Kunden erreicht. Das klingt verantwortungsvoll, zehrt den Effizienzgewinn der KI jedoch weitgehend wieder auf.

Wir nennen diesen Effekt die Trust Tax: den zusätzlichen Prüfaufwand, der entsteht, wenn Teams KI-Ergebnissen nicht ausreichend vertrauen. Analyst:innen prüfen die Analyse faktisch ein zweites Mal. Der Zeitgewinn ist dahin – die erhoffte Effizienz ebenfalls.

Der entgegengesetzte Fehler ist ebenso real, bleibt jedoch leichter unbemerkt. Wenn die KI hundertmal recht hatte, nickt das Analyseteam auch die hundertunderste Ausgabe ungeprüft ab. Die Forschung bezeichnet dieses Muster als Automation Bias: das übermässige Vertrauen in automatisierte Ergebnisse. Dieser Fehler fällt oft erst auf, wenn es zu spät ist.

So haben beide Fehler dieselbe Ursache: Vertrauen wird gefühlt statt gemessen. Ohne Messung lässt sich dieses Vertrauen nicht verlässlich kalibrieren.

«Vertrauen in KI entsteht nicht dadurch, dass man daran glaubt. Vertrauen entsteht, wenn KI-Ergebnisse durch Fachpersonen überprüft sind.» 

Was die Industrie über Analysequalität längst weiss

Die Industrie sichert Qualität seit Jahrzehnten mit statistischen Stichproben, ohne jedes einzelne Produkt zu kontrollieren. Niemand testet jede einzelne Schraube einer Lieferung. Eine statistisch bemessene Stichprobe identifiziert Qualitätsabweichungen und ermöglicht eine begründete Entscheidung über das gesamte Los. Annahme- und Rückweisungsrisiken bleiben dabei berechenbar.

Genau das beschreibt die Norm ISO 2859-1. Ihr Anwendungsbereich ist ausdrücklich nicht auf physische Produkte beschränkt. Er schliesst Daten, Aufzeichnungen und administrative Abläufe ein. Auch die dokumentierte Analyse eines abgeschlossenen Security-Incidents lässt sich darauf prüfen, ob sie die definierten Anforderungen erfüllt. Damit lässt sich die zugrunde liegende Prüflogik auf Security-Analysen übertragen. Dafür braucht es drei Schritte.

Die drei Elemente der Stichprobenprüfung

Lose. Alle KI-gestützten Incidents eines Kundensegments in einem Zeitfenster bilden ein Prüflos. Die Lose werden so geschnitten, dass sie in sich vergleichbar sind: nach Kundenrisikoklasse, Incident-Typ und Anwendungsfall. Ein Phishing-Fall bei einem regulierten Finanzdienstleister und ein Low-Severity-Alert bei einem kleinen Industriebetrieb gehören nicht in denselben Topf.

Fehlerklassen. Klasse A umfasst alles, was echten Schaden anrichten kann. Ein übersehener oder falsch klassifizierter High-Severity-Incident gehört dazu, ebenso systematisch unterschlagene Artefakte oder ein Verstoss gegen zwingende Eskalationsregeln. Klasse B erfasst ernsthafte Mängel ohne unmittelbare Sicherheitsfolge: etwa eine nicht nachvollziehbare Begründung, eine undokumentierte Korrektur oder Abweichungen vom Playbook. Klasse C umfasst Formfehler.

Toleranzwerte. Für jede Klasse wird ein AQL (Acceptable Quality Level) festgelegt, also ein definiertes Qualitätsniveau für den maximal tolerierten Anteil nichtkonformer Einheiten im Prozessdurchschnitt. Für Klasse A ist dieser Wert sehr klein, für Klasse C darf er deutlich grösser sein. Aus Losgrösse und Prüfniveau ergeben sich Stichprobengrösse und Rückweisungszahl. Kein Ermessen, keine Diskussion. Eine Tabelle.

Enthält ein Incident mindestens eine Abweichung der Klasse A, wird dieser der höchsten Fehlerklasse zugeordnet. Der schwerste Befund zählt. So kann sich ein sicherheitsrelevantes Problem nicht hinter mehreren formalen Abweichungen verbergen.

KI-Analysequalität bestimmt, wie genau das SOC hinschaut

Je nach gemessener Analysequalität prüft das SOC unterschiedlich intensiv. Häufen sich zurückgewiesene Lose, wechselt das System auf verschärfte Prüfung. Die Stichproben werden grösser und die Annahmegrenzen enger – gezielt dort, wo Qualitätsmängel auftreten. Bleibt die Analysequalität über eine definierte Folge von Losen hoch, reduziert das SOC die Prüftiefe. Bei dauerhaft stabiler Qualität lassen sich einzelne Lose nach dem Zufallsprinzip auch ohne Detailprüfung annehmen.

Die an der Analysequalität ausgerichtete Prüftiefe schafft mehr als Effizienz. Sie ist Vertrauenskalibrierung, in Regeln gegossen.

Der Ansatz rechnet bei KI und Menschen mit Fehlern. Deshalb verschärft er die Kontrolle, sobald die Qualitätsdaten darauf hinweisen. Für Analyst:innen liegt darin ein zentraler Unterschied: Die Prüfschärfe folgt vorab definierten Regeln und der gemessenen Analysequalität statt einzelner Vorfälle und situativen Managemententscheidungen. Alle Beteiligten wissen damit, unter welchen Bedingungen die Kontrolle steigt oder sinkt. Stabile Qualität führt nachvollziehbar zu weniger Prüfaufwand.

Die 4 Wirkungsfelder der Qualitätsprüfung

Prüfergebnisse stärken die Cyberabwehr erst, wenn sie konkrete Verbesserungen auslösen. Jede erfasste Abweichung fliesst deshalb gezielt dorthin zurück, wo sie Wirkung entfaltet:

• Governance: Unklare Richtlinien oder Eskalationswege werden identifiziert und angepasst.
• Schulung und Coaching: Wiederkehrende Verhaltensmuster zeigen, wo Analyst:innen gezielt unterstützt werden müssen.
• Wissensbasis: Einzelerfahrungen werden zu strukturiertem Wissen über typische KI-Fehlerbilder.
• Technische Optimierung: Erkenntnisse fliessen in Prompt-Design, Detection Engineering und Regellogik ein.

Über die Zeit entsteht so ein strukturierter Qualitätsdatensatz. Er zeigt, wo die Zusammenarbeit von Mensch und KI tatsächlich hakt und welche Muster wiederholt auftreten. Zudem liefert er Hinweise darauf, welche Incident-Typen sich für mehr Automatisierung eignen und wo Prozesse, Playbooks oder die Regellogik angepasst werden müssen.

Quality Assurance im produktiven SOC-Betrieb

Ein Qualitätsprüfungsprozess muss im 24/7-SOC-Betrieb funktionieren. Deshalb haben wir die Sampling-Logik in eine eigene QA-Applikation überführt, die heute im Cyber Defence Center (CDC) produktiv läuft.

Diese App steuert die Auswahl, Prüfung und Dokumentation der Fälle. Filtergruppen bündeln die Fälle nach Sensorik und Kritikalität. Für jede Gruppe gilt eine eigene Prüfquote. Kritische Fälle gelangen deutlich häufiger in die Qualitätsprüfung als Fälle mit niedriger Kritikalität. Die Auswahl erfolgt pro Kalenderwoche automatisch und zufällig. Damit lässt sich nicht beeinflussen, welche Fälle geprüft werden. Die gezogenen Fälle landen in einer Review-Queue und werden dort anhand einer verbindlichen Checkliste überprüft.

Ein Dashboard schafft jederzeit Transparenz über die Qualitätsprüfung. Es zeigt die Anzahl analysierter Fälle, den geprüften Anteil, die Befunde je Filtergruppe, die Beanstandungsquote und den Prüfaufwand. Eine Sampling-History dokumentiert, mit welcher Quote in welcher Woche geprüft wurde. Ohne diese Nachvollziehbarkeit wäre das ganze Verfahren wertlos.

KI im SOC darf kein Vertrauensvorschuss sein

KI im SOC liefert nur dann einen Sicherheitsgewinn, wenn sich die Qualität ihrer Ergebnisse verlässlich überprüfen lässt. Messbare Qualitätsdaten schaffen dafür eine belastbare Grundlage:

• Fehler erkennen: Fehlpriorisierungen werden früher sichtbar.
• Risiken gezielter prüfen: Kritische Fälle erhalten mehr Prüftiefe.
• Effizienz gewinnen: Stabile Analysequalität reduziert unnötigen Prüfaufwand.

KI verändert die Security-Analyse schneller, als die Governance-Modelle Schritt halten. Policies und menschliche Prüfung allein reichen dafür nicht aus. Entscheidend sind messbare Qualitätskriterien: statistische Stichproben, definierte Toleranzgrenzen und verbindliche Regeln für die Prüftiefe.

Wer KI-gestützte Cyberabwehr verantwortungsvoll einsetzt, schafft damit die Voraussetzung, dass Geschwindigkeit nicht auf Kosten der Verlässlichkeit geht. Sicherheitsentscheidungen bleiben auch bei wachsender Automatisierung nachvollziehbar und belastbar.

Wenn ein realer Cyberangriff eintritt, darf seine Erkennung nicht vom Vertrauen in ein KI-Ergebnis abhängen. Unser «Management Detection and Response (MDR)»-Team verbindet KI-gestützte Analysen deshalb mit messbarer Qualitätssicherung und der Beurteilung durch erfahrene Analyst:innen. Sprechen Sie mit uns darüber, wie unsere SOC- und MDR-Services Ihre Cyberabwehr stärken.