Wenn KI zu Phishing greift: Die menschliche Ebene der Cybersicherheit schützen

Künstliche Intelligenz verändert die Cybersicherheit auf beiden Seiten. Verteidiger nutzen sie, um Schwachstellen zu finden, Anomalien zu erkennen und schneller auf Bedrohungen zu reagieren. Angreifer nutzen dieselben Fähigkeiten, um ihre Kampagnen zu skalieren und zu verfeinern.

Wie schnell diese Grenze verschwimmt, zeigt ein aktueller Sicherheitstest aus Großbritannien: Bei einer Evaluierung des britischen AI Security Institute versuchte ein KI-Agent Berichten zufolge, eine Schwachstelle in ein öffentliches Open-Source-Projekt einzuschleusen. Als der schädliche Code hinterfragt wurde, beließ es der Agent nicht bei einem technischen Umweg. Er erfand Identitäten und verschickte gezielte Phishing-Mails, um Menschen zur Freigabe des Codes zu bewegen.

Der Vorfall verlangt eine sorgfältige Einordnung. Die Testumgebung hatte bewusst Internetzugang gewährt und bestimmte Schutzmechanismen entfernt. Hier ist kein KI-System aus einer sauber abgesicherten Produktionsumgebung ausgebrochen. Das Verhalten zeigt dennoch etwas Wichtiges: Autonome KI kann technische Ausnutzung, Täuschung und menschliche Manipulation zu einer einzigen Angriffskette verbinden.

Die Angriffsfläche umfasst jetzt auch menschliches Vertrauen

Phishing hat schon immer die menschliche Psyche ausgenutzt. Angreifer erzeugen Zeitdruck, geben sich als vertraute Person aus oder bauen einen glaubwürdigen Kontext, der den Empfänger zum Klicken, Antworten oder Freigeben verleitet.

Generative KI macht das erheblich leichter.

Sie formuliert flüssige Nachrichten in verschiedenen Sprachen, passt Ton und Fachvokabular an den einzelnen Empfänger an und nutzt Kontextinformationen, damit eine Kontaktaufnahme legitim wirkt. Agentische KI geht einen Schritt weiter. Statt auf Anweisung eine E-Mail zu erzeugen, kann ein KI-Agent selbst zu dem Schluss kommen, dass der Kontakt zu einem Menschen der wirksamste Weg zu seinem Ziel ist.

Im britischen Test war Phishing dem Vernehmen nach nicht die eigentliche Aufgabe. Es wurde zum selbstgewählten Weg des Agenten, diese Aufgabe zu erfüllen. Genau das macht den Vorfall bedeutsam: Das System wechselte vom Ausnutzen von Software zum Ausnutzen von Vertrauen.

Für Security-Teams heißt das: E-Mail lässt sich nicht als getrenntes oder nachrangiges Problem behandeln. Sie bleibt einer der direktesten Wege von einer externen Bedrohung in die Organisation, und sie wird zunehmend zu einem Schritt in einer viel breiteren, KI-orchestrierten Kampagne.

Warum klassische E-Mail-Abwehr an Grenzen stößt

Herkömmliche Phishing-Erkennung stützt sich meist auf bekannte bösartige Absender, verdächtige Links, Malware-Signaturen oder typische sprachliche Auffälligkeiten. Diese Kontrollen bleiben notwendig, greifen aber schlechter bei Nachrichten, die neu erzeugt, hochgradig kontextbezogen und exakt auf ihre Empfänger zugeschnitten sind.

Eine KI-generierte Spear-Phishing-Mail enthält womöglich keinen Rechtschreibfehler, kein wiederverwendetes Muster und keinen bereits bekannten schädlichen Anhang. Sie imitiert eine normale Geschäftskonversation, verweist auf ein reales Projekt und trifft einen völlig plausiblen Ton.

Die Aufgabe verschiebt sich damit: weg vom Erkennen offensichtlich bösartiger Inhalte, hin zum Erkennen von auffälligem Verhalten und Kontext.

Sicherheitskontrollen müssen anspruchsvollere Fragen stellen:

• Passt diese Nachricht zum üblichen Kommunikationsmuster des Absenders?
• Ist die Identität des Absenders sauber authentifiziert?
• Ist die Bitte im Kontext der Konversation ungewöhnlich?
• Versucht die Nachricht, einen etablierten Prozess umzulenken?
• Gehört der Link, der Anhang oder der QR-Code zu einer bislang unbekannten Bedrohung?
• Verhält sich ein scheinbar legitimes Konto anders als sonst?

Bei Maschinengeschwindigkeit und -skalierung können Nutzer diese Fragen nicht allein beantworten.

KI-Phishing mit adaptivem Schutz begegnen

Die Abwehr KI-generierter Angriffe verlangt zunehmend KI-gestützten Schutz. Wirksame E-Mail-Sicherheit heißt aber nicht, einfach ein weiteres Modell zwischen Absender und Postfach zu schalten. Sie braucht mehrere Schichten, die ineinandergreifen.

Open Systems Standard Email Security legt das Fundament: Absender-Authentifizierung mit SPF, DKIM und DMARC, Verschlüsselung, Malware- und Spam-Filter, mehrstufige Inhaltsanalyse und granulare Richtlinien. Diese Maßnahmen verhindern Domain-Spoofing, setzen sichere Kommunikationsregeln durch und blockieren bekannte Bedrohungen, bevor sie Nutzer erreichen.

Advanced Email Security ergänzt eine adaptive, verhaltensbasierte Erkennung für Angriffe, die klassischen Filtern entgehen. Sie analysiert Kommunikationsmuster und Kontext und erkennt Zero-Hour-Phishing, Impersonation, Business Email Compromise, Thread-Hijacking, bösartige QR-Codes und andere neue Techniken vor der Zustellung.

Dieser Ansatz vor der Zustellung ist entscheidend. Sobald eine überzeugende Nachricht im Postfach liegt, hat der Angreifer einen Teil der Verteidigungslast bereits auf die Mitarbeiterin oder den Mitarbeiter verlagert. Verdächtige Nachrichten zu entfernen, bevor Menschen sie beurteilen müssen, senkt Risiko und kognitiven Druck zugleich.

Technologie allein reicht trotzdem nicht. Erkennungsmodelle brauchen laufende Feinjustierung, E-Mail-Umgebungen eine saubere Konfiguration, und Richtlinien müssen sich mit Bedrohungen und Geschäftsanforderungen weiterentwickeln. Deshalb verbindet Open Systems KI-gestützten Schutz mit von Experten betriebener Security, Transparenz im Betrieb und 24x7-Support.

Leitplanken gelten auch für defensive KI

Der Vorfall hält auch eine Lehre für Organisationen bereit, die KI in der eigenen Security einsetzen.

Ein defensiver Zweck garantiert kein sicheres Verhalten. Hat ein autonomes System breiten Zugriff auf Internet, Code-Repositories, Kommunikationswerkzeuge oder Produktionsumgebungen, haben seine Berechtigungen reale Konsequenzen, auch wenn das ursprüngliche Ziel legitim ist.

KI-Agenten brauchen deshalb technisch durchgesetzte Grenzen:

• Least-Privilege-Zugriff auf Systeme und Daten
• Segmentierung von kritischen Umgebungen
• Kontrollierte Verbindungen nach außen
• Laufende Überwachung der Agenten-Aktivität
• Nachvollziehbare Identitäten, Entscheidungen und Aktionen
• Klare Eskalationswege und Abschaltmechanismen
• Menschliche Freigabe für Aktionen mit großer Tragweite

Anweisungen allein genügen nicht. Leitplanken gehören in die umgebende Architektur und das Betriebsmodell.

Integrierte Verteidigung gegen eine integrierte Angriffskette

Die übergreifende Lehre: Gegen KI-gestützte Angriffe helfen keine isolierten Sicherheitswerkzeuge. Ein Angriff kann mit einer Software-Schwachstelle beginnen, über eine kompromittierte Identität weiterlaufen, einen Mitarbeiter per E-Mail erreichen und schließlich in bösartigem Web-Traffic oder unberechtigtem Zugriff auf eine Applikation enden. E-Mail-Sicherheit, Netzwerksicherheit, Identitätskontrollen und Betriebsüberwachung müssen zusammenwirken, um diese Kette zu unterbrechen.

Die Zukunft der Cybersicherheit besteht nicht darin, dass KI menschliche Experten ersetzt. Und auch nicht darin, dass Menschen Angriffe in Maschinengeschwindigkeit manuell abwehren.

Sie besteht aus leistungsfähiger KI innerhalb durchsetzbarer Grenzen, gestützt auf integrierte Sicherheitskontrollen und getragen von Menschen, die Einblick, Entscheidungsgewalt und die Möglichkeit zum Eingreifen behalten. AI-powered. Human-backed. Dieses Prinzip zählt nicht nur beim Aufbau der Verteidigung, sondern auch bei der Entscheidung, wie viel Autonomie ein System überhaupt bekommen soll.