KI macht vieles einfacher – leider auch für Cyberkrinimelle. Informationssicherheit gehört längst zu den zentralen Erfolgsfaktoren moderner IT. Doch mit der Verbreitung von Künstlicher Intelligenz (KI) verändert sich die Bedrohungslage erheblich. Begriffe wie Shift Left Security oder Security by Design verdeutlichen: Sicherheitsaspekte müssen frühzeitig in Entwicklungs- und Betriebsprozesse integriert werden, um wirksam und zugleich wirtschaftlich umgesetzt zu werden.
Der Einzug von KI erweitert jedoch das Spielfeld – für Entwickler ebenso wie für Angreifer. Während KI-gestützte Tools die Produktivität steigern, sinken gleichzeitig die Hürden für Hacker. Neue Angriffsmethoden entstehen, während viele Anwender außerhalb der klassischen Softwareentwicklung kaum Bewusstsein für Sicherheit mitbringen.
Die entscheidende Frage lautet daher nicht mehr: „KI oder nicht-KI?“, sondern: Wie stellen wir uns den sicherheitstechnischen Konsequenzen dieser Entwicklung?
Neue Angriffsarten durch KI
Die Kombination aus klassischen IT-Sicherheitsbedrohungen und neuen KI-getriebenen Angriffen schafft ein komplexes Risiko-Szenario:
Prompt Injection & Manipulation
KI-Modelle können durch manipulierte Eingaben fehlgeleitet werden. Angreifer nutzen dies, um vertrauliche Informationen abzugreifen oder unerwünschte Aktionen auszulösen.
Beispiel: In einer Website oder einem Dokument sind unsichtbare Prompts versteckt. Eine KI, die diese Quelle nutzt, interpretiert die verborgenen Anweisungen als legitimen Input. Über Mechanismen wie das Model Context Protocol (MCP) können so unerwünschte Aktionen ausgelöst werden.
Insecure Output Handling
Unsichere Verarbeitung von KI-Ausgaben, z.B. wenn generierter Code direkt übernommen oder als Anweisung ausgeführt wird, ohne Validierung.
Beispiel: KI-Tools erzeugen Code, der aktiv ausnutzbare Schwachstellen enthält. Wenn solche Outputs ungeprüft übernommen werden, ergibt sich ein massives Risiko.
(Training) Data Poisoning
Werden Trainingsdaten manipuliert, kann ein KI-System systematisch geschwächt oder kompromittiert werden.
Supply Chain Vulnerabilities
Risiken durch externe Modelle, Tools oder Bibliotheken.
Beispiel: KI-Systeme generieren Code und schlagen dabei automatisch Bibliotheken vor. Ohne Black-/Whitelists oder Dependency-Checks ist das Risiko hoch, dass unsichere oder manipulierte Abhängigkeiten unbemerkt übernommen werden.
Sensitive Information Disclosure
Vertrauliche Daten können durch unvorsichtige Prompts, Ausgaben oder durch Trainingsdaten offengelegt werden.
Insecure Plugin Design
Unsichere Gestaltung oder Integration von Plugins/Tools, die der KI zusätzliche Funktionen geben, etwa externe API-Zugriffe.
Excessive Agency
Wenn die KI zu viel Autonomie erhält und ohne menschliche Kontrolle Aktionen ausführt – z. B. automatisierte Tool- oder API-Aufrufe.
Overreliance
Übermäßiges Vertrauen in die KI, ohne kritische Prüfung oder menschliches Review.
Beispiel: KI-gestützte Phishing-Kampagnen werden nicht erkannt, weil Anwender den generierten Inhalten blind vertrauen.
Model Theft
Diebstahl oder unautorisierte Nutzung des Modells selbst – etwa durch Exfiltration von Gewichten oder Konfigurationsdateien.
Deepfake-basierte Identitätsangriffe
Nicht direkt Teil der OWASP LLM Top 10, aber in der Praxis relevant: Täuschend echte Audio- oder Video-Manipulationen, die Identitätsbetrug ermöglichen und Vertrauen untergraben.
So schützt du dich vor KI-Risiken
Sicherheit in der klassischen Softwareentwicklung
In Entwicklungsorganisationen mit etablierten Prozessen lassen sich Sicherheitsmaßnahmen strukturiert und tief in den Software-Lebenszyklus integrieren:
Shift Left Security & Security by Design
Sicherheitsprüfungen von Beginn an in Architektur, Coding und Testing verankern, nicht erst am Ende.
Etablierte Frameworks nutzen
- OWASP LLM Top 10: Risiken wie Prompt Injection, Datenvergiftung oder übermäßige Berechtigungen adressieren.
- Googles Secure AI Framework (SAIF) und NIST SSDF: Brücken zwischen klassischer Applikationssicherheit und KI-spezifischen Bedrohungen.
Technische Schutzmaßnahmen
- Eingaben an Modelle validieren und kontextgetrennt verarbeiten.
- Ausgaben der KI gegen feste Schemas prüfen (z. B. JSON-Schema).
- KI-Agenten und Tools in isolierten Umgebungen betreiben (Sandboxing, Least Privilege).
- Bibliotheken-Management absichern: Black-/Whitelists für Abhängigkeiten, automatisierte Dependency-Scans und Signaturprüfung, um die Übernahme von Schad-Bibliotheken zu verhindern.
Red Teaming & Tests
Mit simulierten Angriffen (z. B. MITRE ATLAS) die Robustheit von KI-Anwendungen regelmäßig prüfen.
- Spezifisch: Tests auf versteckte Prompts in Dokumenten oder Webseiten, analog zu einem Virenscanner, um Manipulationen in Quellen frühzeitig zu erkennen.
Sicherheit in Fachbereichen & bei Citizen-Developern
Zunehmend entstehen KI-Anwendungen jedoch außerhalb der klassischen Entwicklung, z. B. in HR, Finance oder Marketing. Hier greifen die tiefen Entwicklungsstandards nicht. Sicherheit muss einfacher, standardisierter und stärker prozessual abgesichert werden:
Sichere Plattformen bereitstellen
Unternehmen sollten zentrale, gehärtete KI-Workspaces anbieten (z. B. interne RAG-Umgebungen oder geprüfte GenAI-Dienste), statt unkontrollierte Tool-Nutzung zuzulassen.
Datenklassifizierung erzwingen
Klarstellen, welche Daten ins Modell dürfen (öffentlich, intern, vertraulich). Tools sollten dies technisch unterstützen, etwa durch Upload-Sperren oder automatische Redaktionen.
Vorgefertigte sichere Vorlagen
Fachbereiche nutzen geprüfte Prompt-Vorlagen und Standard-Workflows, die sicherheitsseitig abgesegnet sind, statt „frei“ zu experimentieren.
Governance & Verantwortung
- Nutzungspolicies für Citizen-Developer klar definieren.
- Zugriffsrechte rollenbasiert steuern.
- Kritische Anwendungen nur mit Freigabe durch IT/Security.
Awareness auf Minimalniveau
Schulung auf Basisregeln: „Keine vertraulichen Daten in öffentliche Modelle hochladen“, „KI-Output kritisch hinterfragen“, „Verdächtige Ergebnisse melden“.
Ziel: Verständnis für Risiken, ohne Entwickler-Know-how vorauszusetzen.
Fazit
Die Integration von KI in Entwicklungs- und Betriebsprozesse ist unausweichlich – und bringt erhebliche sicherheitstechnische Herausforderungen mit sich. KI stärkt Angreifer wie Verteidiger gleichermaßen.
Die Antwort darauf ist zweigeteilt:
- In der klassischen Entwicklung müssen tiefgreifende technische Sicherheitskontrollen etabliert werden – inklusive Maßnahmen wie Bibliotheken-Whitelists und Prüfmechanismen für versteckte Prompts.
- In den Fachbereichen sind dagegen vereinfachte, aber verbindliche Leitplanken erforderlich: sichere Plattformen, Policies, klare Datenregeln und ein Mindestmaß an Awareness.
So kann Sicherheit auch dann gewährleistet werden, wenn künftig „jeder“ mit KI Software generiert – unabhängig davon, ob er Entwickler ist oder nicht.
Am Ende bleibt es ein ewiger Wettstreit zwischen Angreifer und Verteidiger.
