KURZ ERKLÄRT
AI Security bezeichnet Maßnahmen zum Schutz von KI-Anwendungen, Modellen und Agenten vor Missbrauch, Manipulation und ungewolltem Datenabfluss. Sprachmodelle eröffnen zusätzliche Angriffswege, etwa durch Prompt Injection. Wenn Agenten auf Daten und Werkzeuge zugreifen, können zugleich bekannte Sicherheitsprobleme wie zu weit gefasste Berechtigungen größere Folgen haben.
Wann wir unterstützen.
Wenn KI-Assistenten auf interne Dokumente zugreifen, Agenten Werkzeuge und Schnittstellen bedienen oder Fachbereiche eigene KI-Anwendungen aufbauen, sollten Angriffsflächen und Berechtigungen geprüft werden, bevor die Lösungen produktiv gehen.
Wir erfassen, welche KI-Anwendungen und Agenten es gibt, auf welche Daten und Werkzeuge sie zugreifen und woher Modelle und Komponenten stammen. Darauf aufbauend definieren wir Berechtigungen nach dem Prinzip der geringsten Rechte, Schutzmaßnahmen gegen Prompt Injection und Datenabfluss sowie Freigabepunkte für kritische Aktionen. Mit Red-Teaming-Tests prüfen wir die Maßnahmen vor dem Go-live an ausgewählten realistischen Angriffsszenarien und dokumentieren erkannte Schwachstellen und Grenzen.
Was aus der Arbeit entsteht.
Den konkreten Umfang vereinbaren wir anhand Ihrer Ziele, Ausgangslage und verfügbaren Kapazitäten. Die folgenden Bausteine dienen der Orientierung.
UNSERE LEISTUNGEN
- Inventar und Bedrohungsanalyse für KI-Anwendungen
- Berechtigungskonzept für Agenten und Werkzeugzugriffe
- Schutzmaßnahmen gegen Prompt Injection und Datenabfluss
- Red Teaming und Prüfung der Modell-Lieferkette
MÖGLICHE ERGEBNISSE
Eine Bewertung der KI-spezifischen Risiken, ein Berechtigungskonzept und dokumentierte Prüfergebnisse zu den Schutzmaßnahmen. Daraus lassen sich notwendige Nachbesserungen und offene Risiken für die Entscheidung über den produktiven Einsatz ableiten.
Ein klarer Einstieg.
Eine Liste der eingesetzten oder geplanten KI-Anwendungen mit ihren Datenquellen und angebundenen Systemen. Informationssicherheit, Datenschutz und die verantwortlichen Fachbereiche sollten gemeinsam beteiligt sein.
Zuerst die Frage. Dann der Umfang.
Im Erstgespräch klären wir Ziel, Arbeitsergebnisse und Beteiligte. Wir vereinbaren, ob der Auftrag Konzeption, Pilotbegleitung oder technische Umsetzung umfasst und wer welche Aufgaben übernimmt. Dazu legen wir fest, woran die Ergebnisse geprüft werden.
Einstieg per E-Mail besprechenWarum reichen unsere bestehenden Sicherheitsmaßnahmen für KI-Agenten nicht aus?
Viele bestehende Maßnahmen bleiben wichtig, etwa Identitäts- und Zugriffsmanagement, Protokollierung und Netzwerksegmentierung. Neu ist, dass ein Sprachmodell Anweisungen und Daten nicht zuverlässig unterscheiden kann. Ein präpariertes Dokument, eine E-Mail oder eine Webseite kann einen Agenten dazu bringen, vertrauliche Informationen weiterzugeben oder ungewollte Aktionen auszuführen. Je mehr Werkzeuge und Berechtigungen ein Agent erhält, desto größer ist der mögliche Schaden. Deshalb braucht es eng gefasste Rechte, Freigaben für kritische Schritte und eine Überwachung, die ungewöhnliches Verhalten erkennt. Gezielte Angriffstests vor dem Go-live zeigen, wo die Grenzen der Schutzmaßnahmen liegen.
Zuletzt aktualisiert: