Recht und Sicherheit im digitalen Zeitalter: Kein Hexenwerk, sondern Handwerk | Folge 26

Wie künstliche Intelligenz Einfluss nimmt und beeinflusst wird

In dieser Episode von We Talk Security spricht Philipp mit dem Cybersicherheitsexperten Norbert über die wachsende Rolle von Künstlicher Intelligenz (KI) in der IT-Security. Gemeinsam beleuchten sie, wie KI die Cybersicherheit verbessert, aber auch neue Angriffsmöglichkeiten für Cyberkriminelle eröffnet. Welche Rolle spielen starke und schwache KI? Wie setzen Hacker KI ein, um Schwachstellen auszunutzen, und was können wir tun, um KI-Systeme abzusichern? Norbert gibt spannende Einblicke in den aktuellen Stand der Technik und erläutert, wie Unternehmen das Vertrauen in KI aufbauen und langfristig bewahren können.

Die Vorlesung von Norbert Pohlmann, die in der Folge erwähnt wird, ist hier kostenlos verfügbar: https://norbert-pohlmann.com/vortraege/ai-and-it-security-more-security-more-threats/

Über den Gast: Norbert Pohlmann ist Professor für Cyber-Sicherheit und Leiter des Institut für Internet-Sicherheit an der Westfälischen Hochschule in Gelsenkirchen und spricht heute mit mir über das Thema KI und Cybersicherheit.

1. Einsatz und Risiken von KI in der Cybersicherheit: Norbert beschreibt, dass KI sowohl zur Verteidigung als auch für Angriffe in der Cybersicherheit eine entscheidende Rolle spielt. KI-Systeme können etwa Schwachstellen in Netzwerken erkennen und so helfen, Sicherheitslücken zu schließen. Doch auch Angreifer nutzen KI, um Sicherheitsmaßnahmen zu überwinden – etwa durch das Umgehen von Anomalieerkennungssystemen oder die Erstellung realistischer, KI-generierter Fake-Profile und Deepfakes, die in sozialen Medien und Phishing-Kampagnen eingesetzt werden.
2. Unterschied zwischen schwacher und starker KI: Norbert erklärt die Konzepte der „schwachen“ und „starken“ KI. Schwache KI, wie etwa ChatGPT, ist zwar gut darin, Texte zu generieren, hat jedoch kein inhaltliches Verständnis und arbeitet wie ein „stochastischer Papagei“ – sie kann plausible Sprache erzeugen, erkennt jedoch keine inhaltlichen Fehler. Starke KI hingegen strebt eine menschenähnliche oder übermenschliche Intelligenz an, die zur Selbstverbesserung fähig ist. Diese Vorstellung birgt ethische Herausforderungen, da eine unkontrollierbare starke KI zu gesellschaftlich schädlichen Folgen führen könnte, wenn sie sich nicht an menschliche Werte hält.
3. Gefahr durch Poisoning- und Manipulationsangriffe: Ein Problem in der Cybersicherheit ist die Möglichkeit, KI-Systeme durch Poisoning-Attacken zu manipulieren. Dabei werden Trainingsdaten so beeinflusst, dass sie KI-Modelle fehlerhaft trainieren. Ein Beispiel ist die Manipulation von Spam- und E-Mail-Klassifikationen, bei der Spam fälschlicherweise als legitime E-Mail kategorisiert wird. Auch Eingabedaten können manipuliert werden, wie etwa durch die Veränderung von Verkehrsschildern, sodass sie von der KI falsch erkannt werden. Die Sicherung hochwertiger, manipulationsfreier Trainingsdaten ist daher entscheidend.
4. Vertrauen als Basis für den Einsatz von KI: Für die breite Akzeptanz und Nutzung von KI in Unternehmen ist das Vertrauen in die Systeme grundlegend. Pohlmann erläutert, dass Vertrauen in KI-Lösungen durch klare gesetzliche Rahmenbedingungen wie den AI Act und durch Transparenz und ethische Standards der Anbieter aufgebaut wird. Dies schließt Aspekte wie Sicherheit, Zuverlässigkeit und die Einhaltung kultureller Werte mit ein. Er betont, dass Hersteller offenlegen sollten, wie die KI funktioniert, welche Risiken bestehen und wie persönliche Daten geschützt werden. Nur so kann das nötige Vertrauen entstehen, dass die KI auch im Sinne der Nutzer arbeitet.
5. Absicherung von KI-Systemen: KI-Systeme müssen gegen Manipulationen geschützt werden, da sie zunehmend zentrale Rollen in sicherheitskritischen Bereichen übernehmen. Um dies zu gewährleisten, kommen konventionelle IT-Sicherheitsmaßnahmen wie Verschlüsselung und digitale Signaturen zum Einsatz. Beispielsweise könnten Unternehmen Hash-Werte verwenden, um die Integrität von Trainingsdaten zu überprüfen. Zudem werden Berechtigungsmanagement und Zertifizierungen wie ISO 27001 immer wichtiger, um sicherzustellen, dass sensible Informationen wie Geschäftsgeheimnisse oder persönliche Daten nicht kompromittiert werden. Pohlmann hebt die Bedeutung einer professionellen Umsetzung dieser Sicherheitsmaßnahmen hervor.
6. KI-gestützte Gegenangriffe (Strikeback): Der Ansatz, KI für automatisierte Gegenangriffe auf Cyberangreifer zu nutzen, ist problematisch. Pohlmann weist darauf hin, dass solche „Strikebacks“ das Risiko bergen, Kollateralschäden zu verursachen, etwa wenn ein Gegenangriff unbeteiligte Systeme trifft. Er plädiert daher für ein „Keep-the-Human-in-the-loop“-Modell, bei dem die KI Handlungsvorschläge macht, d...