Kategorie: Künstliche Intelligenz

Datenschutzrisiken durch KI-Agenten

KI-Agenten sind auf dem Vormarsch. Sie übernehmen eigenständig Aufgaben, treffen Entscheidungen und kommunizieren automatisiert mit Systemen – häufig ohne menschliche Kontrolle. Diese neue Form künstlicher Intelligenz verspricht Effizienz und Automatisierung, bringt jedoch erhebliche datenschutzrechtliche Herausforderungen mit sich.

Was sind KI-Agenten – und wie unterscheiden sie sich von KI-Assistenten?

Während KI-Assistenten wie ChatGPT, Google Assistant oder Siri auf konkrete Eingaben reagieren und Informationen bereitstellen, agieren KI-Agenten weitgehend autonom. Sie verfolgen vordefinierte Ziele, lernen aus Daten und sind in der Lage, Prozesse anzustoßen oder Entscheidungen zu treffen – ohne dass ein Mensch eingreifen muss.

Im Unternehmenskontext bedeutet das: Ein KI-Agent kann beispielsweise Rückerstattungen auslösen, Vertragsänderungen durchführen oder interne Prozesse automatisieren. Diese Handlungsfähigkeit bringt nicht nur Vorteile, sondern auch neue Angriffsflächen mit sich.

Typische Einsatzgebiete von KI-Agenten

Die Bandbreite möglicher Anwendungen ist groß:

  • Kundensupport: Automatisierte Bearbeitung standardisierter Anfragen, Vertragsverlängerungen oder Rückbuchungen.
  • Vertrieb & Marketing: Qualifizierung von Leads, Generierung individueller Angebote, automatisierter Versand von Newslettern.
  • Buchhaltung & Finanzen: Prüfung von Rechnungen, Abgleich von Zahlungseingängen, Identifikation von Unstimmigkeiten.
  • Produktentwicklung: Auswertung von Nutzerinteraktionen, Durchführung von A/B-Tests, Erstellung von Designvorschlägen.

Je tiefer die Integration solcher Agenten, desto größer wird die Datenmenge, auf die sie zugreifen – und damit auch das Datenschutzrisiko.

Kritische Datenschutzrisiken durch KI-Agenten

1. Autonomer Datenzugriff mit weitreichenden Befugnissen

KI-Agenten benötigen in vielen Fällen umfassende Zugriffsrechte auf personenbezogene und geschäftskritische Daten – vom Browserverlauf über Kalendereinträge bis hin zu Kreditkarteninformationen und Nachrichtenverläufen. Für eine nahtlose Funktion müssen sie systemübergreifend arbeiten, was oft mit sogenannten Root Permissions einhergeht – also Zugriffsrechten auf tiefster Betriebssystemebene.

Die Folge: Klassische Systembarrieren, die Anwendungen voneinander trennen und Daten isolieren, werden durchbrochen. Dadurch entsteht eine neue Risikodimension, bei der nicht mehr nur einzelne Apps betroffen sind, sondern ganze Systemarchitekturen.

2. Prompt Injection: Einfallstor für Manipulation

Ein besonders heikles Angriffsszenario ist die sogenannte Prompt Injection. Hierbei wird der KI-Agent durch gezielte Eingaben manipuliert. Beispiel: Ein Angreifer gibt in ein Eingabefeld den Befehl ein, alle gespeicherten Passwörter anzuzeigen – getarnt als legitime Nutzeranfrage. Ist der Agent nicht ausreichend geschützt, kann er auf solche Anweisungen reagieren und vertrauliche Informationen preisgeben. (Lesen Sie dazu auch den Newsradar vom 29.09.2025).

3. Unverschlüsselte Datenverarbeitung in der Cloud

Da KI-Modelle in der Regel auf leistungsstarken Cloud-Servern laufen, werden viele Daten zur Verarbeitung aus lokalen Systemen ausgelagert. Das bedeutet in der Praxis häufig: Temporäre Entschlüsselung sensibler Informationen, um diese überhaupt auswerten zu können. Auch bei verschlüsselten Anwendungen entsteht dadurch eine potenzielle Schwachstelle.

Die Präsidentin der gemeinnützigen Signal Foundation, Meredith Whittaker, warnt eindringlich vor dieser Entwicklung. Sie sieht in KI-Agenten eine grundlegende Bedrohung für Datenschutz und digitale Sicherheit – insbesondere, weil diese Systeme Zugriffsrechte benötigen, die klassische Schutzmechanismen aushebeln.

4. Der Datenhunger moderner KI-Modelle

Ein weiterer Aspekt ist der strukturelle Datenbedarf moderner KI-Systeme. Das zugrunde liegende Paradigma lautet: „Big Data, bigger is better.“ Doch dieser Ansatz steht im klaren Widerspruch zum Prinzip der Datensparsamkeit, das in der DSGVO (oder im DSG-EKD) verankert ist.

Empfehlungen des BSI: Zero Trust als Leitprinzip

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) unterstützt die Warnungen mit konkreten Handlungsempfehlungen. In seinen „Zero Trust Design Principles for LLM-based Systems“ legt das BSI nahe:

  • Prinzip der minimalen Berechtigung: KI-Agenten erhalten ausschließlich Zugriff auf Daten und Funktionen, die sie für ihre Aufgabe zwingend benötigen.
  • Laufende Authentifizierung und Autorisierung: Die Identität und Berechtigung des Agenten muss fortlaufend überprüft werden.
  • Isolation durch Sandboxing: Prozesse sollten in abgeschotteten Umgebungen laufen, um eine unkontrollierte Ausbreitung im System zu verhindern.
  • Privacy by Design: Datenschutzanforderungen sind integraler Bestandteil der Systemarchitektur – von Anfang an.

Diese Prinzipien bilden die Grundlage für einen sicheren und DSGVO (oder DSG-EKD)-konformen Einsatz von KI-Technologien im Unternehmen.

Fazit: Datenschutz ist kein Nebenprodukt – sondern Voraussetzung

Der Einsatz von KI-Agenten eröffnet neue Möglichkeiten – gleichzeitig entstehen neue Verantwortlichkeiten. Unternehmen stehen vor der Aufgabe, die Chancen intelligenter Automatisierung mit den Anforderungen an Datenschutz, Compliance und IT-Sicherheit in Einklang zu bringen.

Empfehlenswerte Schritte:

  • Technologiebewertung: Bestehende KI-Anwendungen regelmäßig auf Sicherheits- und Datenschutzrisiken prüfen.
  • Zugriffsmanagement: Rollen und Rechte klar definieren, übermäßige Berechtigungen vermeiden.
  • Technische Schutzmaßnahmen: Zero-Trust-Architekturen umsetzen, isolierte Datenverarbeitung ermöglichen.
  • Dokumentation und Transparenz: Datenschutzmaßnahmen nachvollziehbar dokumentieren und kontinuierlich evaluieren.

Nur mit einem ganzheitlichen Sicherheitskonzept lassen sich die Vorteile von KI-Agenten nutzen, ohne den Datenschutz zu gefährden.

Zum Nachhören bei Deutschlandradio Kultur: Meredith Whittaker warnt vor dem Einsatz von Künstlicher Intelligenz. Denn KI-Agenten sind nicht immer nützlich. Die Chefin des Messengerdienstes Signal fürchtet, die Helfer könnten Datensicherheit und Privatsphäre gefährden. Der Beitrag beginnt ab der 12. Minute. Zum Beitrag: Link.

 

 

Rechtsanwalt Robert Harzewski

Deepfake-as-a-Service, Mann mit Papiertüte auf dem Kopf

Deepfake-as-a-Service

Das Jahr 2024 markierte einen Wendepunkt bei Cyberangriffen. Diese wurden durchFortschritte in der künstlichen Intelligenz immer raffinierter. Heute können selbstunerfahrene Akteure diese Technologien nutzen, um groß angelegte Angriffedurchzuführen. Das liegt unter anderem daran, dass der Zugang zu Deepfake-as-a-Service-Plattformen, die Dienste wie KI-Gesichts-Austausch, Stimm-Imitation,Sprachsynthese und KI-Animation anbieten, nun für die breite Öffentlichkeit zugänglichsind und keine großen Investitionen mehr voraussetzen.

Erschreckend glaubwürdige Fälschungen

Ein persönliches Gespräch oder ein Videoanruf? Früher ein sicherer Beweis für Echtheit –heute durch KI-Technologie erschreckend leicht zu fälschen. Künstliche Intelligenzverändert das Spiel: Deepfakes, synthetische Stimmen und täuschend echte Bots machenes Cyberkriminellen erschreckend leicht, Vertrauen zu erschleichen.

Dank moderner Sprachsynthese und Bildgenerierung entstehen in Sekundenschnellerealitätsnahe Fälschungen. Stimmen klingen vertraut, Gesichtsausdrücke wirkenauthentisch – und das reicht oft aus, um Sicherheitsmechanismen auszutricksen oderMenschen zu manipulieren.

Noch beunruhigender: KI-gestützte Bots führen parallel Hunderte Gespräche, angepasstan Sprache, Tonfall und Reaktionen des jeweiligen Opfers. Sie agieren fehlerfrei, rund umdie Uhr – ohne Pausen, ohne Unsicherheiten. Ein menschlicher Gegenpart? Nicht mehrerforderlich.

Beispiele:

  • 2023: Ein Unternehmen in Hongkong verliert 25 Millionen US-Dollar. Der Grund?Ein Mitarbeiter wurde durch einen Deepfake getäuscht und glaubte, Anweisungenvon seinem Vorgesetzten zu erhalten … während er in Wirklichkeit mit einer KI-generierten Imitation sprach.
  • Im Jahr 2024 meldeten mehrere Banken und Kryptowährungsplattformen Angriffe,bei denen Hacker mithilfe von Echtzeitsimulationen von Gesichtern und Stimmenbetrügerische Bankkonten eröffneten und Millionen von Dollar wuschen.

Ohne technische Kenntnisse kann jeder auf hochentwickelte Toolszugreifen:

  • Face-Swapping (Echtzeit-Gesichtsaustausch während eines Videoanrufs,beispielsweise über Zoom oder Skype)
  • Ultrarealistische Sprachsynthese, die eine Stimme mit verblüffender Genauigkeitimitieren kann und Telefonbetrug deutlich vereinfacht.
  • Automatisierte Chatbots, um wochenlang glaubwürdige Gespräche zu führen

Empfehlung für Verantwortliche

Bestimmte Verhaltensanomalien können identifiziert werden, wie z. B.:

  • Ungewöhnliche Verzögerungen bei Videoanrufen, die auf eine Echtzeit-Deepfake-Generierung hindeuten können
  • Subtile Stimminkonsistenzen, wie z. B. künstliche Betonung oder leicht verzögerteAntworten
  • Übermäßiger Einsatz dringender Kommunikationstaktiken, einschließlichDruckphrasen wie „Diese Übertragung muss sofort abgeschlossen werden!“

 

Mitarbeiter und Nutzer müssen geschult werden, um diese Anomalien zu erkennen. Daskann zum Beispiel erfolgen durch:

  • Deepfake-Simulationen: Inszenierung gefälschter Videos von Führungskräften, diedringende Überweisungen anfordern, anschließende Analyse derMitarbeiterreaktionen und daraus lernende Erkenntnisse.
  • Voice-Phishing-Übungen: Testen der Team-Aufmerksamkeit mit KI-generiertenbetrügerischen Anrufen.
  • Live-Demonstrationen von Face-Swapping, um einen psychologischenSchockeffekt und nachhaltiges Bewusstsein zu erzeugen.

 

Den vollständigen Bericht von TEHTRIS mit weiteren Praxisbeispielen kann in englischerSprache unter folgendem Link heruntergeladen werden: „
Threat Intelligence“-Bericht.

 

Rechtsanwalt Robert Harzewski

Die neue KI-Verordnung: Was Unternehmen jetzt wissen müssen

Am 1. August 2024 trat in der Europäischen Union das weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz (KI) in Kraft. Die Verordnung (EU) 2024/1689, bekannt als KI-Verordnung, zielt darauf ab, einen einheitlichen Rechtsrahmen für die Entwicklung und Nutzung von KI-Systemen zu schaffen. Sie legt dabei besonderes Augenmerk auf das von diesen Systemen ausgehende Risiko und richtet sich hauptsächlich an Anbieter und Betreiber solcher Technologien.

Zielsetzung der KI-Verordnung

Die KI-Verordnung ist ein zentraler Bestandteil der Europäischen Digitalstrategie und dient als erster harmonisierter Rechtsrahmen für das Inverkehrbringen, die Inbetriebnahme und Nutzung von KI-Systemen innerhalb der EU. Ähnlich wie die Datenschutz-Grundverordnung (DSGVO) hat sie unmittelbare Geltung in allen Mitgliedstaaten. Allerdings obliegt es den einzelnen Staaten, bestimmte Vorschriften, insbesondere hinsichtlich Durchsetzung und Sanktionen, weiter auszugestalten.

Im Gegensatz zur DSGVO, die personenbezogene Daten schützt, handelt es sich bei der KI-Verordnung um produktbezogenes Recht. Sie enthält Bestimmungen zur Marktüberwachung und adressiert verschiedene Akteure entlang der KI-Wertschöpfungskette, darunter Anbieter, Betreiber, Bevollmächtigte, Hersteller, Importeure und Händler von KI-Systemen.

Risikobasierter Ansatz der Regulierung

Die Verordnung verfolgt einen risikobasierten Ansatz: Je höher das potenzielle Risiko eines KI-Systems für Gesellschaft oder Individuen, desto strenger die regulatorischen Anforderungen. Hauptsächlich sind Anbieter und Betreiber von KI-Systemen verpflichtet, spezifische Vorgaben einzuhalten, während Endnutzer in der Regel keine direkten Pflichten auferlegt bekommen.

Kategorisierung von KI-Systemen nach Risikograd

Die KI-Verordnung definiert ein KI-System als ein maschinengestütztes System, das autonom arbeitet und aus Eingaben Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen ableitet, die physische oder virtuelle Umgebungen beeinflussen können. Ein wesentliches Merkmal ist die Fähigkeit des Systems, aus Daten zu lernen und eigenständig Schlussfolgerungen zu ziehen.

Die Regulierungstiefe richtet sich nach dem Risikograd des jeweiligen KI-Systems:

Verbotene KI-Systeme:

Systeme mit unannehmbarem Risiko sind untersagt. Dazu zählen beispielsweise Anwendungen, die Menschen basierend auf Verhalten, sozioökonomischem Status oder persönlichen Merkmalen bewerten (sogenanntes Social Scoring). Auch die biometrische Echtzeit-Fernidentifizierung, wie Gesichtserkennung im Strafverfolgungskontext, ist grundsätzlich verboten, wobei es bestimmte Ausnahmen gibt.

Hochrisiko-KI-Systeme:

Diese Systeme stellen ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte dar. Die Verordnung unterteilt sie in zwei Kategorien:

    1. KI-Systeme, die Teil eines Produkts oder Sicherheitsbauteils sind, wie etwa Spielzeug oder autonome Roboter.
    2. KI-Systeme in spezifischen Bereichen, die von der EU-Kommission als hochriskant eingestuft wurden.

Für Hochrisiko-KI-Systeme gelten strenge Anforderungen, einschließlich umfassender Konformitätsbewertungen, um ihre Sicherheit und Zuverlässigkeit zu gewährleisten.

Ausblick

Mit der Einführung der KI-Verordnung setzt die EU einen bedeutenden Schritt in Richtung einer sicheren und verantwortungsvollen Nutzung von Künstlicher Intelligenz. Unternehmen, die KI-Technologien entwickeln oder einsetzen, sollten sich frühzeitig mit den neuen Anforderungen vertraut machen, um Compliance sicherzustellen und potenzielle Risiken zu minimieren.

 

Rechtsanwalt Robert Harzewski