Kategorie: Künstliche Intelligenz

Checkliste für Transparenzpflichten

Checkliste für Transparenzpflichten

Ab heute ist maximale Transparenz gefragt! Nicht nur, weil die Temperaturen wiedersteigen und leichte, transparente Kleidung da von Vorteil ist. Sondern weil seit gestern dieEU-Vorschriften zur Transparenzpflichten für die Kennzeichnung von KI-Inhalten gelten.Bevor Sie jetzt verzweifelt über noch mehr Bürokratie transpirieren, mache ich für Sie ersteinmal transparent, ob Sie überhaupt davon betroffen sind. Denn es gibt von derTransparenzpflicht so viele Ausnahmen, dass Sie mit etwas Glück in der Hängematteliegen bleiben können.
Deshalb habe ich für Sie drei Checklisten erstellt, mit denen Sie herausfinden können,was für Ihre KI-generierten Texten, KI-generierten Bilder, Audios oder Videos oder aber füreingesetzte Chatbots zu beachten ist. Mit den Checklisten können Sie sich ab heute fürjeden Inhalt, den Sie mit KI erstellen, schnell Klarheit verschaffen.
Der Clou: Sobald Sie eine Frage mit „JA“ beantworten können, brauchen Sie sich um dieKennzeichnung nicht zu kümmern. Falls Sie zu oft NEIN sagen, lesen Sie unter denChecklisten weiter, wie Sie die Kennzeichnungspflichten umsetzen.

A. Checkliste für Transparenzpflichten: Wer JA sagt,muss nicht B sagen

I. Checkliste für TEXTE:

Frage 1:

Handelt es sich um interne oder reine B2B-Kommunikation?
Ist der KI-generierte Text ausschließlich für den unternehmensinternen Gebrauchbestimmt (z. B. Intranet, interne Mails)?
oder
Richtet sich der Text zielgerichtet an Geschäftspartner im B2B-Bereich (z. B. B2B-Produktbeschreibungen für Händler, technische Spezifikationen, Vertragsentwürfe)?

  • JA ➔ Sie müssen nicht kennzeichnen! (Checkliste hier beenden).
    Erklärung: Das KI-Gesetz verlangt eine sichtbare Kennzeichnung von Texten nur, wenndiese für die allgemeine Öffentlichkeit publiziert werden und dem Zweck dienen, überThemen von öffentlichem Interesse zu informieren. Interne Dokumente und B2B-Kommunikation wie Produktbeschreibungen zwischen Unternehmen fallen somit aus demAnwendungsbereich heraus. Zudem gibt es für B2B- und Industrie-Kontexte Ausnahmenbei der technischen Markierungspflicht.
  • NEIN (Der Text ist für die breite Öffentlichkeit bestimmt, z. B. auf der öffentlichenWebsite, im B2C-Webshop oder als Pressemitteilung) ➔ Weiter zu Frage 2.

Frage 2:

Fehlt das öffentliche Interesse?
Behandelt der veröffentlichte Text ein Thema, das NICHT von öffentlichem Interesse ist?(Beispiele für öffentliches Interesse sind Politik, Gesundheit, Umwelt oderVerbrauchersicherheit.) Beispiel: Eine reine B2C-Produktbeschreibung in einem Webshopoder ein werblicher Social-Media-Post für ein neues Produkt ohne gesellschaftspolitischeRelevanz gehören in der Regel nicht dazu.

  • JA ➔ Sie müssen nicht kennzeichnen! (Checkliste hier beenden).
  • NEIN (Der Text behandelt ein Thema von öffentlichem Interesse, z. B. eineStellungnahme zur Nachhaltigkeitsstrategie des Unternehmens) ➔ Weiter zu Frage3

Frage 3:

Gab es eine redaktionelle Kontrolle?
Wurde der KI-Text vor der Veröffentlichung einer echten inhaltlichen, menschlichenÜberprüfung (mehr als nur eine automatische Rechtschreibprüfung) unterzogen undübernimmt eine natürliche oder juristische Person in Ihrem Unternehmen (z. B. dieKommunikationsleitung) die redaktionelle und rechtliche Verantwortung für den Inhalt?

  • JA ➔ Sie müssen nicht kennzeichnen! (Checkliste hier beenden) Unternehmenkönnen diese Ausnahme nutzen, indem sie entsprechende interneFreigabeprozesse (Policies) für redaktionelle Kontrolle etablieren.
  • NEIN (Der Text wird unkontrolliert und automatisch veröffentlicht) ➔ Weiter zu denKennzeichnungspflichten unter B.

II. Checkliste für Bild/Audio/Video:

Frage 1:

Ist das kein "Deep Fake"?

Handelt es sich um einen KI-Medieninhalt, der offensichtlich künstlich ist (z. B.abstrakte Grafiken, offensichtliche Cartoons, gezeichnete Maskottchen)

  • JA ➔ Sie müssen nicht kennzeichnen! (Checkliste hier beenden). Nursogenannte "Deep Fakes", die täuschend echt wirken und reale Gegebenheitensimulieren, fallen unter die Pflicht.
  • NEIN (Der Inhalt sieht täuschend echt aus und simuliert reale Personen/Orte
    Faustregel: Sieht es aus wie ein echtes Foto aus der realen Welt, behandeln Siees als kennzeichnungspflichtigen Deepfake.) ➔ Weiter zu Frage 2.

Frage 2:

Ist es Kunst, Fiktion oder Satire (Sonderregel für Deep Fakes)?

Ist das täuschend echte Bild/Video/Audio Teil eines offensichtlich kreativen, fiktiven odersatirischen Werks (z. B. eine humorvolle, überspitzte Werbekampagne)?

  • JA ➔ Die strenge Kennzeichnungspflicht entfällt!
    Sie müssen zwar auf den KI-Einsatz hinweisen, dürfen dies aber stark abgemildert tun. Sie sind davon befreit,sichtbare Warnhinweise (wie ein EU-Icon) direkt über das Bild zu legen, wenn diesden Genuss des Werks stören würde. Ein unaufdringlicher Hinweis (z. B. inBegleitnotizen, im Text darunter oder im Abspann) reicht hier aus.
  • NEIN, Sie müssen Ihr Bild/Video/Audio als KI-generiert kennzeichnen. Wie Sie dastun, erfahren Sie weiter unten im Text unter B.

III. Checkliste Chatbot

Frage 1:

Ist es ein starrer Klick-Bot ohne echten KI-Dialog?

Gibt das System nur vorgefertigte Antworten aus (z. B. feste Menü-Optionen) odersammelt lediglich Daten, anstatt dynamisch mithilfe von KI zu kommunizieren?

  • JA ➔ Keine Kennzeichnungspflicht! (Checkliste beenden).
  • NEIN (Es findet ein echter KI-Dialog statt) ➔ Weiter zu Frage 2.

Frage 2:

Fehlt der direkte Kundenkontakt?

Arbeitet die KI nur unsichtbar im Hintergrund, kommuniziert von Maschine zu Maschineoder läuft der Kontakt ausschließlich über einen menschlichen Mitarbeiter?

  • JA ➔ Keine Kennzeichnungspflicht! (Checkliste beenden).
  • NEIN (Der Kunde kommuniziert direkt mit der KI) ➔ Weiter zu Frage 3.

Frage 3:

Ist der KI-Einsatz völlig offensichtlich?

Erkennt ein durchschnittlicher Nutzersofort und zweifelsfrei, dass er mit einer Maschine schreibt?
(Praxistipp: Die Bezeichnung"KI-Support-Bot" ist offensichtlich. Ein "Kundenberater Max" mit menschlichem Profilbildist es nicht, da hier Täuschungsgefahr besteht).

  • JA ➔ Keine Hinweispflicht! (Checkliste beenden)
  • NEIN (Man könnte den Bot für einen Menschen halten) ➔ Sie müssen den Chatbotals KI-gesteuert kennzeichnen. Wie das geht, erfahren Sie weiter unten unter B.

B. Umsetzung der Kennzeichnungspflicht: Wie wird’sgemacht?

Für alle Kennzeichnungen, egal ob für Text, Chatbot oder Videos, gelten ein paargrundsätzliche Regeln:

  • Zeitpunkt der Erstwahrnehmung: Die Information muss den Nutzern spätestensim Moment der ersten Interaktion oder Wahrnehmung ("First Exposure")bereitgestellt werden.
  • Klarheit und Erkennbarkeit: Die Offenlegung muss klar und unterscheidbarerfolgen. Die Kennzeichnung muss so platziert sein, dass sie sofort erkennbar ist,ohne dass der Nutzer erst eine Aktion ausführen (z.B. klicken) oder lange suchenmuss.
  • Barrierefreiheit: Die Informationen müssen geltendenBarrierefreiheitsanforderungen entsprechen. Das bedeutet beispielsweiseausreichende Kontraste, Kompatibilität mit Screenreadern (z. B. durch Alt-Texte oder ARIA-Labels), alternative Hinweise für visuelle Elemente und eine ausreichendlange Anzeigedauer für Menschen mit kognitiven Einschränkungen.
  • EU-Icons: Um eine einheitliche und erkennbare Kennzeichnung zu gewährleisten,stellt die EU standardisierte Icons (z. B. "AI Generated" oder "AI Modified")kostenlos zur Verfügung, deren Nutzung stark empfohlen wird. Die Icons zumDownload finden Sie hier.

Verschiedene Anforderungen für verschiedene KI-generierte Inhalte

Je nach dem, ob Sie Texte, Bilder oder einen Chatbot einsetzen, müssen Sie ein paarBesonderheiten beachten.

Texte (KI-generierte Texte zu Themen von öffentlichem Interesse)

  • Platzierung: Ein Label (wie das EU-Icon) sollte direkt über dem Text, oben amText, in der Nähe der Überschrift oder im Impressum am Anfang des Textes platziertwerden.
  • Teilkennzeichnung: Es ist zulässig, gezielt nur die Absätze zu kennzeichnen, dietatsächlich von der KI generiert oder manipuliert wurden.
  • Sehr kurze Texte: Bei einzelnen Wörtern oder sehr kurzen Phrasen, bei denen eindirektes Label die Lesbarkeit beeinträchtigen würde, reicht ein kontextbezogenerHinweis in der Benutzeroberfläche (z. B. ein Indikator neben dem Text oder einHinweis zu Beginn der Nutzungssitzung).

Bilder und Videos (Visuelle Deep Fakes)

  • Platzierung: Das Label muss an einer geeigneten Stelle erscheinen, an der esnicht durch andere Overlay-Elemente verdeckt wird (z. B. in der oberen rechtenEcke).
  • Feste Einbettung: Das Label sollte direkt in das Bild oder Video eingebettet sein(es sei denn, es gibt gleichwertige Alternativen in der Benutzeroberfläche), sodasses sichtbar bleibt, wenn der Inhalt geteilt oder heruntergeladen wird.
  • Sonderregeln für Videos: Bei Videos muss das Label gleich zu Beginneingeblendet werden. Bei längeren Videos oder Livestreams muss die Einblendungin regelmäßigen Abständen sowie nach Unterbrechungen (z. B. Werbepausen)wiederholt werden.

Audios (Hörbare Deep Fakes)

  • Akustischer Hinweis: Spätestens zu Beginn des Audios muss ein kurzer hörbarerDisclaimer in klarer und einfacher Sprache eingefügt werden, der den KI-Ursprungoffenlegt.
  • Wiederholung: Um auch Nutzer zu informieren, die später zuschalten oder wennAudioschnipsel geteilt werden, muss der Hinweis in regelmäßigen Abständen undnach Pausen wiederholt werden (dies kann auch durch spezielle Töne oder"Earcons" geschehen).
  • Bildschirm-Regel: Wenn das Audio auf einem Gerät mit Bildschirm (z. B.Smartphone oder Auto-Display) abgespielt wird, muss zusätzlich
    zum hörbarenHinweis auch eine visuelle Kennzeichnung (z. B. das EU-Icon) auf dem Displayerfolgen.

Chatbots (Interaktive KI-Systeme)

  • Transparenz ab Start: Die Nutzer müssen von Beginn der allerersten Interaktionan klar darüber informiert werden, dass sie mit einem KI-System kommunizieren.
  • Ausnahme der Offensichtlichkeit: Ein Hinweis ist nur dann nicht erforderlich,wenn es für eine durchschnittliche, aufmerksame Person aus den Umständenheraus völlig offensichtlich ist, dass sie mit einer KI interagiert. Dies ist nur in sehrrestriktiven Fällen gegeben, beispielsweise, wenn der Chatbot „AI-Kundenchat“heißt.

So, das war’s auch schon. Für alle, denen es bei so vielen Fragen und Antworten ganzschön warm geworden ist und die sich zur Abkühlung nach dem Schnee von gestern
sehnen, gibt es allerdings Entwarnung! Der Schnee von gestern muss nicht nachträglichgekennzeichnet werden. Wenn Sie also vor dem Stichtag 2.8.2026 KI-generierte Bilder,Texte oder Videos veröffentlicht haben, dann müssen Sie diese nicht nachträglichkennzeichnen. Die Transparenzpflichten richten sich nur auf neu veröffentlichte Inhalte.

Viele Fragen bleiben noch offen, beispielsweise wie man intern die Kennzeichnung richtigdokumentiert oder wo die feinen Unterschiede liegen zwischen „AI modified“ und „AIgenerated“. Aber das besprechen wir ein ander Mal.

 

Rechtsanwalt Robert Harzewski

Haftung für KI-Halluzinationen

Haftung für KI-Halluzinationen

Gerichte nehmen Betreiber für KI-Lügen und Website-Chatbots in die Pflicht

Was ist passiert?

Zwei aktuelle Urteile verschärfen die Haftung für KI-generierte Falschaussagen (Halluzinationen) mit Außenwirkung.

LG München I

Das Landgericht München I hat Google im Wege einer einstweiligen Verfügung untersagt, geschäftsschädigende Falschaussagen über ein Münchner Verlagshaus zu verbreiten, die von Googles KI-Suchfunktion („Übersicht mit KI“) generiert wurden. Die KI hatte bei einer spezifischen Suchanfrage falsche Verknüpfungen zu dubiosen Drittfirmen hergestellt und dem Verlag fälschlicherweise „unseriöse Geschäftspraktiken“ sowie eine „Betrugsmasche“ unterstellt. Die Behauptungen der KI standen dabei überhaupt nicht in den  verlinkten Quellen.

Google argumentierte erfolglos, es handle sich nur um die automatisierte Zusammenfassung fremder Inhalte und Verlinkungen. Das Gericht stellte klar: Da die KI die Informationen eigenständig verarbeitet, komplett umstrukturiert und eine völlig neue Antwort formuliert, handelt es sich rechtlich um eine eigene Aussage von Google. Google haftet daher unmittelbar für die Verletzung des Unternehmenspersönlichkeitsrechts.

OLG Hamm (noch nicht rechtskräftig)

Eine Schönheitsklinik haftet lauterkeitsrechtlich für ihren Website-Chatbot, der für die Geschäftsführer falsche und erfundene Facharzttitel erfunden hatte. Das Gericht entschied: Der Chatbot ist kein eigenständiger Dritter, sondern ein technisches Werkzeug der Praxis – seine Antworten sind ihr voll als eigene geschäftliche Handlungen zuzurechnen. Das „Black-Box“-Argument, wonach KI-Halluzinationen unvorhersehbar seien, ließen die Richter nicht gelten. Besonders brisant: Das Gericht verwies auf den „Automation Bias“ – Verbraucher vertrauen computergenerierten Antworten blind, weil Maschinen als weniger fehleranfällig wahrgenommen werden.

Handlungsempfehlung:

  • Haftungsprüfung für eigene Kunden-KI (Chatbots etc.): Wenn Ihr Unternehmen / Verein generative KI-Systeme mit Außenwirkung einsetzt (z. B. KI-Chatbots im Kundenservice, automatisierte Produktberater oder Content-Generatoren auf der Webseite), können Sie auch für KI-Falschaussagen („Halluzinationen“) haften. Diese Texte können nicht nur als „technisches Versehen“ oder „fremder Input“ gewertet werden, sondern als eigene geschäftliche Behauptungen Ihres Unternehmens/ Vereins.
  • Überwachen Sie KI-generierte Suchergebnisse (wie Googles KI-Übersichten oder Microsoft Copilot) auf Ihren eigenen Unternehmensnamen hin. Sollten dort geschäftsschädigende KI-Lügen auftauchen, können Sie nun unmittelbar rechtlich (per Abmahnung und einstweiliger Verfügung) gegen die Plattformbetreiber vorgehen
  • Technische Abhärtung von Chatbots (Guardrails): Setzen Sie Ihren Systemen durch restriktive Systemprompts klare thematische Grenzen. Implementieren Sie Keyword-Filter und harte Content-Filter, um die Ausgabe von rechtlich sensiblen Begriffen (z. B. Qualifikationen, Garantien, Preisen) automatisiert zu unterdrücken oder zu neutralisieren. Sämtliche Chat-Diskurse müssen lückenlos protokolliert und regelmäßig kontrolliert werden.

Quellen: LG München I, Urteil vom 28.05.2026 – Az. 26 O 869/26; OLG Hamm, Urteil vom 12.05.2026 – Az. 4 UKl 3/25

 

 

Rechtsanwalt Robert Harzewski

KI-generierte Texte

Wenn KI Texte schreibt: Arbeitserleichterung mit rechtlichen Risiken

Im Internet werden inzwischen mehr Texte von KI geschrieben als von Menschen. Das erklärt, warum viele Blogs plötzlich sehr ähnlich klingen, dieselben Themen aufgreifen und gelegentlich sogar die gleichen Formulierungen verwenden. Die zunehmende Automatisierung der Texterstellung ist effizient – sie wirft aber auch neue rechtliche und praktische Fragen auf. Zwei aktuelle Entwicklungen zeigen besonders deutlich, wo die Risiken liegen.

KI im Gutachten: Wenn Automatisierung das Honorarkostet

Ein gerichtliches Sachverständigengutachten wird nicht vergütet, wenn es nicht persönlich erstellt wurde und wesentliche Teile aus KI stammen. Das hat das Landgericht Darmstadt entschieden (Beschluss vom 10.11.2025 – 19 O 527/16).

Entscheidend war dabei nicht allein der Umfang des KI-Einsatzes. Bereits die Unklarheit über die Urheberschaft reichte dem Gericht aus. Ist nicht eindeutig erkennbar, dass der Sachverständige das Gutachten selbst verfasst hat, gilt es als unverwertbar – mit einer klaren Konsequenz: Honorar = 0 Euro.

Woran merkt man KI?

Im konkreten Fall stellte das Gericht unter anderem folgende Auffälligkeiten fest:

  • Der Sachverständige hatte sich selbst mit voller Anschrift als Adressaten des an ihn gerichteten Beweisbeschlusses benannt

  • Mehrfache Wiederholung identischer Textpassagen

  • Ein Textaufbau, der nahezu ausschließlich aus Hauptsätzen mit identischen Satzanfängen bestand – ein häufiges KI-Muster

  • Insgesamt wirkten die Ausführungen wie eine generische Zusammenfassung

  • Typische KI-bedingte Wiederholungen ohne inhaltlichen Mehrwert

Diese formalen Auffälligkeiten waren ein wesentliches Indiz dafür, dass das Gutachten nicht als höchstpersönliche Leistung erbracht worden war.

Bedeutung für die Praxis

Wo persönliche Expertise geschuldet ist, darf KI nicht die Hauptarbeit übernehmen. Zu den höchstpersönlich zu erbringenden Leistungen zählen neben Gutachten auch redaktionelle Beiträge, Beratungsleistungen, Analysen, fachliche Bewertungen sowie sonstige kreative Texte.

Auch dieser Beitrag fällt in diese Kategorie. KI kann hier unterstützend eingesetzt werden – etwa für Recherche oder Rechtschreibung –, die inhaltliche Verantwortung und geistige Leistung müssen jedoch beim Menschen liegen.

Wer bei höchstpersönlichen Leistungen KI einsetzt und diese Leistungen abrechnet, sollte den KI-Einsatz transparent und ausdrücklich vertraglich regeln. Ohne eine entsprechende Vereinbarung drohen Vergütungsverluste bis hin zum vollständigen Honorarentfall.
Zugleich gilt: Eine verlässliche Methode, KI-Texte sicher nachzuweisen, existiert derzeit nicht. Es gibt lediglich Tools, die Hinweise liefern können – belastbare Beweise sind das nicht.

Zahl der Datenschutzeingaben um 50 Prozent gestiegen

Ein weiteres Beispiel für die Auswirkungen von KI zeigt sich im Datenschutz. KI-Chatbots machen Datenschutzbehörden sichtbarer und erleichtern das Formulieren von Eingaben. Die Berliner Datenschutzbeauftragte berichtet von einem neuen Höchststand an Beschwerden und Anfragen im Jahr 2025.

Nachteile aus Sicht der Behörden

Nach Einschätzung der Behörde bringt diese Entwicklung jedoch auch Probleme mit sich:

  • falsche Erwartungen an von KI erzeugte Prognosen über den Ausgang einer Beschwerde

  • unvollständige oder schlicht falsche Einschätzungen der Rechtslage

  • Verweise auf frei erfundene Gerichtsurteile oder nicht existierende juristische Literatur

 

Bedeutung für die Praxis

Auch in meiner Praxis zeigt sich diese Entwicklung deutlich. Mandanten erhalten zunehmend umfangreiche Forderungsschreiben, die mit zahlreichen Urteilen, rechtlichen Einschätzungen und Verweisen arbeiten. Nicht selten stammen diese Inhalte ungeprüft aus KI-Anwendungen.

Die Datenschutzbeauftragte rät daher ausdrücklich dazu, aus KI-Anwendungen gewonnene Erkenntnisse stets auf ihre Richtigkeit zu überprüfen und abgegebene Prognosen kritisch zu hinterfragen. KI kann unterstützen – sie ersetzt aber weder juristische Prüfung noch fachliche Verantwortung.

 

Rechtsanwalt Robert Harzewski

Datenschutzrisiken durch KI-Agenten

KI-Agenten sind auf dem Vormarsch. Sie übernehmen eigenständig Aufgaben, treffen Entscheidungen und kommunizieren automatisiert mit Systemen – häufig ohne menschliche Kontrolle. Diese neue Form künstlicher Intelligenz verspricht Effizienz und Automatisierung, bringt jedoch erhebliche datenschutzrechtliche Herausforderungen mit sich.

Was sind KI-Agenten – und wie unterscheiden sie sich von KI-Assistenten?

Während KI-Assistenten wie ChatGPT, Google Assistant oder Siri auf konkrete Eingaben reagieren und Informationen bereitstellen, agieren KI-Agenten weitgehend autonom. Sie verfolgen vordefinierte Ziele, lernen aus Daten und sind in der Lage, Prozesse anzustoßen oder Entscheidungen zu treffen – ohne dass ein Mensch eingreifen muss.

Im Unternehmenskontext bedeutet das: Ein KI-Agent kann beispielsweise Rückerstattungen auslösen, Vertragsänderungen durchführen oder interne Prozesse automatisieren. Diese Handlungsfähigkeit bringt nicht nur Vorteile, sondern auch neue Angriffsflächen mit sich.

Typische Einsatzgebiete von KI-Agenten

Die Bandbreite möglicher Anwendungen ist groß:

  • Kundensupport: Automatisierte Bearbeitung standardisierter Anfragen, Vertragsverlängerungen oder Rückbuchungen.
  • Vertrieb & Marketing: Qualifizierung von Leads, Generierung individueller Angebote, automatisierter Versand von Newslettern.
  • Buchhaltung & Finanzen: Prüfung von Rechnungen, Abgleich von Zahlungseingängen, Identifikation von Unstimmigkeiten.
  • Produktentwicklung: Auswertung von Nutzerinteraktionen, Durchführung von A/B-Tests, Erstellung von Designvorschlägen.

Je tiefer die Integration solcher Agenten, desto größer wird die Datenmenge, auf die sie zugreifen – und damit auch das Datenschutzrisiko.

Kritische Datenschutzrisiken durch KI-Agenten

1. Autonomer Datenzugriff mit weitreichenden Befugnissen

KI-Agenten benötigen in vielen Fällen umfassende Zugriffsrechte auf personenbezogene und geschäftskritische Daten – vom Browserverlauf über Kalendereinträge bis hin zu Kreditkarteninformationen und Nachrichtenverläufen. Für eine nahtlose Funktion müssen sie systemübergreifend arbeiten, was oft mit sogenannten Root Permissions einhergeht – also Zugriffsrechten auf tiefster Betriebssystemebene.

Die Folge: Klassische Systembarrieren, die Anwendungen voneinander trennen und Daten isolieren, werden durchbrochen. Dadurch entsteht eine neue Risikodimension, bei der nicht mehr nur einzelne Apps betroffen sind, sondern ganze Systemarchitekturen.

2. Prompt Injection: Einfallstor für Manipulation

Ein besonders heikles Angriffsszenario ist die sogenannte Prompt Injection. Hierbei wird der KI-Agent durch gezielte Eingaben manipuliert. Beispiel: Ein Angreifer gibt in ein Eingabefeld den Befehl ein, alle gespeicherten Passwörter anzuzeigen – getarnt als legitime Nutzeranfrage. Ist der Agent nicht ausreichend geschützt, kann er auf solche Anweisungen reagieren und vertrauliche Informationen preisgeben. (Lesen Sie dazu auch den Newsradar vom 29.09.2025).

3. Unverschlüsselte Datenverarbeitung in der Cloud

Da KI-Modelle in der Regel auf leistungsstarken Cloud-Servern laufen, werden viele Daten zur Verarbeitung aus lokalen Systemen ausgelagert. Das bedeutet in der Praxis häufig: Temporäre Entschlüsselung sensibler Informationen, um diese überhaupt auswerten zu können. Auch bei verschlüsselten Anwendungen entsteht dadurch eine potenzielle Schwachstelle.

Die Präsidentin der gemeinnützigen Signal Foundation, Meredith Whittaker, warnt eindringlich vor dieser Entwicklung. Sie sieht in KI-Agenten eine grundlegende Bedrohung für Datenschutz und digitale Sicherheit – insbesondere, weil diese Systeme Zugriffsrechte benötigen, die klassische Schutzmechanismen aushebeln.

4. Der Datenhunger moderner KI-Modelle

Ein weiterer Aspekt ist der strukturelle Datenbedarf moderner KI-Systeme. Das zugrunde liegende Paradigma lautet: „Big Data, bigger is better.“ Doch dieser Ansatz steht im klaren Widerspruch zum Prinzip der Datensparsamkeit, das in der DSGVO (oder im DSG-EKD) verankert ist.

Empfehlungen des BSI: Zero Trust als Leitprinzip

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) unterstützt die Warnungen mit konkreten Handlungsempfehlungen. In seinen „Zero Trust Design Principles for LLM-based Systems“ legt das BSI nahe:

  • Prinzip der minimalen Berechtigung: KI-Agenten erhalten ausschließlich Zugriff auf Daten und Funktionen, die sie für ihre Aufgabe zwingend benötigen.
  • Laufende Authentifizierung und Autorisierung: Die Identität und Berechtigung des Agenten muss fortlaufend überprüft werden.
  • Isolation durch Sandboxing: Prozesse sollten in abgeschotteten Umgebungen laufen, um eine unkontrollierte Ausbreitung im System zu verhindern.
  • Privacy by Design: Datenschutzanforderungen sind integraler Bestandteil der Systemarchitektur – von Anfang an.

Diese Prinzipien bilden die Grundlage für einen sicheren und DSGVO (oder DSG-EKD)-konformen Einsatz von KI-Technologien im Unternehmen.

Fazit: Datenschutz ist kein Nebenprodukt – sondern Voraussetzung

Der Einsatz von KI-Agenten eröffnet neue Möglichkeiten – gleichzeitig entstehen neue Verantwortlichkeiten. Unternehmen stehen vor der Aufgabe, die Chancen intelligenter Automatisierung mit den Anforderungen an Datenschutz, Compliance und IT-Sicherheit in Einklang zu bringen.

Empfehlenswerte Schritte:

  • Technologiebewertung: Bestehende KI-Anwendungen regelmäßig auf Sicherheits- und Datenschutzrisiken prüfen.
  • Zugriffsmanagement: Rollen und Rechte klar definieren, übermäßige Berechtigungen vermeiden.
  • Technische Schutzmaßnahmen: Zero-Trust-Architekturen umsetzen, isolierte Datenverarbeitung ermöglichen.
  • Dokumentation und Transparenz: Datenschutzmaßnahmen nachvollziehbar dokumentieren und kontinuierlich evaluieren.

Nur mit einem ganzheitlichen Sicherheitskonzept lassen sich die Vorteile von KI-Agenten nutzen, ohne den Datenschutz zu gefährden.

Zum Nachhören bei Deutschlandradio Kultur: Meredith Whittaker warnt vor dem Einsatz von Künstlicher Intelligenz. Denn KI-Agenten sind nicht immer nützlich. Die Chefin des Messengerdienstes Signal fürchtet, die Helfer könnten Datensicherheit und Privatsphäre gefährden. Der Beitrag beginnt ab der 12. Minute. Zum Beitrag: Link.

 

 

Rechtsanwalt Robert Harzewski

Deepfake-as-a-Service, Mann mit Papiertüte auf dem Kopf

Deepfake-as-a-Service

Das Jahr 2024 markierte einen Wendepunkt bei Cyberangriffen. Diese wurden durchFortschritte in der künstlichen Intelligenz immer raffinierter. Heute können selbstunerfahrene Akteure diese Technologien nutzen, um groß angelegte Angriffedurchzuführen. Das liegt unter anderem daran, dass der Zugang zu Deepfake-as-a-Service-Plattformen, die Dienste wie KI-Gesichts-Austausch, Stimm-Imitation,Sprachsynthese und KI-Animation anbieten, nun für die breite Öffentlichkeit zugänglichsind und keine großen Investitionen mehr voraussetzen.

Erschreckend glaubwürdige Fälschungen

Ein persönliches Gespräch oder ein Videoanruf? Früher ein sicherer Beweis für Echtheit –heute durch KI-Technologie erschreckend leicht zu fälschen. Künstliche Intelligenzverändert das Spiel: Deepfakes, synthetische Stimmen und täuschend echte Bots machenes Cyberkriminellen erschreckend leicht, Vertrauen zu erschleichen.

Dank moderner Sprachsynthese und Bildgenerierung entstehen in Sekundenschnellerealitätsnahe Fälschungen. Stimmen klingen vertraut, Gesichtsausdrücke wirkenauthentisch – und das reicht oft aus, um Sicherheitsmechanismen auszutricksen oderMenschen zu manipulieren.

Noch beunruhigender: KI-gestützte Bots führen parallel Hunderte Gespräche, angepasstan Sprache, Tonfall und Reaktionen des jeweiligen Opfers. Sie agieren fehlerfrei, rund umdie Uhr – ohne Pausen, ohne Unsicherheiten. Ein menschlicher Gegenpart? Nicht mehrerforderlich.

Beispiele:

  • 2023: Ein Unternehmen in Hongkong verliert 25 Millionen US-Dollar. Der Grund?Ein Mitarbeiter wurde durch einen Deepfake getäuscht und glaubte, Anweisungenvon seinem Vorgesetzten zu erhalten … während er in Wirklichkeit mit einer KI-generierten Imitation sprach.
  • Im Jahr 2024 meldeten mehrere Banken und Kryptowährungsplattformen Angriffe,bei denen Hacker mithilfe von Echtzeitsimulationen von Gesichtern und Stimmenbetrügerische Bankkonten eröffneten und Millionen von Dollar wuschen.

Ohne technische Kenntnisse kann jeder auf hochentwickelte Toolszugreifen:

  • Face-Swapping (Echtzeit-Gesichtsaustausch während eines Videoanrufs,beispielsweise über Zoom oder Skype)
  • Ultrarealistische Sprachsynthese, die eine Stimme mit verblüffender Genauigkeitimitieren kann und Telefonbetrug deutlich vereinfacht.
  • Automatisierte Chatbots, um wochenlang glaubwürdige Gespräche zu führen

Empfehlung für Verantwortliche

Bestimmte Verhaltensanomalien können identifiziert werden, wie z. B.:

  • Ungewöhnliche Verzögerungen bei Videoanrufen, die auf eine Echtzeit-Deepfake-Generierung hindeuten können
  • Subtile Stimminkonsistenzen, wie z. B. künstliche Betonung oder leicht verzögerteAntworten
  • Übermäßiger Einsatz dringender Kommunikationstaktiken, einschließlichDruckphrasen wie „Diese Übertragung muss sofort abgeschlossen werden!“

 

Mitarbeiter und Nutzer müssen geschult werden, um diese Anomalien zu erkennen. Daskann zum Beispiel erfolgen durch:

  • Deepfake-Simulationen: Inszenierung gefälschter Videos von Führungskräften, diedringende Überweisungen anfordern, anschließende Analyse derMitarbeiterreaktionen und daraus lernende Erkenntnisse.
  • Voice-Phishing-Übungen: Testen der Team-Aufmerksamkeit mit KI-generiertenbetrügerischen Anrufen.
  • Live-Demonstrationen von Face-Swapping, um einen psychologischenSchockeffekt und nachhaltiges Bewusstsein zu erzeugen.

 

Den vollständigen Bericht von TEHTRIS mit weiteren Praxisbeispielen kann in englischerSprache unter folgendem Link heruntergeladen werden: „
Threat Intelligence“-Bericht.

 

Rechtsanwalt Robert Harzewski

Die neue KI-Verordnung: Was Unternehmen jetzt wissen müssen

Am 1. August 2024 trat in der Europäischen Union das weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz (KI) in Kraft. Die Verordnung (EU) 2024/1689, bekannt als KI-Verordnung, zielt darauf ab, einen einheitlichen Rechtsrahmen für die Entwicklung und Nutzung von KI-Systemen zu schaffen. Sie legt dabei besonderes Augenmerk auf das von diesen Systemen ausgehende Risiko und richtet sich hauptsächlich an Anbieter und Betreiber solcher Technologien.

Zielsetzung der KI-Verordnung

Die KI-Verordnung ist ein zentraler Bestandteil der Europäischen Digitalstrategie und dient als erster harmonisierter Rechtsrahmen für das Inverkehrbringen, die Inbetriebnahme und Nutzung von KI-Systemen innerhalb der EU. Ähnlich wie die Datenschutz-Grundverordnung (DSGVO) hat sie unmittelbare Geltung in allen Mitgliedstaaten. Allerdings obliegt es den einzelnen Staaten, bestimmte Vorschriften, insbesondere hinsichtlich Durchsetzung und Sanktionen, weiter auszugestalten.

Im Gegensatz zur DSGVO, die personenbezogene Daten schützt, handelt es sich bei der KI-Verordnung um produktbezogenes Recht. Sie enthält Bestimmungen zur Marktüberwachung und adressiert verschiedene Akteure entlang der KI-Wertschöpfungskette, darunter Anbieter, Betreiber, Bevollmächtigte, Hersteller, Importeure und Händler von KI-Systemen.

Risikobasierter Ansatz der Regulierung

Die Verordnung verfolgt einen risikobasierten Ansatz: Je höher das potenzielle Risiko eines KI-Systems für Gesellschaft oder Individuen, desto strenger die regulatorischen Anforderungen. Hauptsächlich sind Anbieter und Betreiber von KI-Systemen verpflichtet, spezifische Vorgaben einzuhalten, während Endnutzer in der Regel keine direkten Pflichten auferlegt bekommen.

Kategorisierung von KI-Systemen nach Risikograd

Die KI-Verordnung definiert ein KI-System als ein maschinengestütztes System, das autonom arbeitet und aus Eingaben Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen ableitet, die physische oder virtuelle Umgebungen beeinflussen können. Ein wesentliches Merkmal ist die Fähigkeit des Systems, aus Daten zu lernen und eigenständig Schlussfolgerungen zu ziehen.

Die Regulierungstiefe richtet sich nach dem Risikograd des jeweiligen KI-Systems:

Verbotene KI-Systeme:

Systeme mit unannehmbarem Risiko sind untersagt. Dazu zählen beispielsweise Anwendungen, die Menschen basierend auf Verhalten, sozioökonomischem Status oder persönlichen Merkmalen bewerten (sogenanntes Social Scoring). Auch die biometrische Echtzeit-Fernidentifizierung, wie Gesichtserkennung im Strafverfolgungskontext, ist grundsätzlich verboten, wobei es bestimmte Ausnahmen gibt.

Hochrisiko-KI-Systeme:

Diese Systeme stellen ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte dar. Die Verordnung unterteilt sie in zwei Kategorien:

    1. KI-Systeme, die Teil eines Produkts oder Sicherheitsbauteils sind, wie etwa Spielzeug oder autonome Roboter.
    2. KI-Systeme in spezifischen Bereichen, die von der EU-Kommission als hochriskant eingestuft wurden.

Für Hochrisiko-KI-Systeme gelten strenge Anforderungen, einschließlich umfassender Konformitätsbewertungen, um ihre Sicherheit und Zuverlässigkeit zu gewährleisten.

Ausblick

Mit der Einführung der KI-Verordnung setzt die EU einen bedeutenden Schritt in Richtung einer sicheren und verantwortungsvollen Nutzung von Künstlicher Intelligenz. Unternehmen, die KI-Technologien entwickeln oder einsetzen, sollten sich frühzeitig mit den neuen Anforderungen vertraut machen, um Compliance sicherzustellen und potenzielle Risiken zu minimieren.

 

Rechtsanwalt Robert Harzewski