Rechtsanwältin Benedicta Harzewski · Dresden
KI-Recht und KI-Verordnung
Rechtsberatung zu Künstlicher Intelligenz und AI Act in Dresden und Sachsen: Wir begleiten Unternehmen, Vereine und Stiftungen von der ersten Idee bis zur rechtssicheren Umsetzung ihrer KI-Anwendungen – in ganz Sachsen und bundesweit.
- KI-Verordnung / AI Act
- Risikoeinstufung
- KI-Richtlinie & Schulung
- Chatbots & Transparenz
- KI-Verträge & Haftung
- Hochrisiko-KI im Personalwesen
Kurz gesagt: Was gilt bei der KI-Verordnung?
Die europäische KI-Verordnung (EU) 2024/1689 – international als AI Act bekannt – ist am 1. August 2024 in Kraft getreten und wird schrittweise anwendbar. Bereits heute gelten die Verbote bestimmter KI-Praktiken, die Pflicht zur Förderung der KI-Kompetenz, die Regeln für KI-Modelle mit allgemeinem Verwendungszweck und – seit dem 2. August 2026 – die Transparenzpflichten.
Die Pflichten für Hochrisiko-KI wurden durch den Digital-Omnibus (Verordnung (EU) 2026/1744) verschoben: auf den 2. Dezember 2027 für eigenständige Hochrisiko-Systeme, etwa in der Personalauswahl, und auf den 2. August 2028 für KI in regulierten Produkten wie Medizinprodukten. In Deutschland überwacht die Bundesnetzagentur die Einhaltung.
Für wen wir arbeiten
Wir beraten Organisationen, die KI einsetzen oder selbst entwickeln: mittelständische Unternehmen, die Werkzeuge wie Microsoft Copilot, ChatGPT oder KI-gestützte Fachsoftware einführen; junge Technologieunternehmen, die eigene KI-Anwendungen anbieten; Personalabteilungen, die KI im Recruiting nutzen; Hersteller in der Medizintechnik sowie Vereine, Stiftungen und kirchliche Einrichtungen. Mandate von Verbrauchern nehmen wir nicht an.
Praxisfälle: So ordnen wir KI-Einsätze ein
Ob eine KI-Anwendung zulässig ist und welche Pflichten gelten, hängt vom konkreten Einsatz ab. Die folgenden typischen Fälle zeigen, worauf es ankommt.
Praxisfall
Website-Chat für Kundenanfragen
Eine Physiotherapiepraxis setzt auf ihrer Website einen KI-Chat ein. Er fragt Name, Kontaktdaten, Rezept und Beschwerden ab; die Praxis ruft anschließend zurück und vereinbart den Termin. Technisch läuft der Chat über einen Cloud-Server, ein KI-Management-Tool und ein großes Sprachmodell.
KI-Verordnung: kein Hochrisiko-System, aber Transparenzpflicht – Nutzer müssen erkennen, dass sie mit einer KI schreiben (Art. 50 Abs. 1). DSGVO: Beschwerden sind Gesundheitsdaten (Art. 9).
- Hinweis auf die KI und Datenschutzinformation beim Start des Chats
- Wirksame Rechtsgrundlage für Gesundheitsdaten, in der Regel eine ausdrückliche Einwilligung
- Auftragsverarbeitungsverträge mit allen beteiligten Dienstleistern, Prüfung von Drittlandübermittlungen
- Nur abfragen, was für den Rückruf nötig ist
- Übergabe an einen Menschen und gepflegte Wissensbasis – veraltete Preise oder Öffnungszeiten führen zu überzeugend klingenden Falschauskünften
Praxisfall
KI-gestützter E-Mail-Beantworter
Ein Unternehmen möchte Standardanfragen per E-Mail schneller beantworten. Möglich sind drei Ausbaustufen: Ein KI-Assistent schlägt Antworten vor, ein Workflow erledigt klar abgegrenzte Aufgaben mit festen Leitplanken, oder ein KI-Agent bearbeitet Anfragen vollständig selbstständig.
KI-Verordnung: in der Regel kein Hochrisiko-System. Je mehr Verantwortung die KI übernimmt, desto wichtiger werden Kontrolle, Transparenz und Dokumentation.
- Keine ungeprüfte automatische Antwortfunktion: Über präparierte E-Mails können Angreifer die KI steuern (Prompt Injection)
- Menschliche Kontrolle organisieren: Verantwortliche festlegen, unsichere Fälle kennzeichnen, Stichproben prüfen
- Die KI erhält nur die Daten, die sie für die Aufgabe braucht – entlang von Rechtsgrundlage und Berechtigungskonzept
- Fehlerfälle und Manipulationsversuche vorab testen und nach Updates erneut prüfen
- Nach rund drei Monaten auswerten: Zeitersparnis, Antwortzeiten, Fehler
Praxisfall
Copilot und ChatGPT im Büroalltag
Beschäftigte nutzen Sprachmodelle, um Texte, Präsentationen und Zusammenfassungen zu erstellen – teils mit privaten Konten, teils mit Unternehmenslizenzen.
KI-Verordnung: Ihr Unternehmen ist Betreiber und muss die KI-Kompetenz der Beschäftigten fördern (Art. 4). Hochrisiko liegt bei üblicher Büronutzung nicht vor.
- KI-Richtlinie: welche Werkzeuge, für welche Aufgaben, mit welchen Daten – und wann bewusst ohne KI
- Keine Kunden-, Personal- oder vertraulichen Daten in private Konten; Unternehmenslizenz mit Auftragsverarbeitungsvertrag
- Ergebnisse prüfen: KI arbeitet mit Wahrscheinlichkeiten, nicht mit gesichertem Wissen
- Schulungen dokumentieren
- Bei Berufsgeheimnisträgern zusätzlich § 203 StGB beachten
Praxisfall
KI im Recruiting
Eine Personalabteilung nutzt eine Software, die eingehende Bewerbungen sichtet, nach Kriterien bewertet und eine Rangliste vorschlägt.
KI-Verordnung: KI zur Auswahl von Bewerberinnen und Bewerbern ist regelmäßig Hochrisiko-KI nach Anhang III Nr. 4. Die Betreiberpflichten gelten ab dem 2. Dezember 2027.
- Betreiberpflichten nach Art. 26: Einsatz gemäß Gebrauchsanweisung, menschliche Aufsicht, Aufbewahrung der Protokolle
- Information der Betroffenen und der Beschäftigten
- Kein Entscheid allein durch die Maschine (Art. 22 DSGVO) und Schutz vor Diskriminierung nach dem AGG
- Mitbestimmung des Betriebsrats nach § 87 Abs. 1 Nr. 6 BetrVG
- Datenschutz-Folgenabschätzung nach Art. 35 DSGVO
Praxisfall
KI-generierte Inhalte im Marketing
Eine Agentur erstellt mit KI Bilder, Videos und Texte für Kampagnen und Social Media, darunter realistisch wirkende Personen.
KI-Verordnung: Deepfakes – realistisch wirkende, künstlich erzeugte oder veränderte Bild-, Ton- oder Videoinhalte – müssen offengelegt werden (Art. 50 Abs. 4).
- Kennzeichnung von Deepfakes und bestimmten KI-Texten zu Themen von öffentlichem Interesse
- Urheber- und Markenrechte prüfen: Ergebnisse können geschützten Vorlagen ähneln
- Keine irreführenden Aussagen in der Werbung (UWG)
- Bildrechte und Einwilligungen, wenn echte Personen nachgebildet werden
Praxisfall
Eigenes KI-Produkt in der Medizintechnik
Ein junges Unternehmen entwickelt eine Software, die mithilfe von KI Auffälligkeiten in Röntgenbildern markiert und als Medizinprodukt vertrieben werden soll.
KI-Verordnung: Das Unternehmen ist Anbieter. KI als Teil eines Medizinprodukts mit Konformitätsbewertung durch eine benannte Stelle ist Hochrisiko-KI nach Anhang I; die Pflichten gelten ab dem 2. August 2028.
- Abstimmung mit dem Konformitätsbewertungsverfahren nach der Medizinprodukte-Verordnung
- Risikomanagement, Daten-Governance, technische Dokumentation und Qualitätsmanagement
- Bias-Prüfung der Trainingsdaten
- Erleichterungen für KMU und kleine Mid-Caps nutzen
Der KI-Bauplan: So gehen wir vor
Nicht das KI-Modell entscheidet über den Erfolg, sondern wie es in Ihre Abläufe eingebettet, geregelt und geführt wird. Deshalb beginnen wir mit Ihren Prozessen, nicht mit der Technik.
- Schritt 1Analyse: Welche Datenverarbeitungen finden in Ihrer Organisation statt – wie und durch wen?
- Schritt 2Auswahl: Wo sind Automatisierungen sinnvoll? Welche Arbeitsschritte lassen sich fest regeln, welche brauchen tatsächlich KI?
- Schritt 3Compliance: Dürfen wir das mit KI (KI-Verordnung, DSGVO, StGB)? Und brauchen wir dafür überhaupt KI?
- Schritt 4Umsetzung mit Leitplanken: KI-Richtlinie, Berechtigungen, Verträge, menschliche Kontrolle und Schulung
- Schritt 5Testen und auswerten: Fehlerfälle prüfen, nach Updates nachtesten, nach etwa drei Monaten den Nutzen bewerten
Prüffragen an Ihren KI-Anbieter
- Gibt es einen Auftragsverarbeitungsvertrag?
- Werden Ihre Daten zum Training des Modells verwendet?
- Wo werden die Daten verarbeitet – in der EU oder in einem Drittland?
- Wie lange werden Eingaben und Ergebnisse gespeichert?
- Ist eine Verarbeitung ohne Speicherung („Zero Data Retention“) möglich?
- Können Sie das KI-Modell später wechseln, ohne den ganzen Prozess neu aufzubauen?
Unsere Leistungen im KI-Recht
Prüfung und Risikoeinstufung
Bestandsaufnahme Ihrer bestehenden und geplanten KI-Anwendungen: Liegt ein KI-System vor, sind Sie Anbieter oder Betreiber – und ist die Anwendung verboten, hochriskant, transparenzpflichtig oder ohne besondere Pflichten?
Interne KI-Richtlinien
Klare Regeln für den Einsatz im Betrieb: welche Werkzeuge, für welche Aufgaben, mit welchen Daten – abgestimmt auf Datenschutz, Geschäftsgeheimnisse und gegebenenfalls die Mitbestimmung des Betriebsrats.
Schulung von Teams und Führungskräften
Praxisnahe Schulungen, mit denen Sie die KI-Kompetenz Ihrer Beschäftigten nach Art. 4 fördern und dokumentieren – inhouse oder online, etwa in unserer Reihe „KI-Hütte“.
Transparenzpflichten
Wir zeigen, wann Sie offenlegen müssen, dass Menschen mit einer KI interagieren, und wie KI-erzeugte Inhalte und Deepfakes zu kennzeichnen sind (Art. 50). Einen Überblick gibt unsere Checkliste für Transparenzpflichten.
KI-Verträge und Lizenzen
Verträge für den Ein- und Verkauf von KI-Technologien: Prüfung von Anbieterbedingungen, Lizenz- und Entwicklungsverträge sowie Regelungen zu Haftung, Vertraulichkeit, Rechten an Ergebnissen, Training mit Ihren Daten und Auftragsverarbeitung.
Haftung und Konflikte
Unterstützung, wenn eine KI fehlerhafte Ergebnisse liefert oder Schäden entstehen: Haftungsfragen gegenüber Kunden und Anbietern, außergerichtliche Auseinandersetzungen, die Vertretung vor Gericht sowie Verfahren vor Aufsichtsbehörden.
Die wichtigsten Fristen
- 1. August 2024Inkrafttreten der KI-Verordnung
- 2. Februar 2025Verbotene KI-Praktiken (Art. 5) und Pflicht zur KI-Kompetenz (Art. 4) – seit dem Digital-Omnibus als Pflicht, die KI-Kompetenz zu fördern
- 2. August 2025Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, Governance und Sanktionen
- 2. August 2026Transparenzpflichten (Art. 50), etwa für Chatbots und KI-generierte Inhalte; für vor diesem Datum bereitgestellte Systeme gilt die Kennzeichnungspflicht nach Art. 50 Abs. 2 ab dem 2. Dezember 2026
- 2. Dezember 2027Hochrisiko-KI nach Anhang III, z. B. Personalauswahl, Beschäftigung, Bildung, Kreditwürdigkeitsprüfung
- 2. August 2028Hochrisiko-KI als Sicherheitsbauteil regulierter Produkte nach Anhang I, z. B. Medizinprodukte
Stand: Oktober 2026, einschließlich der Änderungen durch die Verordnung (EU) 2026/1744.
KI-Recht und Datenschutz aus einer Hand
KI-Verordnung und DSGVO gelten nebeneinander. Sobald ein KI-System personenbezogene Daten verarbeitet – etwa Bewerberdaten oder Kundenanfragen –, braucht es eine Rechtsgrundlage und häufig eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. In unserer Kanzlei arbeiten Rechtsanwältin Benedicta Harzewski (KI-Recht) und Rechtsanwalt Robert Harzewski (Datenschutz) dafür zusammen. Mehr dazu: Datenschutzbeauftragter bei Hochrisiko-KI.
Workshops & Webinare
Die KI-Hütte: KI-Architektur in zehn Modulen
In der Schulungsreihe „KI-Hütte“ zeigen wir Schritt für Schritt, wie Organisationen KI geordnet und rechtssicher einführen – vom ersten Bauplan bis zum laufenden Betrieb. Die Webinare sind kostenfrei und werden über die Datafence GmbH angeboten.
- Modul 1: KI ganzheitlich denkenMensch und KI, aktuelle Herausforderungen wie „KI-Müdigkeit“, die drei Schritte zum KI-Bauplan
- Modul 2: KI beschränkt einsetzenAssistent, Workflow oder Agent? Am Beispiel eines KI-gestützten E-Mail-Beantworters
Ihre Ansprechpartnerin
Benedicta Harzewski
Rechtsanwältin · KI-Recht
Benedicta Harzewski ist Rechtsanwältin, zugelassen bei der Rechtsanwaltskammer Sachsen, und verantwortet in der Anwaltskanzlei Harzewski das KI-Recht. Zuvor war sie von 2017 bis 2026 Dozentin im Bereich Rechtswissenschaften an der Hochschule der Sächsischen Polizei. Sie berät auf Deutsch und Englisch.
KI-Recht im Blick behalten
NewsRadar informiert Sie jeden Montag über Entwicklungen zur KI-Verordnung, zum Datenschutz und zur IT-Sicherheit – kostenlos, mit Einladungen zu unseren Webinaren.
Häufige Fragen zur KI-Verordnung
Gilt die KI-Verordnung auch, wenn wir nur ChatGPT oder Microsoft Copilot nutzen?
Ja. Wer ein KI-System beruflich einsetzt, ist „Betreiber“ im Sinne der KI-Verordnung. Für die übliche Büronutzung handelt es sich in der Regel nicht um Hochrisiko-KI. Relevant sind aber die Förderung der KI-Kompetenz der Beschäftigten (Art. 4), Transparenzpflichten beim Einsatz gegenüber Kunden (Art. 50) und – unabhängig von der KI-Verordnung – der Datenschutz nach der DSGVO.
Müssen wir offenlegen, dass auf unserer Website ein Chatbot antwortet?
Ja. Seit dem 2. August 2026 müssen KI-Systeme, die direkt mit Menschen interagieren, so gestaltet sein, dass die Nutzer erkennen, dass sie mit einer KI kommunizieren – es sei denn, das ist aus den Umständen offensichtlich (Art. 50 Abs. 1).
Ist unser KI-gestütztes Bewerbermanagement ein Hochrisiko-System?
Häufig ja. KI-Systeme, die für die Einstellung oder Auswahl von Bewerberinnen und Bewerbern bestimmt sind – etwa zum Sichten, Filtern oder Bewerten von Bewerbungen –, zählen nach Anhang III Nr. 4 zu den Hochrisiko-Systemen. Die Pflichten dafür gelten ab dem 2. Dezember 2027. Ob ein konkretes Tool erfasst ist, hängt von seiner Zweckbestimmung und seinem tatsächlichen Einsatz ab.
Was hat der Digital-Omnibus an der KI-Verordnung geändert?
Die Änderungsverordnung (EU) 2026/1744 ist am 27. Juli 2026 in Kraft getreten. Sie verschiebt die Hochrisiko-Pflichten auf den 2. Dezember 2027 (Anhang III) und den 2. August 2028 (Anhang I), schwächt die KI-Kompetenzpflicht zu einer Förderpflicht ab, erweitert Erleichterungen für KMU auf kleine Mid-Cap-Unternehmen und ergänzt die Verbote, etwa um die Erzeugung nicht einvernehmlicher intimer Darstellungen.
Welche Behörde überwacht die KI-Verordnung in Deutschland?
Nach dem KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG, BGBl. 2026 I Nr. 223) ist grundsätzlich die Bundesnetzagentur zuständig. Für KI im regulierten Finanzsektor ist die BaFin zuständig, für KI in regulierten Produkten die jeweilige sektorale Marktüberwachungsbehörde.
Welche Bußgelder drohen?
Die KI-Verordnung sieht gestaffelte Höchstbeträge vor (Art. 99): bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes bei verbotenen Praktiken und bis zu 15 Mio. Euro oder 3 % bei Verstößen gegen andere Pflichten. Für KMU gilt jeweils der niedrigere der beiden Beträge.
Beraten Sie auch Privatpersonen?
Nein. Wir beraten ausschließlich Unternehmen, Vereine, Stiftungen und kirchliche Einrichtungen.
Innovation und Rechtssicherheit verbinden
Schildern Sie uns Ihr Vorhaben – wir melden uns mit einer ersten Einordnung.