Jetzt loslegen
Pflegeheime müssen KI-Systeme jetzt rechtskonform prüfen, dokumentieren und menschlich überwachen, sonst drohen hohe Strafen.
Künstliche Intelligenz (KI) revolutioniert die Altenpflege in Deutschland, aber mit ihr kommen strenge Vorschriften. Seit dem EU AI Act (in Kraft seit August 2024) gelten klare Regeln für den Einsatz von KI-Systemen, insbesondere in Pflegeheimen. Verstöße können mit Bußgeldern von bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes geahndet werden. Pflegeeinrichtungen müssen sich auf umfassende Audits, Datenschutzanforderungen und Schulungspflichten vorbereiten. Ab August 2026 gelten verschärfte Vorschriften, insbesondere für Hochrisiko-Systeme.
Die Zeit drängt: Pflegeheime müssen jetzt handeln, um Compliance sicherzustellen und hohe Strafen zu vermeiden.
EU AI Act Risikokategorien für KI-Systeme in der Pflege
Der EU AI Act (Verordnung (EU) 2024/1689) trat im Juni 2024 in Kraft, mit den meisten Regelungen wirksam ab dem 2. August 2026 [9]. Für deutsche Pflegeheime, die KI-gestützte Pflegeplanungs-Tools nutzen, sind diese Vorschriften besonders relevant. Das Gesetz verfolgt einen risikobasierten Ansatz und teilt KI-Systeme in vier Kategorien ein: Unzulässiges Risiko (verboten), Hohes Risiko (streng reguliert), Begrenztes Risiko (Transparenzpflichten) und Minimales Risiko [9][7]. Besonders die Kategorien „Unzulässig“ und „Hohes Risiko“ sind für Pflegeheime von Bedeutung, da viele Anwendungen in der Pflege als hochriskant gelten.
Das Hauptziel des Gesetzes ist es, sicherzustellen, dass KI-Systeme innerhalb der EU sicher sind, vertrauenswürdig arbeiten und mit den Grundrechten vereinbar sind [9]. Beispielsweise sind Social Scoring und Emotionserkennung am Arbeitsplatz verboten – es sei denn, sie dienen medizinischen oder sicherheitsrelevanten Zwecken, wie etwa der Überwachung der Gesundheit von Bewohnern oder der Erfassung von Ermüdungserscheinungen bei Mitarbeitenden [7]. Verstöße gegen diese Vorschriften können mit hohen Bußgeldern geahndet werden [9][10].
Viele KI-Systeme, die in Pflegeheimen eingesetzt werden, fallen unter die Kategorie „Hohes Risiko“. Dazu gehören beispielsweise Tools, die die Berechtigung für medizinische Behandlungen oder grundlegende Dienstleistungen bewerten [7]. Auch KI-Systeme, die als Sicherheitskomponenten in Medizinprodukten dienen oder Entscheidungen treffen, die die Gesundheit, Sicherheit oder Grundrechte der Bewohner beeinflussen, gelten als hochriskant [6][7]. Solche Systeme müssen strenge Auflagen erfüllen:
| Risikokategorie | Beispiele in der Pflege | Regulatorische Anforderungen |
|---|---|---|
| Unzulässig | Social Scoring, manipulative Beeinflussung | Verboten [9][7] |
| Hohes Risiko | KI-gestützte Pflegeplanung, Behandlungsbewertung, Medizinprodukt-Software | Risikomanagement, Datenqualität, menschliche Aufsicht, CE-Kennzeichnung [8][7] |
| Begrenztes Risiko | Chatbots für allgemeine Informationen | Transparenzpflicht (Nutzer müssen wissen, dass sie mit KI interagieren) [9][7] |
| Minimales Risiko | Spam-Filter, KI-gestützte Terminplanung | Keine zusätzlichen rechtlichen Anforderungen [7] |
Zusätzlich zur technischen Risikobewertung ist der Datenschutz ein zentraler Aspekt.
Neben den Vorgaben des EU AI Act müssen KI-Systeme auch die Anforderungen der DSGVO erfüllen. Das bedeutet, dass Pflegeheime eine Rechtsgrundlage für die Verarbeitung von Daten – insbesondere Gesundheitsdaten – benötigen, die als besonders sensibel gelten [10]. Artikel 22 der DSGVO schützt Personen vor Entscheidungen, die ausschließlich automatisiert getroffen werden. In Pflegeheimen darf KI Pflegepläne erstellen, jedoch muss immer ein Mensch die endgültige Entscheidung treffen [10].
„Der Endnutzer muss vor ausschließlich KI-basierten Entscheidungen gemäß Art. 22 DSGVO geschützt werden." – IHK Köln [10]
Pflegeheime sind verpflichtet, Bewohner und Mitarbeitende transparent darüber zu informieren, wenn KI-Systeme eingesetzt oder ihre Daten durch diese verarbeitet werden [7][10]. Datenschutzerklärungen sollten klar darlegen, wie KI-Tools genutzt und welche Daten verarbeitet werden. Zudem müssen Pflegeheime sicherstellen, dass Datenübermittlungen an Server in Drittländern, wie den USA, den DSGVO-Vorgaben für internationale Datenverarbeitung entsprechen [10].
Die EU-Vorschriften bringen klare Prüf- und Auditanforderungen für Hochrisiko-KI-Systeme mit sich, die ab dem 2. August 2026 in Pflegeheimen gelten. Diese Anforderungen, geregelt durch den EU AI Act in den Artikeln 9 bis 15, betreffen sowohl Anbieter als auch Betreiber solcher Systeme und werden in Deutschland unter anderem von der Bundesnetzagentur (BNetzA) überwacht [11].
Ein zentrales Element ist das Risikomanagementsystem, das kontinuierlich potenzielle Gefahren für Gesundheit, Sicherheit und Grundrechte identifizieren und minimieren muss (Art. 9). Über den gesamten Lebenszyklus eines Hochrisiko-KI-Systems hinweg müssen Risiken aktiv überwacht werden. Ein weiterer wichtiger Punkt ist die Qualität der Daten (Art. 10). Trainings-, Validierungs- und Testdaten müssen repräsentativ, relevant und möglichst fehlerfrei sein, um Diskriminierung oder Verzerrungen zu vermeiden. Hierzu hat das BSI mit dem QUAIDAL-Framework 143 Qualitätsmetriken für KI-Trainingsdaten veröffentlicht.
Pflegeheime sollten eine sogenannte Gap-Analyse durchführen, um festzustellen, ob sie als Entwickler oder Betreiber klassifiziert werden und ob ihre Systeme die zentralen Anforderungen erfüllen.
Bevor ein Hochrisiko-KI-System eingesetzt wird, ist eine umfassende technische Dokumentation erforderlich (Art. 11). Diese muss den Konformitätsnachweis sowie Details zur Architektur, zum Zweck, zu Leistungskennzahlen und zu Testverfahren enthalten. Für Pflegeheime bedeutet das, dass die Anbieter der Software klare Bedienungsanleitungen bereitstellen müssen, die sowohl die Funktionen als auch die Grenzen und potenziellen Risiken der KI erläutern (Art. 13).
Ein weiterer Aspekt ist die Nachvollziehbarkeit der KI-Ausgaben: Pflegekräfte müssen in der Lage sein, die Ergebnisse der KI in der Pflegeplanung zu interpretieren. Bis spätestens Februar 2025 müssen alle Mitarbeitenden, die mit KI-Tools arbeiten, ausreichend geschult sein. Hierfür sollten Pflegeheime strukturierte Schulungsprogramme dokumentieren, die Teil einer umfassenden KI-Integration in Pflegeheimen sind, um bei Inspektionen den Nachweis über technische, rechtliche und ethische Schulungen erbringen zu können.
„Compliance wird zu einem echten Qualitätsmerkmal. Unternehmen, die den AI Act proaktiv umsetzen, minimieren nicht nur regulatorische Risiken, sondern gewinnen auch einen Wettbewerbsvorteil durch getestete, zuverlässige KI-Systeme." – CASIS Wirtschaftsprüfung [2]
Hochrisiko-KI-Systeme müssen automatische Protokolldateien erstellen, die den Betrieb über den gesamten Lebenszyklus dokumentieren (Art. 12). Betreiber wie Pflegeheime sind verpflichtet, diese Protokolle mindestens sechs Monate aufzubewahren [12]. Zu den protokollierten Informationen gehören unter anderem Nutzungszeiträume, Eingabedaten und die Identität der Personen, die die KI-Ergebnisse überprüfen.
Darüber hinaus müssen Anbieter ein Post-Market-Monitoring-System (PMM) einrichten, um nach der Markteinführung Leistungsdaten zu sammeln und potenzielle Risiken oder Fehlfunktionen zu identifizieren. Für Pflegeheime bedeutet das, dass qualifiziertes Personal die Ergebnisse der KI kontinuierlich überwacht, um eine übermäßige Abhängigkeit von automatisierten Vorschlägen – den sogenannten Automation Bias – zu vermeiden. Es ist zudem ratsam, Systeme mit einer „Stopp-Funktion" auszustatten, um bei Fehlfunktionen schnell eingreifen zu können.
Schwerwiegende Vorfälle oder Fehlfunktionen müssen unverzüglich an den Anbieter sowie an die zuständigen Marktaufsichtsbehörden gemeldet werden. Verstöße gegen diese Vorgaben können mit Bußgeldern von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden [11]. Diese Maßnahmen unterstreichen, wie wichtig ein kontinuierlicher Überwachungsprozess für den sicheren Einsatz von Hochrisiko-KI-Systemen ist.
Pflegeheime, die Hochrisiko-KI-Systeme einsetzen, stehen vor der Herausforderung, sich auf Audits durch notifizierte Stellen vorzubereiten. Diese Prüfstellen können zusätzliche Tests verlangen oder eigenständig Prüfungen durchführen, wenn die vorgelegte Dokumentation nicht ausreicht [14]. Eine gründliche Vorbereitung ist entscheidend, um hohe Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes zu vermeiden [4][1]. In diesem Abschnitt betrachten wir interne Bewertungsprozesse, die Schulung von Mitarbeitenden und Strategien zur Vermeidung von Non-Compliance.
Pflegeheime müssen klären, ob sie als Entwickler oder Betreiber von KI-Systemen eingestuft werden und ob ihre Systeme die gesetzlichen Anforderungen erfüllen. Für Hochrisiko-Systeme ist ein Qualitätsmanagementsystem (QMS) gemäß Artikel 17 der KI-Verordnung Pflicht. Dieses System muss schriftlich dokumentierte Regeln, Verfahren und Anweisungen umfassen [13]. Bestehende branchenspezifische QMS-Strukturen können erweitert werden, um die Anforderungen der KI-Verordnung zu integrieren [13].
Die technische Dokumentation und das QMS müssen vollständig vorgelegt werden. Diese Dokumentation sollte Details zur Systemarchitektur, Leistungskennzahlen und Testverfahren enthalten [14]. Prüfer verlangen außerdem Zugriff auf Trainings-, Validierungs- und Testdaten, oft über APIs oder Remote-Zugänge [14]. Jede wesentliche Änderung am System oder QMS muss dokumentiert und der notifizierten Stelle gemeldet werden [14].
| QMS-Komponente (Art. 17) | Bedeutung für die Audit-Vorbereitung |
|---|---|
| Regulatorisches Compliance-Konzept | Sicherstellung der Konformität und Verwaltung von Systemänderungen |
| Datenmanagement | Prozesse zur Datenerfassung, Kennzeichnung und Speicherung |
| Risikomanagement | Identifikation und Minimierung von KI-Risiken |
| Vorfallsmeldung | Meldung schwerwiegender Fehlfunktionen an Behörden |
| Verantwortlichkeitsrahmen | Klare Rollenverteilung für die Überwachung der KI-Systeme |
Artikel 4 des EU AI Act fordert, dass alle Mitarbeitenden, die mit KI-Systemen arbeiten, über ausreichendes KI-Fachwissen verfügen [4][13]. Schulungen sollten drei Hauptbereiche abdecken: Systembedienung (praktische Nutzung der Software), Datenmanagement (korrekte Eingabe und Interpretation von Daten) und ein funktionales Verständnis der Möglichkeiten und Grenzen der KI [5].
Nach Artikel 14 müssen Pflegekräfte in der Lage sein, KI-Entscheidungen zu übersteuern, insbesondere bei Therapieempfehlungen oder Pflegeplanungen [4][13]. Auch rechtliche und ethische Aspekte, wie das Risiko algorithmischer Verzerrungen, die Diskriminierungen verursachen könnten, sollten Teil der Schulungen sein. Dies ist besonders relevant im Hinblick auf das Allgemeine Gleichbehandlungsgesetz (AGG) [1].
"Man muss so schnell wie möglich die Ressourcen schaffen, um ein rechtskonformes System aufzubauen, und das Team so prompt wie möglich schulen." – Dr. Andrea Sautter, Taylor Wessing [4]
Eine Kombination aus Workshops, Online-Tutorials und direktem Coaching kann verschiedene Lernstile berücksichtigen und die Schulung effektiver gestalten [5]. Pilotprojekte in ausgewählten Abteilungen helfen dabei, Best Practices zu entwickeln und geschulte Mitarbeitende als Multiplikatoren einzusetzen [5]. Alle Schulungsmaßnahmen sollten im QMS dokumentiert werden, um bei Inspektionen den Nachweis über die Qualifizierung der Mitarbeitenden zu erbringen.
Die häufigsten Compliance-Verstöße betreffen den Datenschutz und mögliche DSGVO-Verletzungen, etwa wenn sensible Patientendaten ohne Rechtsgrundlage in Large Language Models (LLMs) eingegeben werden. Besonders kritisch ist die Übertragung solcher Daten auf Drittland-Server (z. B. in den USA) oder deren unerlaubte Nutzung für Trainingszwecke. Auch „Black Box"-Systeme, deren Entscheidungsfindung nicht nachvollziehbar ist, bergen Risiken. Typische Fehler sind unzureichende Dokumentationen, subjektive Bewertungen statt objektiver Fakten und fehlende Zeitstempel.
Zur Risikominimierung sollten Pflegeheime AI-Governance-Strukturen einrichten, die Experten aus Recht, IT und Datenwissenschaft einbeziehen. Gleichzeitig ist es wichtig, die fünf Prinzipien der Pflegedokumentation einzuhalten: vollständig, sachlich, verständlich, zeitnah und individuell [15]. Eine gründliche Vendor Due Diligence kann sicherstellen, dass das KI-System des Anbieters den Anforderungen entspricht und die notwendige technische Dokumentation bereitstellt.
Ein Human-in-the-Loop-Prozess ist essenziell: Jede KI-generierte Empfehlung oder Pflegeplanung sollte von qualifizierten Fachkräften geprüft und freigegeben werden, um Haftungs- und Ethikrisiken zu vermeiden. Zusätzlich sollten formale Feedback-Mechanismen eingerichtet werden, damit Mitarbeitende KI-Fehler oder „Halluzinationen" melden können [5]. So lassen sich potenzielle Probleme frühzeitig erkennen und beheben.
Ein effektives Risikomanagement, regelmäßige menschliche Kontrolle und eine gründliche Dokumentation gewährleisten den sicheren Einsatz von KI in der Pflege. Regulatorische Vorgaben spielen dabei eine entscheidende Rolle, wie PwC treffend formuliert:
„Compliance becomes a real quality feature" [3]
Pflegeeinrichtungen, die ihre KI-Systeme sorgfältig prüfen, transparent dokumentieren und gezielt steuern, stärken das Vertrauen von Bewohnern, Angehörigen und Aufsichtsbehörden gleichermaßen.
Die sogenannte Mensch-in-der-Schleife-Pflicht garantiert, dass in Hochrisiko-Szenarien keine vollautomatischen Entscheidungen getroffen werden. Pflegekräfte behalten die Kontrolle, indem sie KI-Empfehlungen überprüfen und bei Bedarf manuell anpassen. Gleichzeitig hilft der gezielte Ausbau von KI-Kompetenzen den Mitarbeitenden, die Grenzen der Technologie zu verstehen und sie sinnvoll einzusetzen.
Eine strenge Datengovernance ist essenziell, um diskriminierende Ergebnisse in Gesundheitsbewertungen oder Pflegeplänen zu vermeiden. Automatische Protokollierungen, sogenannte Audit-Trails, ermöglichen eine transparente Dokumentation des Entscheidungsprozesses und helfen, Fehler schnell zu identifizieren.
Um die Compliance-Anforderungen effizient umzusetzen, sollten Pflegeheimleiter folgende Schritte berücksichtigen:
Die Zeit drängt: Bis zum 2. August 2026 müssen alle Hochrisiko-Systeme vollständig konform sein. Andernfalls drohen empfindliche Bußgelder von bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes [1][11].
Ja, unser KI-Tool für den Pflegebereich wird als „Hochrisiko“ eingestuft. Diese Bewertung erfolgt gemäß den Vorschriften für Hochrisiko-KI-Systeme, die durch die KI-Verordnung in Deutschland festgelegt sind.
Für ein Audit von Hochrisiko-KI-Systemen ist es entscheidend, alle erforderlichen Nachweise über die Einhaltung der Anforderungen bereitzustellen. Dabei spielen folgende Elemente eine zentrale Rolle:
Sorgen Sie dafür, dass sämtliche Dokumente gut organisiert und auf dem neuesten Stand sind, um im Auditprozess keine Verzögerungen zu riskieren.
Personenbezogene Gesundheitsdaten erfordern einen besonders hohen Schutz, um Verstöße gegen die DSGVO zu verhindern. Zu den wichtigsten Maßnahmen gehören:
Eine weitere zentrale Maßnahme ist die Datenschutz-Folgenabschätzung (DSFA). Sie dient dazu, potenzielle Risiken für die betroffenen Personen frühzeitig zu erkennen und geeignete Gegenmaßnahmen zu ergreifen.
Besonders beim Training von KI-Systemen spielt die Einhaltung der DSGVO eine entscheidende Rolle. Verstöße können nicht nur das Vertrauen der Nutzer beeinträchtigen, sondern auch rechtliche Konsequenzen wie hohe Bußgelder zur Folge haben.
