EU AI Act: Rolle von Erklärbarkeit in der Pflege

June 17, 2026

KI darf in Pflegeheimen nicht zur Blackbox werden: Erklärbare Vorschläge, menschliche Freigabe und lückenlose Logs sind Pflicht.

Ab dem 02.08.2026 gilt: Wenn KI in Pflegeheimen Vorschläge für SIS, Maßnahmenplanung oder Risikobewertungen macht, reicht ein „passt schon“ nicht mehr. Ich muss dann zeigen können, wie der Vorschlag entstand, wer ihn geprüft hat und wann er freigegeben wurde.

Kurz gesagt: Der Artikel zeigt, was Pflegeheime jetzt tun müssen, wenn KI die Pflegedokumentation beeinflusst. Im Kern geht es um 4 Punkte:

  • Erklärbarkeit: KI-Vorschläge müssen für Pflegekräfte verständlich sein.
  • Menschliche Freigabe: Kein Eintrag darf ungeprüft in die Dokumentation rutschen.
  • Protokolle: Änderungen, Zeitstempel, Nutzerkennung und Gründe müssen in revisionssicheren Audit-Trails festgehalten werden.
  • Schulung: Mitarbeitende brauchen nachweisbare KI-Kenntnisse.

Dazu kommt Druck durch Fristen und Sanktionen:

  • Seit 02.02.2025 gilt die Pflicht zur KI-Kompetenz.
  • Ab 02.08.2026 greifen die Regeln für Hochrisiko-KI.
  • Bei Verstößen drohen bis zu 15 Mio. € oder 3 % des weltweiten Jahresumsatzes.

Was ich aus dem Beitrag mitnehme: Ein Pflegeheim braucht keine Theorie, sondern einen klaren Ablauf: Eingabe → KI-Entwurf → Prüfung durch Fachkraft → Freigabe → Speicherung mit Log. Wenn Entwurf und Freigabe nicht sauber getrennt sind, wird es bei Haftung, MD-Prüfung und interner Kontrolle schnell heikel.

Ein weiterer Punkt: Nicht nur intern zählt Nachvollziehbarkeit. Bewohner und rechtliche Betreuer müssen informiert werden, wenn KI die Pflegeplanung beeinflusst. Das gehört in Hinweise, Verträge und den Umgang im Alltag.

Thema Was zählt
Frist 02.08.2026
Risiko Hochrisiko-KI bei Einfluss auf Pflegeentscheidungen
Pflichtnachweise Freigabe, Logs, Schulung
Aufbewahrung Logs mind. 6 Monate, Pflegedoku 10 Jahre
Rollen Heimleitung, PDL, QM, Datenschutz, IT

Mein Fazit vorab: Wer KI in der Pflege nutzt, muss keine Blackbox dulden. Unterstrichen wichtig ist ein prüfbarer Workflow mit klaren Rollen, sauberem Logging und sichtbarer menschlicher Entscheidung.

EU AI Act: Erklärbarer KI-Workflow für Pflegeheime

EU AI Act: Erklärbarer KI-Workflow für Pflegeheime

Das Problem: Wo KI-Dokumentationssysteme Erklärbarkeitslücken erzeugen

KI-Anwendungsfälle mit rechtlicher Relevanz in Pflegeheimen

Nicht jede KI-Funktion in der Pflegedokumentation ist gleich riskant. Heikel wird es dann, wenn ein System Inhalte selbst in die Pflegebewertung oder die SIS übernimmt und daraus fachlich relevante Schlüsse zieht. Besonders kritisch sind Funktionen, die Risiken bewerten oder Maßnahmen vorschlagen, ohne dass die Entscheidungslogik sichtbar wird. Solche Anwendungen können als Hochrisiko-KI eingestuft werden [7].

Je stärker die KI in Bewertung und Planung eingreift, desto größer wird die Lücke zwischen einem Vorschlag und dem späteren Nachweis. Genau das wird beim EU AI Act zum Knackpunkt.

Intransparente Vorschläge, fehlende Audit-Trails und unklare Rollengrenzen

Das Kernproblem ist die fehlende Nachvollziehbarkeit. Welche Daten haben den Vorschlag ausgelöst? Und warum hat die Fachkraft ihn freigegeben? Wenn KI-Entwurf und menschliche Freigabe nicht sauber getrennt sind, lässt sich die Dokumentation im Nachgang nur schwer für MDK-Prüfungen optimieren [6].

Ohne diese Trennung fehlt die Basis für eine rechtssichere Nachvollziehbarkeit nach dem EU AI Act. Dann steht am Ende ein Eintrag im System, aber der Weg dorthin bleibt im Dunkeln.

Warum bestehende Dokumentationsroutinen oft nicht ausreichen

Viele herkömmliche Abläufe halten nur den fertigen Eintrag fest. Bei KI reicht das nicht. Für KI-gestützte Dokumentation braucht es zusätzlich einen Ablauf, der Schritt für Schritt prüfbar ist: Welche Daten hat die KI genutzt, wann hat die Fachkraft geprüft, und was hat sie geändert?

Dafür braucht es unveränderliche Protokolle mit:

  • System-ID
  • Zeitstempel
  • betroffenem Datenpunkt
  • Aktion
  • Begründung [7]

Auch das Personal muss nachweisbar im Umgang mit KI-Systemen geschult sein. Sonst bleibt Verantwortung auf dem Papier klar, im Alltag aber unscharf.

Daraus folgen klare Anforderungen an Workflow, Logging und Freigabeprozesse. Genau dort muss der Prozess ansetzen: bei Freigabe, Protokollierung und klarer Verantwortung.

Die Lösung: EU AI Act-Pflichten in konkrete Heimanforderungen übersetzen

Die wichtigsten EU AI Act-Anforderungen zur Erklärbarkeit

Der EU AI Act nennt mehrere Pflichten, die direkt im Pflegealltag ankommen. Transparenz (Art. 13) bedeutet: Pflegekräfte müssen die Ergebnisse eines KI-Systems fachlich einordnen und prüfen können. Menschliche Aufsicht (Art. 14) geht noch weiter. Es reicht also nicht, KI-Vorschläge einfach nur abzunicken. Dazu kommt Art. 4: Mitarbeitende brauchen nachweisbare KI-Kompetenz, und Schulungen müssen dokumentiert werden.

Wenn Audit-Trails fehlen und Freigaben unklar bleiben, wird es heikel. Daraus ergeben sich für Pflegeheime drei klare Anforderungen: verständliche Vorschläge, sichtbare Freigaben und lückenlose Protokolle.

EU AI Act-Pflicht Praktische Heimanforderung
Transparenz (Art. 13) KI-Vorschläge werden auf Deutsch erklärt, zum Beispiel mit einem Hinweis darauf, warum eine bestimmte SIS-Formulierung vorgeschlagen wurde [1][2]
Menschliche Aufsicht (Art. 14) Vor dem Speichern prüft und gibt die Fachkraft frei [2]
Protokollierung (Art. 12/26) Automatische Protokolle mit Zeitstempel, Nutzerkennung und Änderungen [2][4]
KI-Kompetenz (Art. 4) Dokumentierte Schulungen zu KI-Grenzen, Fehlerrisiken und korrekten Freigabeprozessen [8][3]

Wichtig ist auch die Aufbewahrung: Logs müssen mindestens 6 Monate verfügbar sein. Pflegedokumentation ist nach § 630f BGB 10 Jahre aufzubewahren [2].

Was ein erklärbarer Dokumentationsworkflow zeigen muss

Ein erklärbarer Workflow zeigt jeden Schritt offen. Die Quelle der Eingabe muss sichtbar sein. Der KI-Entwurf muss klar vom Stand getrennt werden, den ein Mensch bearbeitet hat. Und jede Freigabe braucht einen Zeitstempel.

Wo es passt, sollte das System auch den Grund für einen Vorschlag anzeigen, etwa:

„Erhöhtes Sturzrisiko erkannt aufgrund von zwei dokumentierten Sturzereignissen"

Die Prozesskette ist klar: Sprach- oder Texteingabe (wie die sprachgesteuerte Pflegedokumentation zeigt) → KI-Entwurf → fachliche Prüfung → Freigabe → Speicherung [1][2]. Jeder einzelne Schritt muss im System nachprüfbar sein. Sonst bleibt am Ende nur ein Blackbox-Gefühl - und genau das darf im Pflegebereich nicht passieren.

Transparenz gegenüber Bewohnern und rechtlichen Betreuern

Erklärbarkeit hört nicht beim System auf. Sie betrifft auch Bewohner und rechtliche Betreuer. Neben der internen Nachvollziehbarkeit braucht es daher auch klare Information nach außen.

Bewohner und rechtliche Betreuer müssen informiert werden, wenn KI die Pflegeplanung beeinflusst. Art. 50 EU AI Act verpflichtet Einrichtungen dazu ab dem 2. August 2026 [9]. In der Praxis heißt das: Die KI-Nutzung gehört in Heimverträge und Datenschutzhinweise. Dazu kommen kurze, verständliche Erklärungen, welche Rolle die KI bei der Pflegeplanung spielt.

Der Punkt ist einfach: Die KI unterstützt die Arbeit der Pflegekraft. Sie ersetzt ihr fachliches Urteil nicht.

In der Praxis: Erklärbare KI-Workflows für die SIS-Dokumentation

Workflow-Design: Von der Spracheingabe zur freigegebenen Pflegedokumentation

Erklärbarkeit zeigt sich im Pflegealltag nicht in der Theorie, sondern erst dann, wenn der Freigabeprozess sauber dokumentiert ist.

In der Praxis läuft das ziemlich klar ab: Eine Pflegekraft spricht ihre Beobachtung direkt nach dem Kontakt mit dem Bewohner ein. Das System überträgt diese Spracheingabe direkt in SIS-Felder wie Anamnese, Risiken und Maßnahmen. Der Eintrag bleibt zunächst ein Entwurf. Erst wenn die Fachkraft ihn prüft und freigibt, wird daraus die freigegebene Pflegedokumentation.

Wichtig ist die klare Trennung zwischen Entwurf und freigegebener Version. KI-Vorschläge müssen so lange als Entwurf sichtbar bleiben, bis die Fachkraft sie freigibt. Jede Änderung wird dabei protokolliert.

Damit so ein Ablauf im Alltag klappt, muss das KI-Tool direkt in die vorhandene Pflegesoftware eingebunden sein. Sonst entstehen Medienbrüche. Und genau da fängt oft der Ärger an: parallele Systeme, doppelte Arbeit, mehr Risiko für Doppeldokumentation. Die KI-Sprachdokumentation sollte deshalb ohne extra Systemwechsel direkt in die strukturierten Felder laufen.

Governance, Protokollierung und Schulung

So ein Ablauf steht und fällt mit klaren Regeln. Wer ist zuständig? Wer darf freigeben? Was wird protokolliert? Das muss eindeutig festgelegt sein.

Für die Nachvollziehbarkeit von KI-Entscheidungen gilt diese Aufgabenteilung:

  • Heimleitung trägt die Verantwortung für die Entscheidung zugunsten des KI-Systems und stellt sicher, dass vor dem Rollout eine Betriebsvereinbarung vorliegt [6].
  • Pflegedienstleitung (PDL) prüft die fachliche Qualität der KI-Ausgaben und benennt die Personen, die die Aufsicht über das System übernehmen (Art. 26 EU AI Act) [2].
  • Qualitätsmanagement bindet KI-Risiken in das bestehende QM-System ein, statt dafür eigene Nebenprozesse aufzusetzen [5].
  • Datenschutz und IT sorgen dafür, dass Logs mindestens sechs Monate verfügbar sind und ein Auftragsverarbeitungsvertrag (AVV) besteht [2][6].

Auch bei der Schulung gibt es wenig Spielraum: Art. 4 EU AI Act macht KI-Kompetenz zur Pflicht. Fehlen Nachweise, kann das im Schadensfall die Haftung verschärfen [6]. In vielen Einrichtungen hat sich ein Modell mit internen Multiplikatoren bewährt. Diese begleiten das Team in der Einführungsphase und helfen beim sicheren Umgang mit dem System [6].

Nicht erklärbarer vs. erklärbarer KI-Workflow: Ein direkter Vergleich

Am klarsten wird der Unterschied, wenn man beide Abläufe direkt nebeneinanderlegt.

Kriterium Nicht erklärbarer KI-Workflow Erklärbarer KI-Workflow
Vertrauen im Team Gering; die „Black Box“ führt zu Skepsis oder blindem Vertrauen (Automation Bias) Hoch; Pflegekräfte sehen, warum ein Vorschlag gemacht wurde
Sicherheit bei MD-Prüfungen Gering; fehlende Verbindung zwischen Eingabe und finalem SIS-Eintrag Hoch; Änderungshistorie vollständig sichtbar
Nachvollziehbare Freigabekette Nicht vorhanden; KI-Entwurf und freigegebene Version sind nicht getrennt Vollständig; Entwurf, Prüfung und Freigabe sind im System klar markiert

Fazit und Fahrplan: Erklärbare KI in Pflegeheimen – nächste Schritte

Erklärbarkeit ist nach dem EU AI Act Pflicht. Sie ist zugleich die Basis für eine Pflegedokumentation, die sich sauber prüfen und verstehen lässt. Daraus ergibt sich ein klarer Plan für den Heimbetrieb. Wenn ein Pflegeheim KI-gestützte Dokumentation nutzt, bleibt die Verantwortung für den rechtskonformen Einsatz beim Betreiber – ganz gleich, wie der Anbieter die Technik im Hintergrund gebaut hat [2]. Genau daraus leitet sich der Fahrplan für Heimleitung, PDL und QM ab.

Fünf-Schritte-Fahrplan für Leitungsteams

Die fünf Schritte unten übersetzen die rechtlichen Vorgaben in klare Abläufe im Heim.

Schritt Verantwortlich Erwartetes Ergebnis
1. KI-Bestandsaufnahme und Risikoklassifizierung Heimleitung und IT Inventar aller KI-gestützten Tools und Einordnung in „Hoch" oder „Begrenzt"
2. KI-Kompetenz sicherstellen Qualitätsmanagement Dokumentierte Schulungsnachweise zur KI-Kompetenz (Art. 4, seit 2. Februar 2025) [2]
3. Aufsicht und Freigabe festlegen PDL und Pflegefachkräfte Klare Freigaberegeln und Interventionsprotokolle
4. Protokollierung einrichten IT und Datenschutz Logging-Konzept, das System, Zugriff, Zweck und Freigabe eindeutig zuordnet
5. Bewohner und Vertreter informieren Heimleitung und PDL Information der Bewohner und gegebenenfalls ihrer gesetzlichen Vertreter sowie Dokumentation der Risikoprüfung [7]

Das Wichtigste für Heimleitung, PDL und Qualitätsmanagement

Im Alltag machen vor allem zwei Punkte den Unterschied.

Menschliche Freigabe bleibt Pflicht. Pflegefachkräfte müssen KI-Vorschläge übersteuern, ablehnen oder freigeben können [2]. Entwürfe und freigegebene Einträge müssen klar voneinander getrennt sein. Sonst wird aus Hilfe schnell ein Risiko.

Vollständige Audit-Trails sichern Nachvollziehbarkeit und Qualität. Sie helfen nicht nur bei einer Prüfung durch den Medizinischen Dienst. Sie helfen auch intern: Fehler lassen sich schneller finden, und Probleme in der Qualität können gezielter bearbeitet werden.

So kann das in der Praxis aussehen: dexter health setzt auf Spracheingabe direkt nach dem Bewohnerkontakt, die automatische Überführung in SIS-basierte Dokumentation, eine klare Trennung zwischen Entwurf und Freigabe sowie die Anbindung an bestehende Pflegedokumentationssysteme. Das senkt den Aufwand und sorgt für die geforderte Nachvollziehbarkeit.

FAQs

Wann gilt KI in der Pflegedokumentation als Hochrisiko-KI?

KI in der Pflegedokumentation gilt nach dem EU AI Act als Hochrisiko-KI, wenn sie im Gesundheitsbereich Aufgaben übernimmt, die klinische Entscheidungen beeinflussen. Das ist zum Beispiel der Fall, wenn sie als KI-gestützte Entscheidungshilfe dient oder als Diagnose- bzw. Medizinprodukt-Software eingesetzt wird.

Entscheidend für die Einstufung sind die MDR/IVDR oder Anhang III. Gilt die KI als Medizinprodukt oder als Sicherheitskomponente und braucht sie eine Konformitätsbewertung durch eine Benannte Stelle, fällt sie in die Kategorie Hochrisiko.

Welche Nachweise muss ein Pflegeheim bei KI-gestützter Dokumentation führen?

Pflegeheime müssen bei KI-gestützter Dokumentation vor allem diese Nachweise bereithalten:

  • Datenschutz-Folgenabschätzung nach Art. 35 DSGVO
  • bei Hochrisiko-Systemen eine Grundrechte-Folgenabschätzung und einen Audit-Trail
  • Nachweise zur KI-Kompetenz, zu Schulungen sowie zu technischen und organisatorischen Vorgaben

Dazu kommt die Pflicht, den Betrieb des Systems, Vorfälle und automatisch erzeugte Protokolle festzuhalten. Diese Unterlagen sind mindestens sechs Monate aufzubewahren.

Wie informiere ich Bewohner und Betreuer über KI in der Pflegeplanung?

Informieren Sie Bewohner und Betreuer offen, klar und risikobasiert über den Einsatz von KI in der Pflegeplanung. Machen Sie deutlich: KI unterstützt nur. Sie hilft zum Beispiel dabei, Daten zu ordnen oder Risikomuster zu erkennen.

Genauso wichtig ist der Hinweis, dass die fachliche Verantwortung und die letzte Entscheidung immer bei den Pflegefachkräften liegen. KI gibt also Hinweise, sie entscheidet nicht.

Nutzen Sie eine einfache, alltagsnahe Sprache. Das schafft Vertrauen. Hilfreich ist auch, die Vorteile konkret zu benennen, etwa genauere Dokumentation und mehr Zeit für die Betreuung. So wird für Bewohner und Betreuer leichter greifbar, wo KI im Pflegealltag nützt - und wo ihre Grenzen liegen.

Verwandte Blogbeiträge

KI für die Pflege. Von Sprachdokumentation bis zu KI-Dienstplanung. Wir sorgen dafür, dass Pflegekräfte mehr Zeit haben.

Bonner Wall 126, 50677 Köln, Deutschland
Blog
Kontakt
Impressum
Datenschutz
© 2026 dexter health GmbH
DSGVO-konform
EU-KI-Verordnung
heyData trusted logo
heyData EU AI trusted logo