KI-Agenten-Workflows: Compliance ist Architektur
Mehrere KI-Agenten, die zusammenarbeiten, sind state-of-the-art — aber rechtlich anspruchsvoll. Du kombinierst AI-Act-Pflichten (Art. 26 Human Oversight, Art. 50 Kennzeichnung) mit DSGVO Art. 22 (keine vollautomatisierten Einzelentscheidungen). Ohne Audit-Trail kein Compliance-Nachweis.
Worum es geht
Multi-Agent-Systeme sind Programme, in denen mehrere KI-Agenten Aufgaben aufteilen — z.B. ein 'CEO-Agent' der Strategie plant, ein 'Engineer-Agent' der Code schreibt, ein 'Reviewer-Agent' der prüft. Klingt elegant, ist rechtlich heikel: Welcher Agent hat welche Daten gesehen? Wer hat die Entscheidung getroffen? Wer ist verantwortlich? Der AI Act verlangt Human Oversight an kritischen Entscheidungspunkten (Art. 26), die DSGVO verbietet vollautomatisierte Einzelentscheidungen ohne Opt-in (Art. 22).
Was Compliance-technisch besonders anspruchsvoll ist: Agenten können kaskadieren. Agent A erzeugt einen Vorschlag, Agent B verfeinert ihn, Agent C setzt ihn um — jeder Zwischenschritt eine potenzielle Fehlerquelle, jede Weitergabe eine Datenverarbeitung. Ohne strukturierten Audit-Trail ist die Frage 'wieso hat das System das getan?' im Nachhinein nicht mehr beantwortbar. Genau das aber verlangen sowohl AI Act (Art. 11 Risikomanagement-System, Art. 13 Transparenzpflichten) als auch DSGVO (Art. 30 Verarbeitungsverzeichnis, Art. 22 Recht auf Erklärung).
Die praktische Antwort lautet fast immer: Approval-Gates an den Stellen, wo es um Geld, Personen oder kundensichtbare Inhalte geht. Zusätzlich ein durchsuchbares Log pro Agent-Lauf, EU-Hosting für sensible Workloads und ein Kill-Switch für Anomalien. Wer diese Bausteine hat, kann jedem Auditor in 5 Minuten zeigen, wie ein bestimmter Output zustande kam — und das ist der Test.
Wer ist betroffen
- Software-Anbieter und Agenturen, die KI-Agenten für Kunden bauen oder betreiben — als 'Provider' im Sinne des AI Act.
- SaaS-Unternehmen mit autonomen KI-Funktionen: Auto-Reply, Auto-Booking, Auto-Purchase, Content-Automation — alles was ohne menschliche Freigabe passiert, ist verschärft geregelt.
- HR- und Recruiting-Tools mit CV-Scoring, Video-Interview-Analyse, Bewerber-Ranking — Hochrisiko nach Annex III mit erhöhten Pflichten.
- Fintech- und Kredit-Anbieter mit ML-Scoring, Bonitäts- oder Betrugserkennung — ebenfalls Hochrisiko (Annex III), plus DSGVO Art. 22.
- E-Commerce mit dynamischer Preisgestaltung, personalisierten Empfehlungen oder autonomem Bot-Support gegenüber Endkunden.
- Unternehmen mit internen KI-Agenten für Buchhaltung, Reporting oder Compliance-Prüfung — Dokumentationspflicht auch ohne externe Wirkung.
- Betreiber von Chatbots und virtuellen Assistenten — Art. 50 AI Act verlangt Kennzeichnung, auch bei einfachen FAQ-Bots.
Was Pflicht ist
- Pro Agent-Lauf: vollständiges Log (Eingabe, Modell, Output, Zeitstempel, Tool-Calls).
- Approval-Gates an kritischen Entscheidungen (Hiring, Budget, Code-Deploy, Kundenkontakt).
- Memory-System für Audit-Trail (Continuous-Learning-Pattern, Insights, Improvements).
- Rollback-Möglichkeit für jede Agent-Aktion (kein 'irreversibel by design').
- EU-hosted Modelle für sensible Workloads (Scaleway Paris, kein US-Anbieter).
- Tool-Rules pro Agent: welche APIs darf er aufrufen, welche Daten lesen, welche Aktionen tun.
- Human Oversight Dashboard für Admin-Einsicht in Agent-Outputs vor Production.
- Retention: KI-Prompts und Logs nach 30 Tagen löschen (es sei denn rechtliche Aufbewahrung greift).
- KI-Kennzeichnung für jeden Output an Endnutzer (Art. 50 AI Act): AiBadge, akustischer Hinweis, Text-Marker — machine-readable UND für Menschen sichtbar.
- Modellkarte pro eingesetztem Modell: Provider, Version, Trainingsdaten-Herkunft, bekannte Bias, Sprachabdeckung — als Basis für Risikoentscheidungen.
- Kill-Switch bei Anomalien: Rate-Explosion, Token-Overrun, Content-Fluten oder Halluzinations-Kaskade — automatischer Stopp, kein 'ich schau morgen mal'.
Was ich für dich übernehme
- Architektur mit klaren Agent-Rollen (z.B. CEO/CTO/Engineer-Pattern), Tool-Rules pro Rolle.
- Memory-System (Insights/Improvements als getrennte Kollektionen mit Audit-Bezug).
- Approval-Workflow vor Production-Aktionen (UI für Admin, E-Mail-Benachrichtigung).
- Audit-Logging in Postgres mit Such-UI: Agent, Lauf, Eingabe, Modell, Output, Zeit.
- EU-hosted Modelle als Default (Scaleway Mistral, Pixtral) — US-LLMs nur per Opt-in.
- AiBadge-Integration auf jedem KI-Output (DE+EN, sichtbar für Endnutzer).
- Dashboard mit Agent-Run-Historie und Filter (nach Agent, Datum, Status).
- Kostenkontrolle pro Agent-Lauf: Budget-Limit, Token-Zähler, automatische Bremse bei Overrun — schützt vor ausufernden Bills und vor 'runaway agents'.
- Halluzinations-Erkennung mit Confidence-Score: unter Schwelle X automatische Menschentriage statt Auto-Publish — inklusive UI zum Nachpflegen.
Rechtsgrundlage
Verordnung (EU) 2024/1689 (AI Act) · DSGVO Art. 22 · DSGVO Art. 30 (Verarbeitungsverzeichnis) · DSGVO Art. 35 (DSFA bei Profiling)
Häufige Fragen
- Reicht eine einfache Logdatei als Audit-Trail für KI-Agenten?
- Theoretisch ja, praktisch nein. Eine flache Logdatei ist nicht durchsuchbar, nicht auditierbar, nicht zugriffsgeschützt. Die Aufsichtsbehörde will im Ernstfall pro Lauf wissen: Welcher Agent? Welche Eingabe? Welches Modell? Welcher Output? Welche Tools? Strukturiertes Logging in Postgres mit Such-UI ist Mindeststandard für Compliance-Nachweis.
- Wann genau brauche ich ein Approval-Gate?
- Vor jeder Aktion mit Außenwirkung: kundensichtbarer Inhalt (Blog-Post, E-Mail, Rechnung), Geld-Bewegung, Personalentscheidung, Code-Deploy in Produktion. Faustregel: 'Würde ich diesen Schritt einem unerfahrenen Mitarbeiter ohne Review erlauben?' — wenn nein, dann auch keinem KI-Agenten. Approval kann eine Ein-Klick-UI sein, muss aber dokumentiert werden (wer, wann, was).
- Warum EU-hosted Modelle, wenn OpenAI ja auch Verträge anbietet?
- Aus drei Gründen. (1) Drittlandstransfer kostet Compliance-Aufwand (TIA, SCCs, Risikoabwägung — bei jeder Änderung der Geschäftsgrundlagen erneut). (2) Schrems-II-Risiko: US-Behörden können US-Anbieter zwingen. (3) Datensouveränität: bei sensiblen Workloads (Personalakten, Gesundheit, Strategiepapiere) ist 'in der EU bleiben' Goldstandard. Scaleway Mistral kostet ähnlich, vermeidet aber das ganze Drittland-Thema.
- Fällt mein simpler Chatbot schon unter den AI Act?
- Ja — Art. 50 verlangt eine Kennzeichnung als KI, sobald ein Nutzer mit dem System interagiert. Auch der einfachste FAQ-Bot ist damit betroffen. Zusätzlich gilt Art. 5: keine Manipulation, keine unterschwellige Beeinflussung, kein Ausnutzen von Schutzbedürftigkeit. In der Praxis reicht ein sichtbarer Hinweis am Chat-Fenster (z.B. 'Dieser Chat wird von einer KI beantwortet') plus ein Weg zur Eskalation an einen Menschen.
- Wie erfülle ich DSGVO Art. 22, wenn der Agent Entscheidungen vorbereitet?
- Human-in-the-Loop reicht nur, wenn der Mensch echte Kontrolle hat — nicht wenn er formal abnickt was der Algorithmus liefert. Konkret: der Mensch muss die Eingaben sehen, das Ergebnis begründen können, Alternativen haben und die Zeit zur Prüfung. Ein 'Diese Entscheidung wurde von KI vorbereitet, freigeben?' ohne echte Alternative ist Art.-22-widrig. Bei automatisierten Einzelentscheidungen (Kreditvergabe, Bewerber-Ablehnung, Kündigung): Opt-in einholen oder auf Menschen umleiten.
- Was tun, wenn ein Agent eine falsche Entscheidung getroffen hat?
- Sofort: aus dem Audit-Trail den Lauf rekonstruieren (Eingabe, Modell, Prompt, Tool-Calls, Output) und die Aktion rückgängig machen. Bei Außenwirkung (Kunde erhielt falsche E-Mail, Rechnung stimmte nicht): Betroffene aktiv informieren — eine DSGVO-Anfrage kann folgen, dann brauchst du Belege. Root-Cause-Analyse dokumentieren (war es der Prompt, das Modell, ein Tool-Call, ein Grenzfall in den Daten), Guardrails anpassen, im Memory-System als Lesson Learned ablegen. Alle Schritte protokollieren — das ist auch die Basis für die 'lessons learned'-Pflicht aus Art. 11 AI Act.
Brauchst du Unterstützung?
Lass uns 30 Minuten reden. Ich schaue mir deine Situation an und sage dir, was als Nächstes sinnvoll ist.
Termin vereinbaren