Human in the Loop: Was darf ein KI-Agent allein entscheiden, und was nicht?

Human in the Loop bedeutet, dass ein Mensch an festgelegten Stellen in einen automatisierten Ablauf eingreift: Er gibt frei, korrigiert oder entscheidet, bevor das System weitermacht. Bei KI-Agenten heißt das konkret: Der Agent bereitet vor, der Mensch entscheidet überall dort, wo Geld, Kunden oder rechtliche Wirkung im Spiel sind.

Eine typische Szene nach einer Agenten-Demo: Der Agent hat gerade eine Kundenanfrage gelesen, die Antwort aus den echten Daten formuliert und zum Versand vorgeschlagen. Dann die Pause, und dann: „Und was, wenn er Unsinn schreibt?" Genau die richtige Frage. Die Antwort ist nicht „das passiert nicht", sondern eine Regel, wer wann draufschaut. Dieser Artikel erklärt die drei Stufen von Human in the Loop, gibt dir eine Matrix mit, welche Entscheidungen ein Agent allein treffen darf, und zeigt die vier Regeln, nach denen unsere eigenen Agenten laufen.

Was bedeutet Human in the Loop bei KI-Agenten?

Der Begriff kommt aus der Automatisierungstechnik und beschreibt, wie eng ein Mensch in eine Maschine eingebunden ist. Für KI-Agenten im Betrieb haben sich drei Stufen bewährt:

Stufe	Was der Mensch tut	Typischer Einsatz
Human in the Loop	Jede Aktion wird vor der Ausführung freigegeben	Neue Agenten, Kundenkontakt, alles mit Geld
Human on the Loop	Der Agent handelt allein, der Mensch sieht Protokoll und Stichproben und kann eingreifen	Eingespielte Abläufe mit geringem Schaden bei Fehlern
Human out of the Loop	Vollautomatisch, ohne laufende Kontrolle	Nur bei rein technischen Schritten ohne Außenwirkung

In der Praxis leben Agenten auf den ersten beiden Stufen, und zwar nacheinander: Ihre verändernden Aktionen starten in der Freigabe, wandern nach Wochen guter Trefferquote in die Stichprobe und bleiben meist dort. Die dritte Stufe erreichen nur Aufgaben, bei denen ein Fehler nichts kostet, etwa das Umformatieren einer Datei. Wer einen Agenten am ersten Tag auf Stufe drei stellt, spart eine Woche und riskiert einen Kunden.

Welche Entscheidungen darf ein KI-Agent allein treffen?

Die Antwort hängt nicht von der Aufgabe ab, sondern von fünf Eigenschaften der Entscheidung. Mit diesen fünf Fragen prüfst du jede Aktion, die ein KI-Agent übernehmen soll, egal ob Vertrieb, Buchhaltung oder Support:

Frage an die Entscheidung	Wenn ja	Wenn nein
1. Lässt sich die Aktion rückgängig machen?	Agent darf allein handeln, mit Protokoll	Freigabe durch einen Menschen
2. Verlässt die Aktion das Haus (Kunde, Lieferant, Behörde)?	Freigabe, mindestens in den ersten Wochen	Agent darf allein handeln
3. Bewegt die Aktion Geld oder verändert einen Preis?	Freigabe, mit einer Betragsgrenze, die du festlegst	Agent darf allein handeln
4. Hat die Aktion rechtliche Wirkung (Vertrag, Kündigung, Mahnung, Auskunft)?	Immer ein Mensch	Agent darf allein handeln
5. Betrifft die Aktion Daten einzelner Personen in einer Weise, die sie benachteiligen könnte?	Immer ein Mensch	Agent darf allein handeln

Die strengste Antwort gewinnt: Ergibt auch nur eine Frage „Freigabe“ oder „immer ein Mensch“, gilt das für die ganze Aktion. Die Matrix beschreibt den Zielzustand; Aktionen, die etwas verändern oder das Haus verlassen, starten trotzdem in der Freigabe, mehr dazu in Regel 2 unten.

Damit das greifbar wird, ein paar Beispiele, wie die Matrix in der Praxis ausgeht:

• Beleg der passenden Zahlung zuordnen: allein, mit Protokoll. Rückgängig machbar, verlässt das Haus nicht, bewegt kein Geld.
• Antwort auf eine Kundenanfrage: Entwurf, Freigabe durch einen Menschen. Verlässt das Haus. Nach einigen Wochen mit guter Trefferquote können Standardfälle in die Stichprobe wandern.
• Termin im Kalender verschieben: intern allein, mit Benachrichtigung an die Beteiligten. Sind Kunden oder Lieferanten beteiligt, zuerst Freigabe.
• Rechnung versenden: Freigabe durch einen Menschen. Wiederkehrende Standardrechnungen unter einer Betragsgrenze, die du festlegst, können nach einigen Wochen in die Stichprobe wandern.
• Rabatt gewähren, Mahnung schicken, Vertrag bestätigen: nie allein. Geld, Außenwirkung, rechtliche Wirkung, alles auf einmal.
• Stammdaten korrigieren: allein bei Format und Tippfehlern, Freigabe, wenn sich die Bedeutung ändert, etwa eine neue Rechnungsadresse.

Was auffällt: Die meisten Aufgaben, die im Alltag Zeit fressen, landen in der Spalte „allein". Das Suchen, Zuordnen, Vorsortieren, Zusammenfassen. Die Freigaben konzentrieren sich auf wenige Momente, und genau dort ist die Minute des Menschen gut investiert. Wie ein solcher Agent überhaupt entsteht, von der Aufgabe bis zum ersten Testlauf, steht in KI-Agenten erstellen.

Wie wir Human in the Loop bei unseren eigenen Agenten regeln

Bei uns laufen über 40 eigene KI-Agenten in Langdock – dazu weitere Agenten und KI-Workflows an anderen Stellen im Betrieb. Wer so viele Agenten im Betrieb hat, braucht Regeln, die ohne Nachdenken gelten. Das sind die vier, nach denen unsere Agenten laufen:

1. Jeder Agent hat einen Menschen, dem er gehört. Nicht „das Team", sondern eine feste verantwortliche Person. Bei uns baut sich jeder im Team seine Agenten selbst; soll einer auch mit anderen geteilt werden, wird er vorher geprüft. Unsere Empfehlung: Diese Person liest die Protokolle, schärft Sonderfälle nach und entscheidet, wann der Agent eine Stufe weiter darf.
2. Freigabe für Nachrichten nach außen, nicht fürs Lesen. Nachschlagen und Lesen dürfen unsere Agenten allein, E-Mails an andere Personen schreiben sie nur als Entwurf. Das hat bei uns eine Vorgeschichte: Anfangs durften Agenten E-Mails direkt verschicken, und es gab immer wieder Fehler oder seltsame Formulierungen. Seitdem schreiben sie nur Entwürfe, ein Mensch prüft und schickt ab. Für Aktionen, die Daten verändern, empfehlen wir dir denselben Weg: am Anfang mit Freigabe, später je nach Matrix.
3. Der Agent darf fragen. Wenn ihm Informationen fehlen oder ein Fall nicht in seine Regeln passt, soll er den Fall einem Menschen vorlegen, statt zu raten. Ein Agent, der „ich weiß es nicht" sagen darf, macht weniger Schaden als einer, der immer antwortet.
4. Antworten und buchen ja, verbindliche Steuerauskunft nein. Unser Buchhaltungs-Agent in Langdock beantwortet Fragen wie „Auf welches Konto muss diese Rechnung gebucht werden?" aus SevDesk, Bankkonto und Postfach, und wenn wir ihm den Auftrag geben, bucht er auch. Die automatische Belegzuordnung läuft getrennt davon. Verbindliche steuerliche Auskünfte bleiben beim Steuerberater. Wie das im Ganzen aussieht, zeigt die Case Study zu unserer Buchhaltung.

Und eine Falle, die sich vermeiden lässt: Freigaben, die niemand liest. Wenn ein Mensch fünfzig Vorschläge am Tag durchwinkt, ist das keine Kontrolle mehr, sondern Theater. Dann ist der Agent entweder reif für die Stichprobe, oder die Freigabe muss auf die wenigen Fälle beschränkt werden, die wirklich Aufmerksamkeit brauchen. Bei uns ist genau das passiert: Für Agenten, die nur lesen, haben wir eine zusätzliche Bestätigung wieder abgeschafft, weil der Zugriff ohnehin eingeschränkt war und die Freigabe nur noch durchgewunken wurde. Welche Agenten im Mittelstand typischerweise als Erstes entstehen und was sie übernehmen, zeigt KI-Agenten im Mittelstand.

Wie baust du Human in the Loop technisch ein?

Die gute Nachricht: Das ist kein eigenes Projekt, sondern ein Baustein, der in jeden Agenten gehört. Fünf Mechanismen decken fast alles ab:

• Freigabe-Schritt. Der Agent legt seinen Vorschlag mit den relevanten Daten vor, ein Mensch bestätigt mit einem Klick, etwa per E-Mail, im Team-Chat oder direkt im Werkzeug, in dem der Agent läuft. Erst dann läuft die Aktion.
• Betragsgrenzen und Schwellen. Bei internen Aktionen oder in der Stichprobe handelt der Agent unter einer Grenze allein, darüber fragt er. Dasselbe gilt für Fälle, in denen er sich nicht sicher ist: Unsichere Antworten gehen an den Menschen.
• Stichproben. Auf Stufe zwei sieht ein Mensch regelmäßig einen Teil der ausgeführten Aktionen, nicht alle. Fällt die Trefferquote, geht der Agent zurück in die Freigabe.
• Protokoll. Jede Aktion wird mit Zeitpunkt, Datengrundlage und Ergebnis festgehalten. Ohne Protokoll ist keine Stufe kontrollierbar, mit Protokoll lässt sich jeder Fehler nachvollziehen und korrigieren.
• Der Abschaltknopf. Klingt banal, fehlt aber oft: Ein Agent muss sich in einer Minute anhalten lassen, von jemandem, der nichts von Technik versteht.

Welche dieser Mechanismen ein Agent bekommt, gehört in die Planung, bevor eine Zeile gebaut wird, und nicht in den Nachtrag nach dem ersten Vorfall. Was ein Agent auf unserer Seite typischerweise übernimmt und wie er an bestehende Systeme angebunden wird, zeigt die Übersicht zu KI-Agenten. Wie Agenten technisch auf Systeme zugreifen, ohne dass jede Anbindung neu programmiert wird, erklärt Was ist MCP?.

Häufige Fragen

Was ist der Unterschied zwischen Human in the Loop und Human on the Loop?

Bei Human in the Loop gibt ein Mensch jede Aktion frei, bevor sie ausgeführt wird, bei Human on the Loop handelt der Agent allein und der Mensch überwacht Protokoll und Stichproben. Der Wechsel in die zweite Stufe ist eine bewusste Entscheidung des Menschen, dem der Agent gehört: Wenn Freigaben über Wochen nur noch durchgewunken werden und das Protokoll keine Korrekturen mehr zeigt, ist der Agent reif für die Stichprobe. Fallen danach Fehler auf, geht er eine Stufe zurück.

Verlangt das Gesetz Human in the Loop bei KI-Agenten?

In manchen Fällen ja. Die DSGVO (Art. 22) gibt Betroffenen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu sein, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, und der EU AI Act verlangt für Hochrisiko-Systeme eine menschliche Aufsicht. Für Agenten, die Belege zuordnen oder E-Mails vorsortieren, greift das in aller Regel nicht. Was für deinen Fall gilt, klärst du mit deinem Datenschutzbeauftragten oder einer Kanzlei; dieser Artikel ist keine Rechtsberatung.

Macht Human in the Loop die Automatisierung nicht wieder langsam?

Nur, wenn die Freigabe an der falschen Stelle sitzt. Wer auf Dauer jede Aktion freigibt, hat den Agenten in einen Vorschlagsgenerator verwandelt. Die Kunst liegt darin, die Freigabe auf die wenigen Entscheidungen zu beschränken, die Geld, Kunden oder Rechtliches betreffen, und alles andere mit Protokoll laufen zu lassen. Dann bleibt die Kontrolle ein kurzer Blick statt eines zweiten Jobs.

Was passiert, wenn der Agent trotzdem einen Fehler macht?

Das passiert, und genau dafür gibt es das Protokoll. Es zeigt, welche Daten der Agent hatte und warum er so entschieden hat. Meist fehlt eine Regel für einen Sonderfall, die dann ergänzt wird. Deshalb sollten Aktionen, die etwas verändern, in der Freigabe starten und bei Fehlern eine Stufe zurückgehen: Der Schaden bleibt klein, und jeder Fehler macht den Agenten besser.

Kann Human in the Loop auch der Kunde selbst sein?

Ja, bei klar begrenzten Vorgängen. Ein Agent bietet dem Kunden zum Beispiel freie Termine aus deinem Kalender an, der Kunde wählt selbst und bestätigt. So entscheidet die Person, die am besten weiß, was passt, und dein Team muss nicht jeden Termin einzeln freigeben. Freie Antworten an Kunden gehören nicht dazu, die prüft weiterhin ein Mensch. Voraussetzung ist, dass der Kunde jederzeit erkennt, dass er mit einem System spricht, und einen Menschen erreichen kann.

Der nächste Schritt

Wenn du gerade überlegst, welcher Ablauf bei dir als Erstes einen Agenten bekommen sollte, ist die Matrix oben ein guter Anfang: Die Aufgaben mit vielen „allein"-Antworten bringen am schnellsten Zeit zurück. Welche das bei dir sind, klären wir in der kostenlosen Zeit-Potenzial-Analyse: 45 Minuten, kein Verkaufsgespräch. Du gehst mit deinen drei größten Zeitfressern, dem Einsparpotenzial in Stunden und Euro und einer konkreten Sprint-Empfehlung raus.