Einen KI-Agenten in Ihr ERP schreiben lassen: die fünf Schutzmechanismen, die Sie verlangen sollten
Im Juni 2025 sagte Gartner voraus, dass mehr als 40 % der Projekte mit agentischer KI bis Ende 2027 abgebrochen werden. Die drei genannten Gründe: explodierende Kosten, ein unklar definierter geschäftlicher Nutzen und ungenügende Risikokontrollen. Zwei der drei haben nichts mit der Qualität des Modells zu tun. Sie hängen an einer Frage, die sich nur wenige Unternehmen stellen, bevor sie einen Agenten an ihre Buchhaltung anschliessen: Wer überwacht ihn, und wer kann ihn stoppen?
Governance und Monitoring: der Unterschied
Die Governance legt im Voraus fest, was ein Agent tun darf, wer ihn ermächtigt und wie man es belegt. Das Monitoring zeigt, was er tatsächlich tut: seine Ausführungen, seine Fehlschläge, seine Kosten, die Daten, die er berührt. Die Budget-Schutzmechanismen verbinden beides: eine im Voraus beschlossene Regel, die live greift, ohne auf jemanden zu warten.
Warum ein Agent die Frage verändert
Ein Chat-Assistent erzeugt Text, den jemand liest, bevor etwas damit geschieht. Ein Agent hingegen reiht die Schritte selbständig aneinander: Er liest eine Rechnung, findet den Lieferanten im ERP und schlägt dann die Buchung vor. Genau daher kommt der Zeitgewinn. Und auch das Risiko: Zwischen Lesen und Schreiben schaut niemand mehr hin, ausser man hat es anders vorgesehen.
Das Schweizer Recht sieht das teilweise bereits vor. Das revDSG verlangt, die betroffene Person über eine ausschliesslich automatisierte Einzelentscheidung zu informieren, wenn diese für sie mit einer Rechtsfolge verbunden ist oder sie erheblich beeinträchtigt, und ihr zu ermöglichen, die Überprüfung durch eine natürliche Person zu verlangen (Art. 21). Auf europäischer Seite verlangt die KI-Verordnung eine wirksame menschliche Aufsicht über Hochrisikosysteme (Art. 14), eine Pflicht, die für die meisten von ihnen auf den 2. Dezember 2027 verschoben wurde. Ein Agent, der Lieferantenrechnungen erfasst, fällt in der Regel nicht unter diese Kategorien. Aber das Prinzip ist dasselbe, und es ist schlicht gesunder Menschenverstand: Jemand muss verstehen, korrigieren und stoppen können.
Die fünf Schutzmechanismen
Das sind die Kontrollen, die wir von jedem Anbieter verlangen würden, uns eingeschlossen, bevor ein Agent an eine Fachanwendung darf.
- Keine Buchung ohne Entscheidung. Der Agent schlägt vor, er schreibt nicht. Seine Buchungen warten in einer Warteschlange, in der eine Person freigibt, mit Begründung ablehnt oder vor der Freigabe korrigiert. Für wiederkehrende Fälle kann eine im Voraus festgelegte Regel an ihrer Stelle freigeben, aber in klaren Grenzen: ein Agent, ein Tool, ein Höchstbetrag pro Buchung, eine Obergrenze pro Tag. Das beste Zeichen für ein seriöses System: Nicht der Agent schreibt ins ERP, sondern ein Gateway, und erst nach der Entscheidung.
- Ein Verzeichnis pro Agent. Bevor ein Agent aktiviert wird, muss man sagen können, warum er Daten bearbeitet: Zweck, Rechtsgrundlage, betroffene Personen, Aufbewahrungsdauer. Das sind Rubriken des Verzeichnisses der Bearbeitungstätigkeiten nach revDSG (Art. 12). Ein Agent ohne Eintrag sollte nicht starten können.
- Ein Protokoll, das belegt, ohne zu kopieren. Jede Ausführung muss eine Spur hinterlassen: welcher Agent, welche Schritte, welche Datenkategorien, welches Ziel (internes Modell, Fachanwendung, externer Dienst), wie lange, zu welchen Kosten. Bewahrt das Protokoll aber auch den Text der Rechnungen und die Antworten des Modells auf, wird es zu einer zweiten Kopie Ihrer sensiblen Daten, die ihrerseits geschützt werden muss. Der richtige Kompromiss: Typ, Grösse und einen Fingerabdruck des Inhalts erfassen, nicht den Inhalt.
- Eine Obergrenze, die handelt. Ein Verbrauchsbericht am Monatsende schützt vor nichts. Uber räumte 2026 ein, in vier Monaten sein gesamtes Jahresbudget für KI-Coding-Tools aufgebraucht zu haben. Die Obergrenze muss vor jeder Ausführung geprüft werden: kein Budget mehr, keine Ausführung, der Agent wird pausiert und eine Warnung geht hinaus. Ein externes Modell ohne angegebenen Preis darf nie als kostenlos gezählt werden.
- Ein Stopp, der funktioniert. Einen Agenten pausieren, ihn im Notfall stoppen und dabei seine offenen Buchungen einfrieren, alle Agenten auf einmal abschalten: Diese Handgriffe müssen mit einem Klick verfügbar, protokolliert und bestimmten Personen vorbehalten sein. Ein Stopp, den man per Ticket beim Anbieter beantragen muss, ist keiner.
Monitoring, oder wie man einen stillen Ausfall sieht
Ein Agentenausfall ist selten eindeutig. Meist läuft der Agent weiter und produziert Fehler, oder er meldet sich einfach nicht mehr. Wir haben dieses Szenario hier beschrieben: Der Ausfall wird drei Tage später entdeckt, von einer Mitarbeiterin, die sich wundert, dass eine Anfrage nicht bearbeitet wurde.
Drei Monitoring-Reflexe verändern die Lage. Erstens einen Lauf ohne Rückmeldung als Fehlschlag zählen, nicht nur jene, die einen Fehler zurückgeben. Zweitens eine Warnung pro Problem, unabhängig von der Anzahl Wiederholungen: Fünfzig Benachrichtigungen für denselben Ausfall werden am Ende ignoriert. Und schliesslich jeden Agenten über die Zeit verfolgen (Fehlerquote über 24 Stunden und über 7 Tage, mittlere Ausführungsdauer), damit eine Abweichung sichtbar wird, bevor sie zum Vorfall wird.
Fünf Fragen an Ihren Anbieter
- Wer schreibt in mein ERP: der Agent selbst oder ein Gateway nach einer Entscheidung?
- Was enthält Ihr Protokoll: die Spur dessen, was geschehen ist, oder eine Kopie meiner Dokumente?
- Was geschieht, wenn das Budget erreicht ist: eine Warnung oder ein Stopp?
- Kann ich selbst alles stoppen, und wer kann wieder starten?
- Wo läuft die Überwachungskonsole: bei Ihnen oder bei mir?
Sind die Antworten vage, droht das Projekt zu den 40 % zu gehören, die Gartner abgebrochen sieht, nicht weil die KI nicht funktioniert, sondern weil niemand garantieren kann, was sie tut.
Was wir daraus gemacht haben
Diese fünf Schutzmechanismen haben wir in AgentHub Connect eingebaut, die Konsole, die unsere Agenten auf der Infrastruktur des Kunden einrahmt: Freigabe der Buchungen, Verzeichnis pro Agent, Protokoll ohne Aufbewahrung des Inhalts, Obergrenzen in Franken und Not-Stopp. Die Seite Governance und Monitoring beschreibt jeden Bildschirm im Detail.
Quellen
- Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027, Gartner, 25. Juni 2025.
- Bundesgesetz über den Datenschutz (DSG, SR 235.1), Art. 12 und 21, Fedlex.
- Das geltende Datenschutzgesetz ist direkt auf KI anwendbar, EDÖB, 9. November 2023.
- Verordnung (EU) 2024/1689 über künstliche Intelligenz, Art. 14 (menschliche Aufsicht), EUR-Lex.
- EU AI Act Deal: Digital Omnibus Now in Force, Usercentrics, 2026.
- Uber Burns Its 2026 AI Budget In Four Months On Claude Code, Forbes, 17. Mai 2026.
Häufige Fragen
Was ist die Governance eines KI-Agenten?
Die Gesamtheit der Regeln, die festlegen, was ein Agent tun darf, wer ihn ermächtigt und wie man es belegt: Freigabe der Buchungen, Bearbeitungsverzeichnis, Protokoll, Budgetobergrenzen und Möglichkeit zum Stopp. Das Monitoring hingegen zeigt, was der Agent tatsächlich tut.
Muss jede Buchung von Hand freigegeben werden?
Nein. Eine Regel zur automatischen Freigabe kann wiederkehrende und risikoarme Buchungen durchlassen, in klaren Grenzen: ein Agent, ein Tool, ein Höchstbetrag pro Buchung und Obergrenzen pro Tag. Alles ausserhalb dieser Grenzen wartet auf eine menschliche Entscheidung.
Verlangt das revDSG eine menschliche Freigabe?
Nicht für jede Automatisierung. Art. 21 revDSG betrifft ausschliesslich automatisierte Einzelentscheidungen, die für die betroffene Person mit einer Rechtsfolge verbunden sind oder sie erheblich beeinträchtigen: Sie muss darüber informiert werden und kann eine Überprüfung durch eine natürliche Person verlangen. Im Übrigen ist die menschliche Freigabe eine bewährte Vorgehensweise, keine gesetzliche Pflicht.
Was muss das Protokoll eines KI-Agenten enthalten?
Was geschehen ist, durch wen und wohin: der Agent, die Schritte, die berührten Datenkategorien, das Ziel jedes Aufrufs, Dauer und Kosten. Der bearbeitete Inhalt selbst (Dokumente, Antworten des Modells) gehört nicht hinein; Typ, Grösse und ein Fingerabdruck genügen als Beleg, ohne die Daten zu duplizieren.
Zur Vertiefung: die Agentenausfälle, die niemand sieht und die wahren Kosten von KI-Abos mit Abrechnung pro Token.
Sie möchten diese fünf Schutzmechanismen an einem Ihrer Prozesse sehen?

Français