Nachvollziehbarkeit von KI-Agenten

Tip

Jede Aktion eines KI-Agenten ist im Ticket nachvollziehbar: welches Tool aufgerufen wurde, mit welcher Eingabe, welche Ausgabe zurückkam und ob der Aufruf erfolgreich war. So lässt sich prüfen, warum ein KI-Agent eine Entscheidung getroffen hat, und Fehler in Prompts, Tools oder angebundenen Systemen lassen sich gezielt finden.

Wo diese Informationen stehen, hängt vom Kanal ab:

Kanal	Wo die Tool-Aufrufe zu sehen sind	Darstellung
E-Mail und Brief	Im Lösungsplan in der mittleren Spalte der Ticketansicht	Liste Agentenschritte mit Status, Dauer, Eingabe und Ausgabe je Aufruf
Chat und Telefon (Voicebot)	Im Gesprächsverlauf des Tickets, an der Stelle im Gespräch, an der das Tool aufgerufen wurde	Eingeklappte Systemnachrichten mit Anfrage und Antwort

E-Mail und Brief

Bei E-Mails und Briefen erstellt der smarte KI-Agent einen Lösungsplan für das Ticket. Der Plan besteht aus einzelnen Schritten – etwa einer Abschlagsänderung oder einer neuen Bankverbindung – und einer vorbereiteten Antwort an den Kunden. Wie sich Plan und Schritte über die Zeit verändern, beschreibt Was mit einem Intent passiert.

Der Lösungsplan steht in der mittleren Spalte der Ticketansicht, im Bereich der KI-Agenten unterhalb von KI-Agenten erneut ausführen.

Den Plan auf einen Blick lesen

Der Kopf des Plans zeigt dessen Namen und einen Zähler:

„3 / 4 bereit" – so viele Schritte sind bereit, ausgeführt zu werden. Die übrigen brauchen noch eine Entscheidung.
„Alle Lösungen angewendet" – der Plan wurde ausgeführt.
„Ohne Antwort geschlossen" – der Plan wurde ausgeführt und das Ticket ohne Antwort an den Kunden geschlossen.

Jeder Schritt trägt ein farbiges Label mit seinem Zustand:

Label	Bedeutung
Bereit zur Bestätigung	Der Schritt ist vollständig und wird mit dem Plan ausgeführt.
Plausibel	Die Werte wurden geprüft und erscheinen stimmig.
Prüfung erforderlich	Der KI-Agent ist sich nicht sicher – ein Mitarbeitender sollte den Schritt ansehen, bevor er ausgeführt wird.
Kunden fragen	Statt den Schritt auszuführen, stellt die Antwort dem Kunden eine Rückfrage.
Überspringen	Der Schritt wird nicht ausgeführt.
Angewendet	Der Schritt wurde ausgeführt.
Rückfrage gestellt	Dem Kunden wurde statt der Ausführung eine Rückfrage gestellt.
Fehlgeschlagen	Die Ausführung ist fehlgeschlagen, zum Beispiel weil das angebundene System einen Fehler gemeldet hat.
Übersprungen	Der Schritt wurde nicht ausgeführt.

Ein Schritt, der Aufmerksamkeit braucht, ist automatisch aufgeklappt. Mit einem Klick lässt sich jeder andere Schritt öffnen.

Warum der KI-Agent einen Schritt vorschlägt

Ein aufgeklappter Schritt zeigt, worauf er beruht:

Auf Grundlage von – die Textstelle aus der Kundennachricht, aus der der Schritt abgeleitet wurde. Die Werte, die der Schritt schreiben wird, sind darin hervorgehoben.
Lösungsoption – die gewählte Option. Die vom KI-Agenten bevorzugte Option ist mit Empfohlen markiert; solange der Schritt noch nicht ausgeführt ist, lässt sie sich ändern. Nach der Ausführung steht hier die Option, die tatsächlich angewendet wurde.
Hinweise – Meldungen des KI-Agenten zu diesem Schritt, etwa Prüfergebnisse oder Warnungen.
Nicht validiert – ein Wert muss noch bestätigt werden, bevor der Plan fortgesetzt werden kann.

Unter dem Plan steht die vorbereitete Antwort an den Kunden. Bis der Plan bestätigt ist, trägt sie das Label Noch nicht angewendet.

Die Tool-Aufrufe: Agentenschritte

Unter den Schritten liegt die eingeklappte Liste Agentenschritte · N Tool-Aufrufe. Sie zeigt in zeitlicher Reihenfolge jeden Tool-Aufruf, den der KI-Agent beim Erstellen des Plans gemacht hat – auch die, die nur Daten gelesen haben und deshalb keinen eigenen Schritt im Plan ergeben.

Jede Zeile zeigt:

Name des Tools – bei einem regelbasierten KI-Agenten als Tool z. B. „Abschlags-Agent ausgeführt", bei integrierten und benutzerdefinierten Tools deren Bezeichnung
Dauer des Aufrufs
Status: ein Häkchen bei Erfolg, Vorgemerkt für eine Aktion, die erst mit dem Bestätigen des Plans ausgeführt wird, oder Fehlgeschlagen

Ein Klick auf den Pfeil einer Zeile öffnet die Details:

Feld	Inhalt
Tool	Der technische Name des Tools, wie er in der Konfiguration steht
Eingabe	Die Parameter, mit denen der KI-Agent das Tool aufgerufen hat, als aufklappbare JSON-Struktur
Ausgabe	Das Ergebnis, das das Tool zurückgegeben hat. Sehr lange Ergebnisse sind gekürzt und als Ausgabe gekürzt gekennzeichnet.

Note

Vorgemerkt ist der Kern des Lösungsplans: Lesende Tools (z. B. Vertragsdaten abrufen) führt der KI-Agent sofort aus. Tools, die etwas verändern (z. B. einen Abschlag ändern), werden nur vorgemerkt und erst ausgeführt, wenn der Plan bestätigt wird – manuell oder durch die Automatisierung.

Typische Fragen beantworten

Chat und Telefon

Im Chat und am Telefon arbeitet der KI-Agent im laufenden Gespräch. Seine Tool-Aufrufe werden deshalb direkt in den Gesprächsverlauf des Tickets geschrieben – an genau der Stelle, an der sie im Gespräch passiert sind. So lässt sich Nachricht für Nachricht nachlesen, was der Kunde gesagt hat, welches Tool der KI-Agent daraufhin aufgerufen hat und welches Ergebnis er bekommen hat, bevor er geantwortet hat.

So sehen die Einträge aus

Jeder Tool-Aufruf erscheint als zwei Einträge mit dem Titel Systemnachricht, die als schmale Trennlinie zwischen den Nachrichten stehen:

Anfrage – das aufgerufene Tool und die Parameter, mit denen der KI-Agent es aufgerufen hat
Antwort – das Ergebnis des Tools, oder die Fehlermeldung, wenn der Aufruf fehlgeschlagen ist

Die Einträge sind eingeklappt. Ein Klick auf den Pfeil öffnet den Inhalt als JSON-Struktur. Chat und Telefon sehen hier gleich aus; beim Telefon steht der Eintrag im Transkript des Anrufs.

Kunde:       Ich möchte meinen Abschlag auf 80 € senken.
─── Systemnachricht ───────────────────────────────  ▸   (Anfrage: Tool + Parameter)
─── Systemnachricht ───────────────────────────────  ▸   (Antwort: Ergebnis)
KI-Agent:    Ich habe Ihren Abschlag ab dem 1. November auf 80 € angepasst.

Wer die Einträge sieht

Mitarbeitende sehen die Systemnachrichten in der Ticketansicht.
Kunden sehen sie nicht – sie erscheinen weder im Chat-Fenster noch werden sie vorgelesen.
Beim Weiterleiten eines Tickets werden sie nicht mitgesendet.

Die Systemnachrichten im Chat- und Telefonverlauf sieht, wer das Ticket öffnen darf.
Die vollständige Liste der Agentenschritte setzt zusätzlich das Recht voraus, Neo-Sitzungen einzusehen. Fehlt es, zeigt der Lösungsplan nur die im Plan gespeicherten Schritte.
Die Namen der KI-Agenten in den Agentenschritten erscheinen nur, wenn die Rolle KI-Agenten auflisten darf.

Rollen und Rechte werden unter Rollen und Berechtigungen verwaltet.