Testfälle und Testläufe

Tip

Die Qualitätsprüfung von KI-Funktionen basiert auf Testfällen und Testläufen. Insbesondere nach systemischen Änderungen oder Anpassungen an KI-Agenten ist eine gründliche Verifizierung der Funktionsfähigkeit unerlässlich. Testläufe bieten eine strukturierte Validierung, erkennen mögliche Fehler frühzeitig und gewährleisten eine konsistente Leistungsbewertung der KI-Agenten.

Testfälle

Ein Testfall beschreibt ein einzelnes Szenario zur Überprüfung der Leistung eines KI-Agenten. Durch das Hinzufügen spezifischer Tickets können unterschiedliche Anwendungsfälle getestet werden, um sicherzustellen, dass der KI-Agent erwartungsgemäß reagiert.

Erstellung:

Im Tab Test-Suites beim gewünschten KI-Agenten die Sidebar öffnen.
Via Ticket-ID die für den Test vorgesehenen Tickets hinzufügen.
Falls noch keine konkrete Ticket-ID vorliegt:
- Im Filter der Ticket-Übersicht den Punkt Anliegen auswählen.
- Passende Tickets anzeigen lassen und per ID dem Testlauf hinzufügen.
Testfälle können bei Bedarf über die Sidebar wieder entfernt werden.

Chat- und Sprach-Testfälle

In den Tabs Chat-Testfälle und Sprach-Testfälle werden Gespräche getestet: Ein simulierter Kunde spricht mit dem Bot. Neue Testfälle entstehen über Testfall hinzufügen mit diesen Feldern:

Bezeichnung: Name des Testfalls
KI-Agenten für Test: welche KI-Agenten getestet werden
Prompt für den Kundensimulator: wer der Kunde ist und was er will
Ziel (optional), Kontext (optional) und Einschränkungen (optional): weitere Vorgaben für das Gespräch
Anrufrichtung (nur Sprach-Testfälle): Eingehend – der Kunde ruft an – oder Ausgehend – der Bot ruft an

Unter Checks wird festgelegt, woran der Test gemessen wird. Mit Ausgewählte ausführen werden markierte Testfälle gestartet.

Testläufe

Ein Testlauf führt eine definierte Anzahl von Testfällen aus, um die KI-Funktionalität zu bewerten.

Info

Testläufe verursachen keine Schreibaktionen.

Testläufe-Übersicht

Die Übersicht zeigt alle durchgeführten Testläufe mit folgenden Details:

Lauf-ID: Eindeutige Kennung für den Testlauf
KI-Agent: Name des getesteten KI-Agenten
Startdatum: Zeitpunkt des Testlaufs
Status: Zeigt den Fortschritt (Verarbeitung, Abgeschlossen oder Fehlgeschlagen)
Tickets: Anzahl der im Testlauf verwendeten Tickets
Ergebnis: Prozentuale Bewertung der Testergebnisse

Testläufe werden im Tab Test-Suites über den Play-Button neben der Anzahl der E-Mail-, Chat- oder Sprach-Testfälle eines KI-Agenten gestartet. Es können beliebig viele Testläufe parallel laufen.

Ein laufender Testlauf lässt sich mit Testlauf abbrechen stoppen, mit Erneut ausführen noch einmal starten. Aktualisieren lädt den aktuellen Stand.