Qualitätsbewertungen, sog. Assessments, sind die konkrete Bewertung eines einzelnen Arbeitsvorgangs auf Grundlage einer Scorecard. Sie dokumentiert die Qualität der Bearbeitung, kombiniert KI-generierte Vorbewertungen mit menschlicher Überprüfung und bildet die Grundlage für Qualitätsreporting und Mitarbeitergespräche.Assessments entstehen automatisch, sobald ein Arbeitsvorgang (Worklog) eines Agenten einer aktiven Scorecard zugeordnet werden kann. Es ist die Verbindung zwischen einem konkreten Ticket-Bearbeitungsvorgang, dem bewerteten Mitarbeiter und der anzuwendenden Scorecard.
Wo Bewertungen zu sehen sind
Assessments sind direkt in der Ticket-Ansicht abrufbar: Über den Bewertungs-Button in der Ticket-Detailleiste öffnet sich das Worklog des jeweiligen Tickets mit allen zugehörigen Assessments. Der Button ist nur sichtbar, wenn der angemeldete Nutzer mindestens eine der Bewertungs-Ansicht-Berechtigungen besitzt (siehe unten).
Scorecards werden unter Einstellungen → Qualitäts-Scorecards verwaltet.
Berechtigungen
| Berechtigung | Beschreibung |
|---|
QualityViewAssessmentOwn | Eigene Bewertungen einsehen |
QualityViewAssessmentTeamMate | Bewertungen von Teammitgliedern einsehen |
QualityViewAssessmentAll | Bewertungen aller Nutzer einsehen |
QualityDoAssessmentsTeam | Bewertungen für Teammitglieder erstellen und bearbeiten |
QualityDoAssessmentsAll | Bewertungen für beliebige Nutzer erstellen und bearbeiten |
QualityDeleteAssessment | Bewertungen löschen |
QualityManageScorecards | Scorecards erstellen, bearbeiten und verwalten |
QualityDeleteScorecard | Scorecards löschen |
Entstehung und automatische Erstellung
Assessments werden nicht manuell angelegt, sondern durch einen minütlich laufenden Hintergrundjob. Dieser identifiziert Arbeitsvorgänge vom Typ writeAction, für die noch keine Bewertung erstellt wurde, prüft welche aktiven Scorecards anwendbar sind und legt für jede passende Scorecard ein Assessment an.
Pro Arbeitsvorgang kann es mehrere Bewertungen – eine für jede Scorecard, deren Zuweisungsregeln zutreffen.
Nach der Erstellung wird ein Event ausgelöst, das die KI-Verarbeitung startet.
KI-Verarbeitung
Der Cortex-Dienst erhält als Bewertungsgrundlage:
- Den Nachrichtenfluss des Tickets – vom ersten Kundenkontakt bis zur letzten Agentenantwort (inkl. interner Notizen)
- Die Scorecard mit allen Kategorien, Kriterien und Bewertungsprompts
- Worklog-Details – Zeiterfassung, verwendete KI-Agenten, Automatisierungsgrad
- Das Kundenerlebnis – SLA-Einhaltung, CSAT
Cortex bewertet alle Kriterien, bei denen autoGenerateByAi aktiviert ist, und liefert für jedes Kriterium einen Score sowie eine Begründung zurück. Anschließend generiert die KI eine zusammenfassende Einschätzung (aiSummary).
KI-bewertete Kriterien erhalten den Status aiGenerated. Kriterien ohne KI-Bewertung bleiben unscored und müssen manuell bewertet werden.
Bewertungsdaten
Ein Assessment enthält:
- Kategorien und Kriterien – mit Score, Begründung und Bewertungsstatus je Kriterium
- Gesamtpunkte –
scoredPoints, usedMaxPoints, totalMaxPoints, percentage
- KI-Zusammenfassung (
aiSummary) – freier Text, generiert durch die KI
- Supervisor-Einschätzung (
supervisorAssessment) – freier Text, manuell eingetragen
- Bewertungsdatum und Gesprächsdatum – für Dokumentationszwecke
- Zeiterfassung – Bearbeitungszeit (Segmente, Nachbearbeitungszeit)
- KI-Nutzung – welche AI Agents involviert waren, Automatisierungsgrad
- Kundenerlebnis – SLA-Status, ob das Ticket wiedereröffnet wurde, CSAT-Ergebnis
- Änderungshistorie – lückenlose Protokollierung aller Änderungen (Score, Begründung, Status, wer hat wann geändert)
Punkteberechnung
Wie wird der Prozentsatz berechnet?
Die Berechnung basiert ausschließlich auf bewerteten Kriterien:
usedMaxPoints = Summe der Maximalpunkte aller Kriterien mit einem Score (inkl. Score = 0)scoredPoints = Summe der tatsächlich erzielten PunktetotalMaxPoints = Summe aller Maximalpunkte der Scorecard (inkl. unbewerteter Kriterien)percentage = scoredPoints / usedMaxPoints × 100
Unbewertete Kriterien (unscored) gehen nicht in die Berechnung ein. Das erlaubt eine valide Teilbewertung, wenn einzelne Kriterien mangels Datenlage nicht beurteilt werden können.
K.O.-Logik und ihre Auswirkung auf die Punktzahl
Kriterien können als K.O.-Kriterium für die Kategorie oder für das gesamte Assessment markiert sein.
- Kategorie-K.O.: Erzielt ein solches Kriterium 0 Punkte, werden alle Punkte der Kategorie auf 0 gesetzt – unabhängig von anderen Kriterien in derselben Kategorie.
- Assessment-K.O.: Erzielt ein solches Kriterium 0 Punkte, werden alle
scoredPoints des gesamten Assessments auf 0 gesetzt.
Die K.O.-Logik wird bei jeder Neuberechnung der Gesamtpunkte angewendet, also nach jeder KI-Bewertung und nach jeder manuellen Änderung.
Workflow-Zustände
Assessments durchlaufen einen definierten Workflow:
| Zustand | Bedeutung |
|---|
unprocessed | Angelegt, KI-Verarbeitung ausstehend |
aiInProgress | KI bewertet aktiv |
aiReady | KI-Vorbewertung abgeschlossen, bereit zur Überprüfung |
reviewOngoing | Supervisor hat mit der Überprüfung begonnen |
reviewedBySupervisor | Überprüfung durch Supervisor abgeschlossen |
discussedWithAssessee | Mit dem bewerteten Mitarbeiter besprochen |
error | Fehler bei der KI-Verarbeitung |
reviewedBySupervisor) oder nach dem Mitarbeitergespräch (discussedWithAssessee) noch Änderungen vor, wechselt der Status automatisch zurück auf reviewOngoing. Eingetragene Bewertungs- und Gesprächsdaten bleiben erhalten.
Kriterium-Zustände
Jedes Kriterium innerhalb eines Assessments hat einen eigenen Status:
| Zustand | Bedeutung |
|---|
unscored | Noch nicht bewertet |
aiGenerated | Von der KI vorbewertet, noch nicht vom Supervisor bestätigt |
humanVerified | Durch einen Supervisor manuell gesetzt oder bestätigt |
Kontextdaten im Assessment
Zeiterfassung
Das Assessment enthält die Zeiterfassungsdaten des Arbeitsvorgangs: Gesamtbearbeitungszeit, Nachbearbeitungszeit und einzelne Zeitsegmente mit den durchgeführten Aktionen. Diese Daten stammen aus dem Worklog des Mitarbeiters und werden zum Zeitpunkt der Assessment-Erstellung eingefroren.
KI-Nutzung
Für jeden Arbeitsvorgang wird dokumentiert, welche AI Agents beteiligt waren und wie hoch der Automatisierungsgrad der Bearbeitung war. Diese Information dient als Kontext bei der Qualitätsbewertung – vollautomatisch bearbeitete Vorgänge sind anders zu bewerten als manuell bearbeitete.
Kundenerlebnis
Das Assessment enthält Informationen über die SLA-Einhaltung (wurde die Frist eingehalten, wie viele Sekunden nach der Frist wurde das Ticket geschlossen), ob das Ticket wiedereröffnet wurde, sowie das CSAT-Ergebnis (Kundenzufriedenheitsbefragung), sofern vorhanden. Diese Daten liefern objektive Qualitätssignale unabhängig von der Scorecard-Bewertung.
Export
Qualitätsbewertungen lassen sich unter Einstellungen → Datenexport als XLSX, CSV oder JSON exportieren. Der Export enthält alle Assessment-Daten inklusive Scores, Begründungen, Zeiterfassung und Kundenerlebnis und eignet sich für externes Reporting oder die Auswertung in BI-Tools.
Best Practices
- Änderungshistorie nutzen: Die lückenlose Protokollierung aller Score- und Statusänderungen macht Assessments auditierbar. Bei Rückfragen lässt sich nachvollziehen, was die KI ursprünglich bewertet hat und was manuell angepasst wurde.
- Bewertungs- und Gesprächsdatum pflegen: Diese Felder sind Pflichtfelder für sinnvolles Reporting – ohne sie lassen sich Bewertungszeiträume nicht korrekt auswerten.
- KI-Zusammenfassung als Ausgangspunkt: Die
aiSummary ist keine finale Bewertung, sondern ein strukturierter Ausgangspunkt für die Supervisor-Überprüfung. Sie sollte nicht ungeprüft als Gesprächsgrundlage verwendet werden.
- Error-Status überwachen: Assessments im Status
error werden nicht automatisch wiederholt. Sie sollten regelmäßig überprüft werden, um Bewertungslücken im Reporting zu vermeiden.
