Qualitätsbewertung

Wo Bewertungen zu sehen sind

Bewertungen sind direkt in der Ticket-Ansicht abrufbar: Über den Bewertungs-Button in der Ticket-Detailleiste öffnen sich die Arbeitsvorgänge des Tickets mit allen zugehörigen Bewertungen. Der Button ist nur sichtbar, wenn der angemeldete Nutzer mindestens eine der Bewertungs-Ansicht-Berechtigungen besitzt (siehe unten). Hat ein Ticket noch keinen Arbeitsvorgang, ist der Button ausgegraut.

QA-Kontrollzentrum

Einen Überblick über alle Bewertungen bietet das QA-Kontrollzentrum. Es ist in der Seitenleiste unter Kontrollzentrum → QA-Kontrolle erreichbar.

Dort sind die Qualitätsergebnisse auf einen Blick zu sehen, und einzelne Bewertungen lassen sich direkt öffnen:

• Übersicht – durchschnittlicher Qualitätswert, Anzahl der Bewertungen und SLA-Einhaltung
• Wertverlauf – Entwicklung des Qualitätswerts im Zeitverlauf
• Zusammensetzung – Bewertungen nach Status, Bewertungstyp und Wertverteilung
• Aufschlüsselungen – Qualitätswerte nach Scorecard, Team, Mitarbeiter und Kanal
• Bewertungen – Liste der einzelnen Bewertungen zum Öffnen und Bearbeiten

Die Ansicht lässt sich nach Zeitraum, Kanal, Scorecard, Mitarbeiter, Team und Status filtern.

Für den Zugriff ist die Berechtigung „Qualitäts-Kontrollzentrum Zugang" erforderlich.

Scorecards werden unter Einstellungen → Benutzerverwaltung → Qualitätsbogen verwaltet.

Bewertung prüfen und abschließen

1. Bewertung öffnen – über den Bewertungs-Button im Ticket oder über die Liste im QA-Kontrollzentrum.
2. Kriterien prüfen – bei Bedarf Wert und Grund eines Kriteriums anpassen. Das Kriterium gilt danach als „Menschlich verifiziert“.
3. Zusammenfassung ergänzen – die von der KI erstellte Zusammenfassung über Zusammenfassung bearbeiten anpassen.
4. Als verifiziert markieren – schließt die Prüfung ab. Der Status wechselt auf „Vom Vorgesetzten geprüft“.
5. Als mit Bewertetem besprochen markieren – nach dem Gespräch mit dem bewerteten Mitarbeiter.

In der Bewertung werden das Datum der Vorgesetztenbewertung und das Datum der Besprechung mit dem Bewerteten angezeigt.

Über Bewertung löschen lässt sich eine Bewertung entfernen; dafür ist die Berechtigung „Qualitätsbewertungen löschen“ erforderlich. Ändern kann eine Bewertung nur, wer eine der Berechtigungen „Qualitätsbewertungen durchführen (Teammitglieder)“ oder „Qualitätsprüfungen durchführen (alle)“ besitzt – für die Zusammenfassung zusätzlich „Zusammenfassung von Qualitätsbewertungen bearbeiten“. Alle anderen sehen die Bewertung nur.

Berechtigungen

Die Berechtigungen für Bewertungen und Scorecards stehen im Rollen-Editor in der Gruppe Qualitätsmanagement:

Die Berechtigungen für das QA-Kontrollzentrum stehen in der Gruppe Daten und Berichte:

Entstehung und automatische Erstellung

Bewertungen werden nicht manuell angelegt. Enneo prüft jede Minute automatisch, ob es neue Arbeitsvorgänge gibt, bei denen ein Mitarbeiter eine Antwort verfasst oder ein Telefonat geführt hat und die noch nicht bewertet wurden. Für jede aktive Scorecard, die auf einen solchen Arbeitsvorgang zutrifft, wird eine Bewertung angelegt.

Pro Arbeitsvorgang kann es mehrere Bewertungen – eine für jede Scorecard, deren Zuweisungsregeln zutreffen.

Direkt danach beginnt die KI mit der Vorbewertung.

KI-Verarbeitung

Die KI erhält als Bewertungsgrundlage:

• Den Nachrichtenfluss des Tickets – vom ersten Kundenkontakt bis zur letzten Agentenantwort (inkl. interner Notizen)
• Die Scorecard mit allen Kategorien, Kriterien und Bewertungsaufforderungen für die KI
• Details zum Arbeitsvorgang – Zeiterfassung, verwendete KI-Agenten, Automatisierungsgrad
• Das Kundenerlebnis – SLA-Einhaltung, CSAT

Die KI bewertet alle Kriterien, bei denen Automatisch von KI generieren aktiviert ist, und liefert für jedes Kriterium einen Wert sowie eine Begründung. Anschließend erstellt sie eine Zusammenfassung.

KI-bewertete Kriterien erhalten den Status „KI-Generiert“. Kriterien ohne KI-Bewertung bleiben „Unbewertet“ und müssen manuell bewertet werden.

Bewertungsdaten

Eine Bewertung enthält:

• Kategorien und Kriterien – mit Wert, Begründung und Bewertungsstatus je Kriterium
• Gesamtergebnis – erreichte Punkte, maximal mögliche Punkte und Prozentwert
• KI-Zusammenfassung – freier Text, erstellt durch die KI
• Zusammenfassung des Vorgesetzten – freier Text, über „Zusammenfassung bearbeiten“ manuell eingetragen
• Datum der Vorgesetztenbewertung und Datum der Besprechung mit dem Bewerteten – für Dokumentationszwecke
• Zeiterfassung – Bearbeitungszeit (Segmente, Nachbearbeitungszeit)
• KI-Nutzung – welche KI-Agenten beteiligt waren, Automatisierungsgrad
• Kundenerlebnis – SLA-Status, ob das Ticket wiedereröffnet wurde, CSAT-Ergebnis
• Änderungshistorie – lückenlose Protokollierung aller Änderungen (Wert, Begründung, Status, wer hat wann geändert)

Punkteberechnung

Wie wird der Prozentwert berechnet?

Der Prozentwert ergibt sich aus den erreichten Punkten geteilt durch die maximal möglichen Punkte der bewerteten Kriterien. Ein Kriterium mit 0 Punkten zählt als bewertet.

Unbewertete Kriterien zählen nicht mit. Das erlaubt eine valide Teilbewertung, wenn einzelne Kriterien mangels Datenlage nicht beurteilt werden können.

K.O.-Logik und ihre Auswirkung auf die Punktzahl

Kriterien können als K.O.-Kriterium für die Kategorie oder für die gesamte Bewertung markiert sein (in der Scorecard: Entscheidend für Kategorie bzw. Entscheidend für Bewertung).

• Kategorie-K.O.: Erzielt ein solches Kriterium 0 Punkte, werden alle Punkte der Kategorie auf 0 gesetzt – unabhängig von anderen Kriterien in derselben Kategorie.
• Bewertungs-K.O.: Erzielt ein solches Kriterium 0 Punkte, wird das Ergebnis der gesamten Bewertung auf 0 gesetzt.

Die K.O.-Logik wird bei jeder Neuberechnung der Gesamtpunkte angewendet, also nach jeder KI-Bewertung und nach jeder manuellen Änderung.

Workflow-Zustände

Bewertungen durchlaufen einen definierten Ablauf:

Automatische Rücksetzung: Nimmt ein Supervisor nach Abschluss der Überprüfung („Vom Vorgesetzten geprüft“) oder nach dem Mitarbeitergespräch („Mit Bewertetem besprochen“) noch Änderungen vor, wechselt der Status automatisch zurück auf „Bewertung läuft“. Eingetragene Bewertungs- und Gesprächsdaten bleiben erhalten.

Kriterium-Zustände

Jedes Kriterium innerhalb einer Bewertung hat einen eigenen Status:

Kontextdaten in der Bewertung

Zeiterfassung

Die Bewertung enthält die Zeiterfassungsdaten des Arbeitsvorgangs: Gesamtbearbeitungszeit, Nachbearbeitungszeit und einzelne Zeitsegmente mit den durchgeführten Aktionen. Diese Daten stammen aus dem Arbeitsvorgang des Mitarbeiters und werden beim Anlegen der Bewertung festgehalten.

KI-Nutzung

Für jeden Arbeitsvorgang wird dokumentiert, welche KI-Agenten beteiligt waren und wie hoch der Automatisierungsgrad der Bearbeitung war. Diese Information dient als Kontext bei der Qualitätsbewertung – vollautomatisch bearbeitete Vorgänge sind anders zu bewerten als manuell bearbeitete.

Kundenerlebnis

Die Bewertung enthält Informationen über die SLA-Einhaltung (wurde die Frist eingehalten, wie viele Sekunden nach der Frist wurde das Ticket geschlossen), ob das Ticket wiedereröffnet wurde, sowie das CSAT-Ergebnis (Kundenzufriedenheitsbefragung), sofern vorhanden. Diese Daten liefern objektive Qualitätssignale unabhängig von der Scorecard-Bewertung.

Export

Qualitätsbewertungen lassen sich unter Einstellungen → Erweiterte Einstellungen → Datenexport mit dem Exporttyp Qualitätsbewertungen als XLSX, CSV oder JSON exportieren. Dafür ist die Berechtigung „Qualitätsbewertungen anzeigen (alle)" erforderlich. Der Export enthält alle Bewertungsdaten inklusive Werten, Begründungen, Zeiterfassung und Kundenerlebnis und eignet sich für externes Reporting oder die Auswertung in BI-Tools.

Best Practices

• Änderungshistorie nutzen: Die lückenlose Protokollierung aller Wert- und Statusänderungen macht Bewertungen nachprüfbar. Bei Rückfragen lässt sich nachvollziehen, was die KI ursprünglich bewertet hat und was manuell angepasst wurde.
• Datum der Vorgesetztenbewertung und der Besprechung pflegen: Diese Felder sind Pflichtfelder für sinnvolles Reporting – ohne sie lassen sich Bewertungszeiträume nicht korrekt auswerten.
• KI-Zusammenfassung als Ausgangspunkt: Die KI-Zusammenfassung ist keine finale Bewertung, sondern ein strukturierter Ausgangspunkt für die Supervisor-Überprüfung. Sie sollte nicht ungeprüft als Gesprächsgrundlage verwendet werden.
• Fehler-Status überwachen: Bewertungen im Status „Fehler“ werden nicht automatisch wiederholt. Sie sollten regelmäßig überprüft werden, um Bewertungslücken im Reporting zu vermeiden. Über den Button Bewertung ausführen lässt sich eine fehlgeschlagene Bewertung erneut starten. Ist sie bereits geprüft oder besprochen, ist das nicht mehr möglich.