Scorecards

Eine Scorecard ist eine Bewertungsvorlage, die festlegt, welche Kriterien bei der Qualitätsbewertung eines Arbeitsvorgangs geprüft werden. Sie bildet die Grundlage für jede Qualitätsbewertung (Assessment) im System. Scorecards werden vom Qualitätsmanagement erstellt und gepflegt. Sobald eine Scorecard aktiv ist, können neue Arbeitsvorgänge automatisch damit verknüpft werden, sofern die konfigurierten Zuweisungsregeln zutreffen.

​

Bereich und Berechtigungen

Scorecards werden unter Einstellungen → Quality Scorecards verwaltet. Für den Zugriff gelten folgende Berechtigungen:

• Ansehen: Alle angemeldeten Nutzer können Scorecards einsehen.
• Erstellen und Bearbeiten: Erfordert die Berechtigung qualityManageScorecards.
• Löschen: Erfordert zusätzlich die Berechtigung qualityDeleteScorecard.

​

Aufbau

Eine Scorecard besteht aus Kategorien, die ihrerseits Kriterien enthalten. Kategorien fassen inhaltlich zusammengehörige Kriterien zusammen. Jede Kategorie hat eine Bezeichnung und eine Reihenfolge. Kriterien definieren die eigentlichen Bewertungspunkte innerhalb einer Kategorie:

• Bezeichnung und Beschreibung – Was wird bewertet?
• Maximalpunkte – Gewichtung des Kriteriums
• Bewertungstyp – metNotMet oder numericScale
• KI-Bewertung aktiviert – Ob die KI dieses Kriterium automatisch bewertet
• Bewertungsprompt – Anweisung an die KI, nach welchen Maßstäben bewertet werden soll
• K.O.-Kriterium für Kategorie – Wird dieses Kriterium mit 0 bewertet, wird die Kategorie auf 0 gesetzt
• K.O.-Kriterium für Bewertung – Wird dieses Kriterium mit 0 bewertet, wird die Gesamtbewertung auf 0 gesetzt

​

Zuweisung und Antwortkontext

Scorecards können auf bestimmte Arbeitsvorgänge eingeschränkt werden. Die Zuweisung erfolgt über:

• Teams – nur Arbeitsvorgänge von Mitgliedern bestimmter Teams
• Ticket-Tags – nur Tickets mit bestimmten Tags
• Kanäle – z. B. E-Mail, Telefon oder Brief
• Antwortkontext – ob die Scorecard für Antworten nach Kundennachrichten oder für proaktive Antworten gedacht ist

Beim Antwortkontext werden zwei Fälle unterschieden:

• Nach Kundennachricht (afterCustomerMessage) – klassische reaktive Qualitätssicherung: Ein Mitarbeiter beantwortet eine vorherige Kundenanfrage.
• Ohne vorherige Kundennachricht / proaktiv (withoutCustomerMessage) – für proaktive Kommunikation, bei der der Mitarbeiter eine Nachricht ohne direkte vorherige Kundenanfrage erstellt.

Wenn mehrere Zuweisungsregeln konfiguriert sind, müssen sie gemeinsam zutreffen.

​

Automatische Erstellung von Bewertungen

Das System prüft regelmäßig, ob neue Arbeitsvorgänge vorhanden sind, die noch nicht bewertet wurden. Für jeden passenden Arbeitsvorgang wird ermittelt, welche aktiven Scorecards laut Zuweisungsregeln zutreffen. Für jede passende Scorecard wird ein Assessment angelegt und zur KI-Verarbeitung eingereicht. Ein Arbeitsvorgang kann durch mehrere Scorecards bewertet werden, wenn mehrere Scorecards zutreffen.

​

Live Quality Coach

Die Option Live Quality Coach legt fest, ob eine Scorecard zusätzlich während der Ticketbearbeitung genutzt wird. Ist der Live Quality Coach aktiviert, kann ein Mitarbeiter den aktuellen Antwortentwurf vor dem Versenden prüfen lassen. Die KI bewertet den Entwurf anhand der KI-bewertbaren Kriterien der passenden Scorecards. Der Live Quality Coach liefert pro passender Scorecard:

• den erreichten Prozentwert
• den erforderlichen Mindestwert
• ob der Entwurf bestanden hat
• eine KI-Zusammenfassung
• Details pro Kategorie und Kriterium

Der Live Quality Coach ist aktuell für unterstützte Antwortkanäle wie E-Mail und Brief vorgesehen.

​

Mindestwert für den Live Quality Coach

Für den Live Quality Coach kann ein Threshold konfiguriert werden. Dieser Wert liegt zwischen 0 und 100 Prozent und definiert den Mindestscore, den ein Antwortentwurf erreichen soll. Der Standardwert ist 85 %. Erreicht ein Entwurf den Mindestwert nicht, wird dies im Antwortbereich sichtbar gemacht. Die Antwort kann weiterhin versendet werden, aber die Oberfläche macht deutlich, dass der Mitarbeiter den Qualitätscheck bewusst übergeht.

​

KI-gestützte Vorbewertung

Kriterien mit aktivierter KI-Bewertung werden automatisch durch die KI bewertet. Die KI orientiert sich dabei am konfigurierten Bewertungsprompt. Das Ergebnis kann vom Supervisor überprüft und angepasst werden. Kriterien ohne KI-Bewertung bleiben zunächst unbewertet und müssen manuell bewertet werden. Im Live Quality Coach werden nur KI-bewertbare Kriterien für die automatische Prüfung verwendet.

​

K.O.-Kriterien

K.O.-Kriterien erlauben es, einzelne Anforderungen als absolut zu kennzeichnen.

• Kategorie-Ebene: Wird ein K.O.-Kriterium innerhalb einer Kategorie mit 0 bewertet, wird die gesamte Kategorie mit 0 Punkten gewertet.
• Bewertungs-Ebene: Wird ein K.O.-Kriterium für die Gesamtbewertung mit 0 bewertet, fällt die Gesamtbewertung auf 0.

​

Versionierung

Scorecards sind versioniert. Jede Scorecard hat eine baseId und eine revision.

• baseId bleibt über alle Versionen einer Scorecard gleich.
• revision erhöht sich mit jeder neuen Version.
• Wird eine aktive Scorecard bearbeitet, wird die bisherige Version auf retired gesetzt und eine neue Revision angelegt.

Bestehende Assessments bleiben mit der Scorecard-Version verknüpft, die zum Zeitpunkt der Erstellung aktiv war. Änderungen wirken sich nur auf neu erstellte Assessments aus.

​

Zustände einer Scorecard

• Entwurf – in Bearbeitung, noch nicht aktiv
• Aktiv – aktiv und für neue Bewertungen verwendbar
• Archiviert – durch eine neue Revision abgelöst
• Gelöscht – soft-gelöscht und nicht mehr sichtbar

​

Bewertungsworkflow

Bewertungen können folgende Zustände durchlaufen:

1. Nicht verarbeitet – Bewertung wurde angelegt, KI-Verarbeitung steht aus
2. KI-Verarbeitung läuft – KI bewertet gerade die Kriterien
3. KI-Bewertung bereit – KI-Vorbewertung abgeschlossen, bereit zur Überprüfung
4. Überprüfung läuft – Supervisor hat mit der Überprüfung begonnen
5. Von Supervisor geprüft – Überprüfung abgeschlossen
6. Mit Mitarbeiter besprochen – Bewertung wurde mit dem bewerteten Mitarbeiter besprochen
7. Fehler – bei der Verarbeitung ist ein Fehler aufgetreten
8. Gelöscht – Bewertung wurde gelöscht

Nimmt ein Supervisor Änderungen an einem abgeschlossenen Assessment vor, wechselt der Status automatisch zurück auf reviewOngoing.

​

Qualitätsbewertungsvorschau

Mit der Qualitätsbewertungsvorschau kann eine Scorecard getestet werden, bevor sie produktiv verwendet oder nach Änderungen aktiv angewendet wird. Typischerweise werden dafür benötigt:

• Ticket-ID – liefert Kontext wie Kundenanfrage, Verlauf und relevante Ticketdaten
• Antworttext – der Entwurf oder Beispieltext, der geprüft werden soll

Die Vorschau erstellt keine reguläre Bewertung im Qualitätsworkflow. Sie dient dazu, Kriterien, Prompts, Gewichtungen, K.O.-Regeln und Live-Coach-Verhalten zu validieren.

​

Export

Beim Bearbeiten einer Scorecard kann die aktuelle Scorecard-Konfiguration als JSON exportiert und kopiert werden. Das ist hilfreich für Reviews, technische Analyse oder den Abgleich zwischen Umgebungen.

​

Best Practices

• Kriterien eindeutig formulieren: KI-bewertbare Kriterien sollten konkret und prüfbar sein.
• Prompts präzise halten: Beschreiben, woran die KI erkennen soll, ob ein Kriterium erfüllt ist.
• K.O.-Kriterien sparsam einsetzen: Sie haben starke Auswirkungen auf Kategorie- und Gesamtergebnis.
• Threshold bewusst wählen: Ein zu hoher Mindestwert kann viele Entwürfe blockieren, ein zu niedriger Wert schwächt den Live Quality Coach.
• Proaktive und reaktive Fälle trennen: Für Antworten nach Kundennachrichten und proaktive Kommunikation können unterschiedliche Scorecards sinnvoll sein.
• Zuweisungsregeln gezielt konfigurieren: Breite Zuweisungen erhöhen das Assessment-Volumen.
• Versionierung berücksichtigen: Für Auswertungen ist relevant, welche Revision einer Bewertung zugrunde liegt.