Scorecards

Eine Scorecard ist eine Bewertungsvorlage, die festlegt, welche Kriterien bei der Qualitätsbewertung eines Arbeitsvorgangs geprüft werden. Sie bildet die Grundlage für jede Qualitätsbewertung im System.

Scorecards werden vom Qualitätsmanagement erstellt und gepflegt. Sobald eine Scorecard aktiv ist, können neue Arbeitsvorgänge automatisch damit verknüpft werden, sofern die konfigurierten Zuweisungsregeln zutreffen.

Bereich und Berechtigungen

Scorecards werden unter Einstellungen → Benutzerverwaltung → Qualitätsbogen verwaltet. Die Seite trägt die Überschrift „Qualitäts-Scorecards".

Zugriff auf die Scorecards hat, wer die Berechtigung „Qualitäts-Scorekarten verwalten" besitzt. Damit lassen sich Scorecards ansehen, erstellen und bearbeiten. Zum Löschen ist zusätzlich die Berechtigung „Qualitäts-Scorekarten löschen" erforderlich.

Wer eine Bewertung sehen darf, sieht darin die Kategorien und Kriterien der zugrunde liegenden Scorecard, kann die Scorecard selbst aber nicht öffnen oder bearbeiten.

Aufbau

Eine Scorecard besteht aus Kategorien, die ihrerseits Kriterien enthalten.

Kategorien fassen inhaltlich zusammengehörige Kriterien zusammen. Jede Kategorie hat eine Bezeichnung und eine Reihenfolge.

Kriterien definieren die eigentlichen Bewertungspunkte innerhalb einer Kategorie:

• Bezeichnung und Beschreibung – Was wird bewertet?
• Maximale Punkte – Gewichtung des Kriteriums
• Bewertungstyp – Erfüllt / Nicht erfüllt oder Numerische Skala
• Automatisch von KI generieren – Ob die KI dieses Kriterium automatisch bewertet
• Bewertungsaufforderung für KI – Anweisung an die KI, nach welchen Maßstäben bewertet werden soll
• Entscheidend für Kategorie (K.O.-Kriterium) – Wird dieses Kriterium mit 0 bewertet, wird die Kategorie auf 0 gesetzt
• Entscheidend für Bewertung (K.O.-Kriterium) – Wird dieses Kriterium mit 0 bewertet, wird die Gesamtbewertung auf 0 gesetzt

Zuweisung und Antwortkontext

Scorecards können auf bestimmte Arbeitsvorgänge eingeschränkt werden. Die Zuweisung erfolgt über:

• Anwendung nach Team – nur Arbeitsvorgänge von Mitgliedern bestimmter Teams
• Anwendung nach Ticket-Tag – nur Tickets mit bestimmten Tags
• Anwendung nach Kanal – z. B. E-Mail, Telefon oder Brief
• Anwendung nach Kundenkontakt – ob die Scorecard für Antworten nach Kundennachrichten oder für proaktive Antworten gedacht ist

Beim Kundenkontakt werden zwei Fälle unterschieden:

• Nach Kundennachricht – klassische reaktive Qualitätssicherung: Ein Mitarbeiter beantwortet eine vorherige Kundenanfrage. Neue Scorecards sind standardmäßig so eingestellt.
• Ohne vorherige Kundennachricht (proaktiv) – für proaktive Kommunikation, bei der der Mitarbeiter eine Nachricht ohne direkte vorherige Kundenanfrage erstellt.

Wenn mehrere Zuweisungsregeln konfiguriert sind, müssen sie gemeinsam zutreffen. Bleibt eine Regel leer, schränkt sie nichts ein – ist zum Beispiel kein Team ausgewählt, gilt die Scorecard für alle Teams.

Zusätzlich lassen sich Vorgänge gezielt ausschließen:

• Ausschluss nach Team
• Ausschluss nach Ticket-Tag
• Ausschluss nach Kanal

Trifft eine Ausschlussregel zu, wird der Vorgang mit dieser Scorecard nicht bewertet – auch wenn alle anderen Regeln passen.

Es gibt keine Stichprobe: Jeder Arbeitsvorgang, auf den die Regeln zutreffen, wird bewertet.

Automatische Erstellung von Bewertungen

Enneo prüft jede Minute automatisch, ob neue Arbeitsvorgänge vorhanden sind, die noch nicht bewertet wurden. Für jeden passenden Arbeitsvorgang wird ermittelt, welche aktiven Scorecards laut Zuweisungsregeln zutreffen.

Für jede passende Scorecard wird eine Bewertung angelegt, die anschließend von der KI vorbewertet wird.

Ein Arbeitsvorgang kann durch mehrere Scorecards bewertet werden, wenn mehrere Scorecards zutreffen.

Telefonate: Von einem Mitarbeiter geführte Anrufe werden ebenfalls automatisch bewertet, sobald eine aktive Scorecard zutrifft. Bewertet wird der Mitarbeiter, der bei Gesprächsende im Anruf war. Wurde der Anruf zwischen Mitarbeitern weitergeleitet, wird nur der letzte Mitarbeiter bewertet; vorherige Mitarbeiter im selben Anruf erhalten keine Bewertung. Mitarbeiter, bei denen es nur geklingelt hat, ohne dass sie abgenommen haben, werden nicht bewertet. Die Bewertung erscheint nicht direkt bei Gesprächsende, sondern kurz nachdem der Mitarbeiter das Ticket verlassen hat und sein Arbeitsvorgang abgeschlossen ist.

Live Quality Coach

Die Option Live Quality Coach legt fest, ob eine Scorecard zusätzlich während der Ticketbearbeitung genutzt wird.

Ist der Live Quality Coach aktiviert, kann ein Mitarbeiter den aktuellen Antwortentwurf vor dem Versenden prüfen lassen. Dazu wählt er im Menü neben dem Senden-Button Qualitätsprüfung ausführen. Die KI bewertet den Entwurf anhand der KI-bewertbaren Kriterien der passenden Scorecards.

Der Live Quality Coach liefert pro passender Scorecard:

• den erreichten Prozentwert
• den erforderlichen Mindestwert
• ob der Entwurf bestanden hat
• eine KI-Zusammenfassung
• Details pro Kategorie und Kriterium

Der Live Quality Coach steht für die Antwortkanäle E-Mail und Brief zur Verfügung.

Mit der Berechtigung „Live Quality Coach als primäre Aktion befördern" wird Qualitätsprüfung ausführen zur Hauptaktion des Senden-Buttons, statt im Menü zu stehen. Das eignet sich für weniger erfahrene Mitarbeiter, die ihre Antworten vor dem Senden prüfen sollen. Standardmäßig hat keine Rolle diese Berechtigung.

Mindestwert für den Live Quality Coach

Für den Live Quality Coach kann im Feld Schwellenwert (%) ein Mindestwert festgelegt werden. Dieser Wert liegt zwischen 0 und 100 Prozent und definiert den Mindestwert, den ein Antwortentwurf erreichen soll.

Der Standardwert ist 85 %.

Erreicht ein Entwurf den Mindestwert nicht, wird dies im Antwortbereich sichtbar gemacht. Die Antwort kann weiterhin versendet werden: Der Senden-Button heißt dann Trotzdem senden, damit deutlich wird, dass der Mitarbeiter den Qualitätscheck bewusst übergeht.

Scorecards als Leitlinie für KI-Antworten

Scorecards bewerten Antworten nicht nur im Nachhinein, sie können auch die KI beim Schreiben leiten. Dafür gibt es bei jedem KI-Agenten unter Anweisungen den Schalter Qualitätsrichtlinien aus QA-Scorecards befolgen. Bei neu angelegten KI-Agenten ist er eingeschaltet.

Ist der Schalter aktiv, erhält die KI beim Erstellen einer Antwort die KI-bewertbaren Kriterien der passenden Scorecards und richtet die Antwort danach aus. Welche Scorecards passen, bestimmen dieselben Zuweisungs- und Ausschlussregeln wie bei der Bewertung. Berücksichtigt werden höchstens drei passende Scorecards.

KI-gestützte Vorbewertung

Kriterien, bei denen Automatisch von KI generieren aktiviert ist, werden automatisch durch die KI bewertet. Die KI orientiert sich dabei an der Bewertungsaufforderung für KI.

Das Ergebnis kann vom Supervisor überprüft und angepasst werden.

Kriterien ohne KI-Bewertung bleiben zunächst unbewertet und müssen manuell bewertet werden. Im Live Quality Coach werden nur KI-bewertbare Kriterien für die automatische Prüfung verwendet.

K.O.-Kriterien

K.O.-Kriterien erlauben es, einzelne Anforderungen als absolut zu kennzeichnen.

• Kategorie-Ebene: Wird ein K.O.-Kriterium innerhalb einer Kategorie mit 0 bewertet, wird die gesamte Kategorie mit 0 Punkten gewertet.
• Bewertungs-Ebene: Wird ein K.O.-Kriterium für die Gesamtbewertung mit 0 bewertet, fällt die Gesamtbewertung auf 0.

Versionierung

Wird eine aktive Scorecard geändert, legt Enneo automatisch eine neue Version an. Die bisherige Version wird deaktiviert, bleibt aber mit den Bewertungen verknüpft, die mit ihr erstellt wurden.

Bestehende Bewertungen bleiben mit der Scorecard-Version verknüpft, die zum Zeitpunkt der Erstellung aktiv war. Änderungen wirken sich nur auf neu erstellte Bewertungen aus.

Zustände einer Scorecard

• Entwurf – in Bearbeitung, noch nicht aktiv
• Aktiv – aktiv und für neue Bewertungen verwendbar
• Deaktiviert – durch eine neue Version abgelöst
• Gelöscht – gelöscht und nicht mehr sichtbar

Im Formular lassen sich nur Entwurf und Aktiv auswählen; Deaktiviert setzt Enneo automatisch, sobald eine neue Version entsteht.

Bewertungsworkflow

Welche Status eine Bewertung durchläuft, steht unter Qualitätsbewertung.

Qualitätsbewertungsvorschau

Mit der Qualitätsbewertungsvorschau kann eine Scorecard getestet werden, bevor sie produktiv verwendet oder nach Änderungen aktiv angewendet wird.

Typischerweise werden dafür benötigt:

• Ticket-ID – liefert Kontext wie Kundenanfrage, Verlauf und relevante Ticketdaten
• Antworttext – der Entwurf oder Beispieltext, der geprüft werden soll

Die Vorschau erstellt keine reguläre Bewertung im Qualitätsworkflow. Sie dient dazu, Kriterien, Bewertungsaufforderungen, Gewichtungen, K.O.-Regeln und Live-Coach-Verhalten zu validieren.

Export und Import

Beim Bearbeiten einer Scorecard kann die aktuelle Scorecard-Konfiguration über den Button Exportieren als JSON exportiert und kopiert werden. Das ist hilfreich für Reviews, technische Analyse oder den Abgleich zwischen Umgebungen.

Umgekehrt lässt sich in der Liste der Scorecards über den Button Importieren eine Scorecard übernehmen, zum Beispiel aus einer anderen Umgebung: Die exportierte JSON-Konfiguration einfügen und auf Erstellen klicken.

Best Practices

• Kriterien eindeutig formulieren: KI-bewertbare Kriterien sollten konkret und prüfbar sein.
• Kriterien als Schreibanweisung denken: Kriterien so formulieren, dass sie auch als Anweisung für die KI beim Verfassen von Antworten taugen.
• Bewertungsaufforderungen präzise halten: Beschreiben, woran die KI erkennen soll, ob ein Kriterium erfüllt ist.
• K.O.-Kriterien sparsam einsetzen: Sie haben starke Auswirkungen auf Kategorie- und Gesamtergebnis.
• Schwellenwert bewusst wählen: Bei einem zu hohen Mindestwert fallen viele Entwürfe durch die Prüfung, ein zu niedriger Wert schwächt den Live Quality Coach.
• Proaktive und reaktive Fälle trennen: Für Antworten nach Kundennachrichten und proaktive Kommunikation können unterschiedliche Scorecards sinnvoll sein.
• Zuweisungsregeln gezielt konfigurieren: Breite Zuweisungen erhöhen die Zahl der Bewertungen.
• Versionierung berücksichtigen: Für Auswertungen ist relevant, welche Version einer Scorecard einer Bewertung zugrunde liegt.