Scorecards

Documentation Index

Fetch the complete documentation index at: https://docs.enneo.ai/llms.txt

Use this file to discover all available pages before exploring further.

Eine Scorecard ist eine Bewertungsvorlage, die festlegt, welche Kriterien bei der Qualitätsbewertung eines Arbeitsvorgangs geprüft werden. Sie bildet die Grundlage für jede Qualitätsbewertung (Assessment) im System. Scorecards werden vom Qualitätsmanagement erstellt und gepflegt. Sobald eine Scorecard aktiv ist, werden neue Arbeitsvorgänge (Worklogs) automatisch damit verknüpft, sofern die konfigurierten Zuweisungsregeln zutreffen.

​

Bereich und Berechtigungen

Scorecards werden unter Einstellungen → Quality Scorecards verwaltet. Für den Zugriff gelten folgende Berechtigungen:

• Ansehen: Alle angemeldeten Nutzer können Scorecards einsehen – keine gesonderte Berechtigung erforderlich.
• Erstellen und Bearbeiten: Erfordert die Berechtigung qualityManageScorecards.
• Löschen: Erfordert zusätzlich die Berechtigung qualityDeleteScorecard.

Berechtigungen werden über Benutzerrollen vergeben. In der Regel liegt die Verwaltung von Scorecards beim Qualitätsmanagement oder bei Administratoren.

​

Aufbau

Eine Scorecard besteht aus Kategorien, die ihrerseits Kriterien enthalten. Diese Hierarchie erlaubt eine thematische Gruppierung der Bewertungspunkte. Kategorien fassen inhaltlich zusammengehörige Kriterien zusammen (z. B. „Kommunikation”, „Prozesskonformität”). Jede Kategorie hat eine frei wählbare Bezeichnung und eine Reihenfolge. Kriterien definieren die eigentlichen Bewertungspunkte innerhalb einer Kategorie:

• Bezeichnung und Beschreibung – Was wird bewertet?
• Maximalpunkte – Gewichtung des Kriteriums
• Bewertungstyp – metNotMet (erfüllt / nicht erfüllt, binär) oder numericScale (numerische Skala von 0 bis Maximalwert)
• KI-Bewertung aktiviert – Ob die KI dieses Kriterium automatisch vorbewertet
• Bewertungsprompt – Anweisung an die KI, nach welchen Maßstäben sie das Kriterium bewertet
• K.O.-Kriterium für Kategorie – Wird dieses Kriterium mit 0 bewertet, wird die gesamte Kategorie auf 0 gesetzt
• K.O.-Kriterium für Bewertung – Wird dieses Kriterium mit 0 bewertet, wird die Gesamtbewertung auf 0 gesetzt

​

K.O.-Kriterien

K.O.-Kriterien erlauben es, einzelne Anforderungen als absolut zu kennzeichnen. Das System unterscheidet zwei Ebenen:

• Kategorie-Ebene: Wird ein K.O.-Kriterium innerhalb einer Kategorie nicht erfüllt (Score = 0), wird die gesamte Kategorie mit 0 Punkten gewertet – unabhängig von den übrigen Kriterien.
• Bewertungs-Ebene: Wird ein solches Kriterium nicht erfüllt, fällt die Gesamtbewertung auf 0 – unabhängig von allen anderen Ergebnissen.

Sinnvoll für Kriterien, die rechtliche, regulatorische oder sicherheitsrelevante Mindestanforderungen darstellen, z. B. Datenschutz-Hinweise oder Sicherheitsabfragen.

​

Live Quality Coach

Die Option Live Quality Coach legt fest, ob eine Scorecard zusätzlich für die Qualitätsunterstützung während der Ticketbearbeitung verwendet wird.

• An: Die Scorecard kann als Grundlage für Live-Hinweise genutzt werden. Die KI prüft den aktuellen Antwortentwurf anhand der aktivierten Kriterien und kann Hinweise geben, welche Qualitätsanforderungen bereits erfüllt sind oder noch verbessert werden sollten.
• Aus: Die Scorecard wird nicht für Live-Coaching verwendet. Sie kann weiterhin für reguläre Qualitätsbewertungen von Arbeitsvorgängen genutzt werden.

Der Live Quality Coach ist besonders hilfreich, wenn Mitarbeiter schon vor dem Versenden einer Antwort Feedback zur Qualität ihres Antworttexts erhalten sollen. Für rein nachgelagerte Qualitätskontrolle kann die Option deaktiviert bleiben.

​

KI-gestützte Vorbewertung

Kriterien mit aktivierter KI-Bewertung werden automatisch durch die KI vorbewertet, sobald ein Assessment verarbeitet wird. Die KI orientiert sich dabei am konfigurierten Bewertungsprompt. Das Ergebnis hat den Status aiGenerated und kann vom Supervisor überprüft und angepasst werden. Nach einer manuellen Anpassung wechselt der Status auf humanVerified. Kriterien ohne KI-Bewertung bleiben zunächst unscored und müssen vollständig manuell bewertet werden.

​

Zuweisung

Scorecards können auf bestimmte Arbeitsvorgänge eingeschränkt werden. Die Zuweisung erfolgt über eine Kombination aus:

• Ticket-Tags – Die Scorecard wird nur auf Tickets mit bestimmten Tags angewendet
• Teams – Nur Arbeitsvorgänge von Mitgliedern bestimmter Teams werden bewertet
• Kanäle – Einschränkung auf bestimmte Eingangskanäle (z. B. E-Mail, Telefon)

Die Bedingungen wirken als UND-Verknüpfung: Alle konfigurierten Kriterien müssen gleichzeitig zutreffen. Ist keine Zuweisung konfiguriert, gilt die Scorecard für alle Arbeitsvorgänge.

​

Automatische Erstellung von Bewertungen

Das System prüft minütlich, ob neue Arbeitsvorgänge vorhanden sind, die noch nicht bewertet wurden. Für jeden solchen Vorgang wird geprüft, welche aktiven Scorecards laut Zuweisungsregeln zutreffen. Für jede passende Scorecard wird automatisch ein Assessment angelegt und zur KI-Verarbeitung eingereicht. Ein Arbeitsvorgang kann gleichzeitig von mehreren Scorecards bewertet werden, wenn mehrere Zuweisungsregeln zutreffen.

​

Versionierung

Scorecards sind versioniert. Jede Scorecard hat eine baseId (konstant über alle Versionen) und eine revision (fortlaufend). Wird eine aktive Scorecard bearbeitet, wird die bisherige Version auf retired gesetzt und eine neue Revision mit dem Status active angelegt. Bestehende Assessments bleiben mit der Scorecard-Version verknüpft, die zum Zeitpunkt ihrer Erstellung aktiv war. Eine Änderung der Scorecard wirkt sich nur auf neu erstellte Assessments aus.

​

Zustände einer Scorecard

​

Bewertungsworkflow

Assessments durchlaufen folgende Zustände:

1. unprocessed – Assessment wurde angelegt, KI-Verarbeitung steht aus
2. aiInProgress – KI bewertet gerade die Kriterien
3. aiReady – KI-Vorbewertung abgeschlossen, bereit zur Überprüfung
4. reviewOngoing – Supervisor hat mit der Überprüfung begonnen
5. reviewedBySupervisor – Überprüfung abgeschlossen
6. discussedWithAssessee – Bewertung mit dem bewerteten Mitarbeiter besprochen

Nimmt ein Supervisor Änderungen an einem bereits abgeschlossenen Assessment vor (reviewedBySupervisor oder discussedWithAssessee), wechselt der Status automatisch zurück auf reviewOngoing.

​

Qualitätsbewertungsvorschau

Mit der Qualitätsbewertungsvorschau kann eine Scorecard getestet werden, bevor sie produktiv verwendet oder nach Änderungen aktiv angewendet wird. Für die Vorschau werden typischerweise zwei Angaben benötigt:

• Ticket-ID: Das Ticket liefert den fachlichen Kontext, z. B. Kundenanfrage, Verlauf und relevante Ticketdaten.
• Antworttext: Der Text, der bewertet werden soll – zum Beispiel ein Antwortentwurf eines Mitarbeiters oder ein Beispieltext für Testzwecke.

Das System bewertet den angegebenen Antworttext anhand der Scorecard-Kriterien und zeigt eine Vorschau der erwarteten Bewertung an. So lässt sich prüfen, ob Kriterien, Bewertungsprompts, Gewichtung und K.O.-Regeln wie gewünscht funktionieren. Die Vorschau erstellt keine reguläre Bewertung im Qualitätsworkflow. Sie dient ausschließlich zum Testen und Verfeinern der Scorecard-Konfiguration.

​

Best Practices

• Granularität der Kriterien: Kriterien sollten so formuliert sein, dass sie von der KI eindeutig bewertet werden können. Vage Formulierungen führen zu unzuverlässigen KI-Bewertungen.
• K.O.-Kriterien sparsam einsetzen: Sie haben starke Auswirkungen auf das Gesamtergebnis. Nur wirklich nicht-verhandelbare Anforderungen sollten so gekennzeichnet werden.
• Zuweisungsregeln gezielt konfigurieren: Zu breite Zuweisungen erhöhen das Assessment-Volumen deutlich. Wenn unterschiedliche Teams oder Kanäle verschiedene Maßstäbe erfordern, empfiehlt sich je eine eigene Scorecard.
• Versionierung berücksichtigen: Änderungen an einer aktiven Scorecard erzeugen immer eine neue Revision. Für laufende Vergleichsanalysen ist relevant, welche Revision einem Assessment zugrunde liegt.