Zum Hauptinhalt springen
Scorecards definieren Bewertungsmaßstäbe für Qualitätsbewertungen von Arbeitsvorgängen. Sie strukturieren, nach welchen Kriterien Mitarbeiterleistungen bewertet werden, und steuern, wie und wann Bewertungen automatisch erstellt werden.Scorecards sind versioniert. Eine Änderung an einer aktiven Scorecard erzeugt automatisch eine neue Revision – die bisherige Version bleibt für laufende Bewertungen erhalten.
Eine Scorecard ist eine Bewertungsvorlage, die festlegt, welche Kriterien bei der Qualitätsbewertung eines Arbeitsvorgangs geprüft werden. Sie bildet die Grundlage für jede Qualitätsbewertung (Assessment) im System. Scorecards werden vom Qualitätsmanagement erstellt und gepflegt. Sobald eine Scorecard aktiv ist, werden neue Arbeitsvorgänge (Worklogs) automatisch damit verknüpft, sofern die konfigurierten Zuweisungsregeln zutreffen.

​
Bereich und Berechtigungen

Scorecards werden unter Einstellungen → Quality Scorecards verwaltet. Für den Zugriff gelten folgende Berechtigungen:
  • Ansehen: Alle angemeldeten Nutzer können Scorecards einsehen – keine gesonderte Berechtigung erforderlich.
  • Erstellen und Bearbeiten: Erfordert die Berechtigung qualityManageScorecards.
  • Löschen: Erfordert zusätzlich die Berechtigung qualityDeleteScorecard.
Berechtigungen werden über Benutzerrollen vergeben. In der Regel liegt die Verwaltung von Scorecards beim Qualitätsmanagement oder bei Administratoren.

​
Aufbau

Eine Scorecard besteht aus Kategorien, die ihrerseits Kriterien enthalten. Diese Hierarchie erlaubt eine thematische Gruppierung der Bewertungspunkte. Kategorien fassen inhaltlich zusammengehörige Kriterien zusammen (z. B. „Kommunikation”, „Prozesskonformität”). Jede Kategorie hat eine frei wählbare Bezeichnung und eine Reihenfolge. Kriterien definieren die eigentlichen Bewertungspunkte innerhalb einer Kategorie:
  • Bezeichnung und Beschreibung – Was wird bewertet?
  • Maximalpunkte – Gewichtung des Kriteriums
  • Bewertungstyp – metNotMet (erfüllt / nicht erfüllt, binär) oder numericScale (numerische Skala von 0 bis Maximalwert)
  • KI-Bewertung aktiviert – Ob die KI dieses Kriterium automatisch vorbewertet
  • Bewertungsprompt – Anweisung an die KI, nach welchen Maßstäben sie das Kriterium bewertet
  • K.O.-Kriterium für Kategorie – Wird dieses Kriterium mit 0 bewertet, wird die gesamte Kategorie auf 0 gesetzt
  • K.O.-Kriterium für Bewertung – Wird dieses Kriterium mit 0 bewertet, wird die Gesamtbewertung auf 0 gesetzt

​
K.O.-Kriterien

K.O.-Kriterien erlauben es, einzelne Anforderungen als absolut zu kennzeichnen. Das System unterscheidet zwei Ebenen:
  • Kategorie-Ebene: Wird ein K.O.-Kriterium innerhalb einer Kategorie nicht erfüllt (Score = 0), wird die gesamte Kategorie mit 0 Punkten gewertet – unabhängig von den übrigen Kriterien.
  • Bewertungs-Ebene: Wird ein solches Kriterium nicht erfüllt, fällt die Gesamtbewertung auf 0 – unabhängig von allen anderen Ergebnissen.
Sinnvoll für Kriterien, die rechtliche, regulatorische oder sicherheitsrelevante Mindestanforderungen darstellen, z. B. Datenschutz-Hinweise oder Sicherheitsabfragen.

​
KI-gestützte Vorbewertung

Kriterien mit aktivierter KI-Bewertung werden automatisch durch die KI vorbewertet, sobald ein Assessment verarbeitet wird. Die KI orientiert sich dabei am konfigurierten Bewertungsprompt. Das Ergebnis hat den Status aiGenerated und kann vom Supervisor überprüft und angepasst werden. Nach einer manuellen Anpassung wechselt der Status auf humanVerified. Kriterien ohne KI-Bewertung bleiben zunächst unscored und müssen vollständig manuell bewertet werden.

​
Zuweisung

Scorecards können auf bestimmte Arbeitsvorgänge eingeschränkt werden. Die Zuweisung erfolgt über eine Kombination aus:
  • Ticket-Tags – Die Scorecard wird nur auf Tickets mit bestimmten Tags angewendet
  • Teams – Nur Arbeitsvorgänge von Mitgliedern bestimmter Teams werden bewertet
  • Kanäle – Einschränkung auf bestimmte Eingangskanäle (z. B. E-Mail, Telefon)
Die Bedingungen wirken als UND-Verknüpfung: Alle konfigurierten Kriterien müssen gleichzeitig zutreffen. Ist keine Zuweisung konfiguriert, gilt die Scorecard für alle Arbeitsvorgänge.

​
Automatische Erstellung von Bewertungen

Das System prüft minütlich, ob neue Arbeitsvorgänge vorhanden sind, die noch nicht bewertet wurden. Für jeden solchen Vorgang wird geprüft, welche aktiven Scorecards laut Zuweisungsregeln zutreffen. Für jede passende Scorecard wird automatisch ein Assessment angelegt und zur KI-Verarbeitung eingereicht. Ein Arbeitsvorgang kann gleichzeitig von mehreren Scorecards bewertet werden, wenn mehrere Zuweisungsregeln zutreffen.

​
Versionierung

Scorecards sind versioniert. Jede Scorecard hat eine baseId (konstant über alle Versionen) und eine revision (fortlaufend). Wird eine aktive Scorecard bearbeitet, wird die bisherige Version auf retired gesetzt und eine neue Revision mit dem Status active angelegt. Bestehende Assessments bleiben mit der Scorecard-Version verknüpft, die zum Zeitpunkt ihrer Erstellung aktiv war. Eine Änderung der Scorecard wirkt sich nur auf neu erstellte Assessments aus.

​
Zustände einer Scorecard

ZustandBedeutung
draftIn Bearbeitung, noch nicht aktiv
activeAktiv – wird für neue Bewertungen verwendet
retiredDurch eine neue Revision abgelöst
deletedSoft-gelöscht, nicht mehr sichtbar

​
Bewertungsworkflow

Assessments durchlaufen folgende Zustände:
  1. unprocessed – Assessment wurde angelegt, KI-Verarbeitung steht aus
  2. aiInProgress – KI bewertet gerade die Kriterien
  3. aiReady – KI-Vorbewertung abgeschlossen, bereit zur Überprüfung
  4. reviewOngoing – Supervisor hat mit der Überprüfung begonnen
  5. reviewedBySupervisor – Überprüfung abgeschlossen
  6. discussedWithAssessee – Bewertung mit dem bewerteten Mitarbeiter besprochen
Nimmt ein Supervisor Änderungen an einem bereits abgeschlossenen Assessment vor (reviewedBySupervisor oder discussedWithAssessee), wechselt der Status automatisch zurück auf reviewOngoing.

​
Best Practices

  • Granularität der Kriterien: Kriterien sollten so formuliert sein, dass sie von der KI eindeutig bewertet werden können. Vage Formulierungen führen zu unzuverlässigen KI-Bewertungen.
  • K.O.-Kriterien sparsam einsetzen: Sie haben starke Auswirkungen auf das Gesamtergebnis. Nur wirklich nicht-verhandelbare Anforderungen sollten so gekennzeichnet werden.
  • Zuweisungsregeln gezielt konfigurieren: Zu breite Zuweisungen erhöhen das Assessment-Volumen deutlich. Wenn unterschiedliche Teams oder Kanäle verschiedene Maßstäbe erfordern, empfiehlt sich je eine eigene Scorecard.
  • Versionierung berücksichtigen: Änderungen an einer aktiven Scorecard erzeugen immer eine neue Revision. Für laufende Vergleichsanalysen ist relevant, welche Revision einem Assessment zugrunde liegt.