Kennzahlen für einen KI-Assistenten, die im Service Desk wirklich zählen

Kennzahlen für einen KI-Assistenten zeigen nur dann echten Nutzen, wenn sie abgenommene Arbeit messen. Im Service Desk sind das vier Werte: die Quote richtig zugeordneter Tickets beim ersten Versuch, die Bearbeitungszeit pro Anfrage, die Eskalationsquote und die Kosten pro Vorgang. Gesprächsanzahl oder aktive Nutzer ergänzen das Bild, beweisen allein aber nichts.

Kennzahlen für einen KI-Assistenten sind Messgrößen, die den Zustand eines Ablaufs vor und nach der Einführung des Assistenten vergleichbar machen. Ein KI-Assistent ist nach der Definition von Pipedrive eine softwarebasierte Anwendung, die mithilfe künstlicher Intelligenz wiederkehrende Aufgaben automatisiert, Daten analysiert und Mitarbeitende bei Entscheidungen unterstützt. Arbeitet ein System mehrere Schritte selbstständig ab, spricht man eher von einem Agenten. Den Unterschied erklärt unser Beitrag Was sind KI-Agenten: Aufbau, Grenzen und Kontrolle.

Dieser Leitfaden geht die vier Kennzahlen einzeln durch. Er zeigt, welche Daten Sie dafür protokollieren müssen, und rechnet einen Effizienzgewinn an einem veröffentlichten Beispiel nach. Am Ende stehen eine Checkliste als Tabelle, die rechtlichen Punkte für Unternehmen in Deutschland und die nächsten Schritte.

Nutzungszahlen messen, wie oft ein KI-Assistent angesprochen wird, nicht wie viel Arbeit er Ihrem Team tatsächlich abnimmt. Die Anzahl der Gespräche steigt auch dann, wenn Kunden mehrfach nachfragen müssen. Sie steigt ebenso, wenn Mitarbeitende jede Antwort anschließend von Hand korrigieren.

Ein bekanntes Beispiel zeigt, wie groß solche Zahlen werden können. Laut Pipedrive führte der KI-Assistent von Klarna im Kundenservice im ersten Monat 2,3 Millionen Gespräche. Das entspricht dort der Arbeit von 700 Vollzeitkräften. Aussagekräftig wird eine solche Menge erst, wenn feststeht, wie viele dieser Gespräche ohne Nacharbeit abgeschlossen wurden.

Für die eigene Bewertung sollten Sie deshalb jede Nutzungszahl mit einer Qualitätszahl koppeln. Drei Fragen helfen dabei:

• Wie viele Anfragen hat der Assistent richtig eingeordnet oder beantwortet?
• Wie viele davon musste ein Mensch nachbearbeiten oder neu zuordnen?
• Wie viel Zeit hat das Team dadurch pro Vorgang gespart?

Erst die Antworten auf diese Fragen ergeben einen Wert, den die Geschäftsführung als Entscheidungsgrundlage nutzen kann. Die Gesprächsanzahl bleibt eine Nebenzahl, die Auslastung und Akzeptanz zeigt.

Die Erstzuordnungsquote ist der Anteil der Tickets, die der KI-Assistent beim ersten Versuch dem richtigen Team oder der richtigen Kategorie zuordnet. Ein Ticket gilt als richtig zugeordnet, wenn es danach nicht mehr verschoben werden muss. Jede spätere Umleitung kostet Zeit, weil ein Mensch das Ticket lesen, bewerten und weitergeben muss.

Messen lässt sich die Quote über einen Vergleich zweier Felder: die Zuordnung, die der Assistent vorgeschlagen hat, und die Zuordnung, mit der das Ticket geschlossen wurde. Stimmen beide überein, zählt das Ticket als Treffer. In einem Ticketsystem wie Zoho Desk braucht es dafür ein eigenes Feld, das den ursprünglichen Vorschlag festhält. Sonst überschreibt die spätere Korrektur den Vorschlag, und die Quote ist nicht mehr berechenbar.

Wie hoch diese Quote im Betrieb liegen kann, zeigt der IT-Service-Desk, den Svennis für Asset Services Group (Message Direct) gebaut hat: Claude in Microsoft Teams ordnet dort Anfragen vor Zoho Desk zu, mit 99,7 % korrekter Erstzuordnung und 40 % Effizienzgewinn. Beide Werte bestätigt der Head of Technology in der veröffentlichten Fallstudie zum Teams-IT-Assistenten.

Die Erstzuordnungsquote ist für einen vorgeschalteten Assistenten meist die wichtigste Kennzahl. Ohne richtige Zuordnung verbessern sich die übrigen Werte kaum.

Die Bearbeitungszeit ist der Zeitaufwand, den eine einzelne Anfrage vom Eingang bis zum Abschluss verursacht. Ein KI-Assistent verkürzt sie, wenn er vorsortiert, Informationen zusammenträgt oder Standardanfragen selbst beantwortet. Sie ist die Kennzahl, aus der sich ein Effizienzgewinn am direktesten ableiten lässt.

Wie ein Vorher-Nachher-Vergleich aussieht, zeigt eine Beispieltabelle von autarc.energy für einen telefonischen KI-Assistenten. Dort sinkt die durchschnittliche Bearbeitungszeit pro Anruf oder Anfrage von 6 auf 3 Minuten. Die Kosten pro Anruf, also die internen Bearbeitungskosten aus Personal und Zeitaufwand, fallen von 4,50 € auf 2,20 €. Beide Werte sind als Beispiel-Kennzahlen ausgewiesen, nicht als garantierte Ergebnisse.

Für Ihren eigenen Service Desk gelten zwei Regeln:

• Messen Sie die Bearbeitungszeit getrennt nach Kategorien, weil eine Passwortanfrage und eine Störung unterschiedlich lange dauern.
• Rechnen Sie zu den Personalkosten die laufenden Kosten des Assistenten hinzu, sonst wirkt der Gewinn größer, als er ist.

Die Kosten des Assistenten hängen stark vom gewählten Modell ab. Laut der Modellübersicht von Anthropic kostet Claude Haiku 4.5 1 US-Dollar pro Million Eingabe-Token und 5 US-Dollar pro Million Ausgabe-Token. Bei Claude Sonnet 5.5 sind es 2 und 10 US-Dollar, bei Claude Opus 5.5 4 und 20 US-Dollar.

Die Eskalationsquote ist der Anteil der Anfragen, die der KI-Assistent an einen Menschen weitergibt, statt sie selbst abzuschließen. Eine niedrige Quote ist nicht automatisch gut. Sie kann auch bedeuten, dass der Assistent Fälle behält, die er nicht lösen kann.

Entscheidend ist deshalb, ob der Rückfallweg funktioniert. autarc.energy nennt fehlendes Fallback-Routing als typischen Fehler, weil Kunden bei Problemen sonst frustriert auflegen. Fallback-Routing heißt: Erkennt der Assistent, dass er nicht weiterkommt, übergibt er die Anfrage mit allen bisherigen Angaben an eine zuständige Person.

Werten Sie die Eskalationsquote immer zusammen mit zwei weiteren Zahlen aus:

• den Anteil der Eskalationen, die tatsächlich nötig waren,
• den Anteil der nicht eskalierten Fälle, die später doch ein Mensch nachbearbeiten musste.

Hilfreich ist zusätzlich eine Ablehnungsquote. Der Immobilien-Assistent von ViVi übernimmt Vorschläge wie Zahlungszuordnungen oder Beleg-Erfassungen nie automatisch, der Nutzer bestätigt oder lehnt ab. Wo ein Assistent auf diese Weise Vorschläge macht, zeigt der Anteil abgelehnter Vorschläge sehr direkt, wie verlässlich er arbeitet.

Jede Kennzahl für einen KI-Assistenten ist nur so gut wie das Protokoll, aus dem sie berechnet wird. Fehlen Zeitstempel oder der ursprüngliche Vorschlag, lässt sich weder die Erstzuordnung noch die Bearbeitungszeit nachträglich rekonstruieren. Legen Sie die Protokollfelder deshalb vor dem Start fest, nicht nach den ersten Wochen.

Für einen Assistenten im Service Desk sollten Sie mindestens diese Angaben je Vorgang speichern:

• Zeitstempel für Eingang, Zuordnung, Übergabe und Abschluss
• die vom Assistenten vorgeschlagene Kategorie und das vorgeschlagene Team
• die endgültige Kategorie und das endgültige Team beim Abschluss
• ob und warum eskaliert wurde
• das verwendete Modell mit genauer Version
• die verbrauchten Token als Grundlage der Kosten
• die Rückmeldung der Mitarbeitenden zur Antwort

Die Modellversion gehört ins Protokoll, weil sich Modelle ändern. Anthropic hat zum Beispiel Claude Sonnet 5.5 als Nachfolger eines früheren Modells vorgestellt, der laut Anbieter 30 % schneller läuft und für die meisten Aufgaben bis zu 30 % weniger kostet. Verschiebt sich eine Kennzahl nach einem Modellwechsel, erkennen Sie die Ursache nur mit dieser Angabe.

Für die Rückmeldung genügt ein einfaches Verfahren. Im KI-Assistenten von EcoVadis geben Nutzer Feedback etwa per Daumen hoch oder runter bei einzelnen Antworten.

Ein Effizienzgewinn lässt sich aus zwei gemessenen Werten und dem Anfragevolumen berechnen. Als Grundlage dienen hier die Beispielwerte von autarc.energy: Bearbeitungszeit von 6 auf 3 Minuten, Kosten pro Anfrage von 4,50 € auf 2,20 €.

1. Zeitersparnis je Anfrage: 6 Minuten minus 3 Minuten ergibt 3 Minuten, also die Hälfte der ursprünglichen Bearbeitungszeit.
2. Kostenersparnis je Anfrage: 4,50 € minus 2,20 € ergibt 2,30 €.
3. Hochrechnung auf 1.000 Anfragen: 3.000 Minuten entsprechen 50 Stunden, und 1.000 mal 2,30 € ergibt 2.300 €.
4. Abzug der Modellkosten: Ziehen Sie die Token-Kosten des Assistenten für dieselben 1.000 Anfragen ab, berechnet aus dem Protokoll und dem Preis des eingesetzten Modells.

Das Ergebnis ist ein Nettowert, den Sie belastbar berichten können. Achten Sie darauf, dass die Kosten pro Anfrage im Beispiel bereits den Personal- und Zeitaufwand enthalten. Zählen Sie die gesparten Stunden also nicht ein zweites Mal als Geldbetrag hinzu.

Einen Prozentwert für den Effizienzgewinn können Sie auf demselben Weg berechnen. Er beschreibt, um welchen Anteil der Aufwand gegenüber der Vorher-Messung gesunken ist. Ohne saubere Vorher-Messung bleibt jede solche Zahl eine Schätzung.

Die folgende Tabelle fasst die Kennzahlen für einen KI-Assistenten im Service Desk zusammen. Sie zeigt für jede Kennzahl, was sie aussagt, woher die Daten stammen und worauf Sie bei der Auswertung achten sollten.

Nicht jede Zeile muss ein Erfolgskriterium sein. Wählen Sie eine Kennzahl, an der Sie den Erfolg messen, und beobachten Sie höchstens eine zweite als Nebenkennzahl. Wer viele Werte gleichzeitig bewertet, findet fast immer einen, der gestiegen ist, auch wenn der Assistent insgesamt wenig bewirkt.

Die Vorher-Messung ist der Wert einer Kennzahl vor der Einführung des KI-Assistenten, gegen den alle späteren Werte verglichen werden. Ohne sie lässt sich kein Effizienzgewinn belegen. autarc.energy setzt die Festlegung von Zielen und Kennzahlen deshalb als ersten von acht Schritten an, noch vor der Auswahl der Anwendungsfälle und des Anbieters.

Für die Vorher-Messung reicht eine überschaubare Zahl von Fällen. Nehmen Sie etwa zwanzig abgeschlossene Tickets je Kategorie aus einem klar benannten Zeitraum. Verwenden Sie den Median statt des Durchschnitts, damit einzelne Ausreißer das Bild nicht verzerren. Halten Sie Zeitraum und Kategorie schriftlich fest.

Die Qualität der Zuordnung prüft am besten eine Fachkraft, die die Materie kennt. Sie bewertet eine Stichprobe von Tickets und entscheidet, ob die Zuordnung sachlich richtig war.

Klären Sie außerdem die Zuständigkeiten. autarc.energy empfiehlt eine RACI-Matrix, also eine Tabelle, die für jede Aufgabe festhält, wer sie ausführt, wer verantwortlich ist, wer beteiligt und wer informiert wird. Für die Kennzahlen heißt das: Eine Person pflegt das Protokoll, eine andere berichtet die Werte.

Protokolle für Kennzahlen enthalten fast immer personenbezogene Daten, etwa Namen, E-Mail-Adressen oder Ticketinhalte. Für Unternehmen in Deutschland unterliegt die Messung damit der DSGVO. Planen Sie den Datenschutz deshalb zusammen mit den Kennzahlen, nicht danach.

Für den Einsatz eines KI-Assistenten gelten mehrere Punkte, die auch Protokolle betreffen:

• Verarbeitet der Anbieter personenbezogene Daten in Ihrem Auftrag, ist ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO Pflicht. Er regelt unter anderem Art der Daten, Sicherheitsmaßnahmen und Löschung.
• Die Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage nach Art. 6 DSGVO, meist Vertragserfüllung oder berechtigtes Interesse.
• Eine feste Löschfrist schreibt die DSGVO nicht vor. Daten dürfen nur so lange gespeichert werden, wie der Zweck es erfordert. autarc.energy nennt als Praxiswert 30 bis 90 Tage.
• Bei umfangreicher Verarbeitung besonderer Kategorien personenbezogener Daten ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO Pflicht. Nach der Muss-Liste der Datenschutzkonferenz gilt das auch, wenn ein KI-System im Kundensupport im Gespräch personenbezogene Daten verarbeitet.
• Im laufenden Betrieb empfiehlt autarc.energy vierteljährliche Datenschutz-Audits.

Für die Kennzahlen folgt daraus eine praktische Regel. Speichern Sie für die Auswertung nur die Felder, die Sie wirklich brauchen, und berechnen Sie die Kennzahlen, bevor die Löschfrist greift. Werte, die über Teams oder Kategorien zusammengefasst sind und keinen Rückschluss auf einzelne Personen zulassen, dürfen länger bleiben. Kennzahlen je Mitarbeiterin oder Mitarbeiter bleiben personenbezogen.

Neben der DSGVO betrifft Unternehmen auch die europäische KI-Verordnung. Welche Pflichten dort für Betreiber gelten, lesen Sie in unserer Übersicht EU AI Act (KI-Verordnung): Volltext mit Erläuterungen.

Die Kennzahlen für einen KI-Assistenten legen Sie am besten in fünf Schritten fest, bevor der Assistent in den Betrieb geht:

1. Benennen Sie den Engpass im Service Desk, etwa falsch zugeordnete Tickets oder lange Bearbeitungszeiten.
2. Wählen Sie eine Kennzahl als Erfolgskriterium und höchstens eine zweite als Beobachtung.
3. Legen Sie die Protokollfelder fest, einschließlich eines eigenen Feldes für den Vorschlag des Assistenten und der Modellversion.
4. Ziehen Sie die Vorher-Messung über etwa zwanzig Fälle je Kategorie, als Median mit Zeitraum.
5. Klären Sie Auftragsverarbeitungsvertrag, Rechtsgrundlage und Löschfrist für die Protokolle. Gibt es in Ihrem Betrieb einen Betriebsrat, beteiligen Sie ihn vor dem Start, weil Protokolle mit Bearbeitungszeiten je Person der Mitbestimmung unterliegen.

Wenn Sie unsicher sind, ob Ihre Daten und Abläufe für eine solche Messung bereit sind, beginnen Sie mit dem KI-Readiness-Check für Ihr Unternehmen. Er zeigt, wo Protokolle, Zuständigkeiten oder Datenquellen noch fehlen.

Soll der Assistent anschließend dauerhaft in Ihre Prozesse eingebunden werden, finden Sie auf der Seite KI-Automatisierung für den Mittelstand einen Überblick, wie solche Abläufe vom Pilot in den Regelbetrieb kommen.