Warum ein Pilot mit einem KI-Agenten der bessere Start ist, auch mit einer KI-Agentur

Warum ein Pilot mit einem KI-Agenten der bessere Start ist, lässt sich kurz beantworten: Er prüft an einem echten Prozess, ob der Agent wirkt. Das geschieht mit Erfolgskriterien, die vor dem Start feststehen. Ob Sie mit einer KI-Agentur arbeiten oder intern bauen, Sie entscheiden danach auf Basis gemessener Ergebnisse statt auf Basis von Versprechen.

Ein Pilot mit einem KI-Agenten ist ein zeitlich begrenzter Einsatz eines Agenten auf genau einem Prozess. Der Agent ist dabei an Ihr vorhandenes System angebunden, etwa an Zoho CRM oder an Zoho Desk. Am Ende steht eine klare Entscheidung: ausbauen, nachbessern oder stoppen.

Dieser Beitrag ist Teil 3 von 3 einer Reihe. Teil 1, „Agentic AI im Unternehmen: was ein KI-Agent übernimmt und wo er passt“, erklärt die Grundlagen. Teil 2, KI-Automatisierung in 30 Tagen: so läuft ein Pilot mit einem KI-Agenten, beschreibt den Ablauf Woche für Woche. Dieser Guide behandelt das Warum: was sich im Unternehmen ändert, wie Sie Zeit, Fehler und Kosten messen und wo die Grenzen liegen.

Ein KI-Agent ist ein Programm, das Claude direkt aufruft, ohne dass jemand an der Tastatur sitzt. Unite.AI beschreibt den Unterschied zum reinen Sprachmodell so: Ein Agent nimmt seine Umgebung wahr, trifft Entscheidungen und ergreift Maßnahmen, um ein Ziel zu erreichen. Ein Sprachmodell allein erzeugt dagegen nur Text.

Für einen Pilot brauchen Sie außerdem diese Begriffe:

• Freigabe: An einer festgelegten Stelle des Prozesses bestätigt eine Person aus dem Team, bevor die Aktion läuft, etwa das Angebot vor dem Versand.
• MCP-Server: Eine Schnittstelle, über die Claude in einem noch nicht angebundenen System liest und schreibt.
• Connector: Eine bereits vorhandene Anbindung von Claude an ein Programm, die der Pilot mitnutzt.
• Seat: Eine Lizenz pro Person für Claude Team oder Enterprise. Ein KI-Agent läuft über die API und braucht keine Seats.
• Basislinie, Mindestschwelle und Ziel: der heutige Messwert, der Wert, den der Agent mindestens erreichen muss, und der Wert, ab dem sich ein Ausbau lohnt.

Wie ein KI-Agent aufgebaut ist und wie Sie ihn kontrollieren, erklärt der Beitrag Was sind KI-Agenten? Aufbau, Grenzen und Kontrolle. Für diesen Guide genügt eine Unterscheidung. Ein Agent handelt in Ihren Systemen, und deshalb braucht er klare Grenzen und eine Messung.

Eine KI-Agentur sollte in einem Pilot einen Prozess von Anfang bis Ende liefern, nicht eine Sammlung von Einzelfunktionen. Bei Pilot Claude A, dem Pilot für einen KI-Agenten auf Claude, umfasst der Grundumfang einen Prozess, einen Kanal, die vorhandenen Connectors, einen neuen MCP-Server und die Skills, in denen die Arbeitsschritte des Agenten festgelegt sind. Ein neuer MCP-Server bietet bis zu 8 Funktionen zum Lesen und Schreiben.

Alles darüber hinaus gehört nicht in den ersten Schritt. Ein zweiter Prozess, ein zweiter Kanal und ein zweiter neuer MCP-Server werden im Angebot gesondert berechnet. Für ein System ohne öffentliche API zeigt Svennis zunächst die Möglichkeiten auf.

Anbindung an Ihre Programme

Für jede Anbindung baut Svennis einen Connector, einen MCP-Server, ein Plugin oder einen Skill. Wir zeigen Ihnen die Optionen mit ihren Kosten, und Sie wählen. Der Agent arbeitet direkt mit Ihren Systemen, nicht mit Dateien, die jemand vorher aus einem Programm zieht.

Konto und Verbrauch

Das Konto für das Modell eröffnen Sie auf den Namen Ihres Unternehmens, bei Anthropic, AWS, Google Cloud oder Microsoft. Den Verbrauch des Modells rechnet der gewählte Anbieter in Ihrem Konto ab, mit einem Budget, das von Anfang an feststeht. So laufen Konto, Protokolle und Abrechnung auf den Namen Ihres Unternehmens.

Ein KI-Agent übernimmt ausführende Schritte, während Ihr Team an festgelegten Stellen entscheidet. Das Team liest nicht mehr jede Anfrage einzeln, sondern prüft die Fälle, die der Agent zur Freigabe vorlegt. Jede Aktion des Agenten wird in Ihrem Konto festgehalten und lässt sich jederzeit prüfen.

Diese Arbeitsteilung hat einen praktischen Nutzen. Der Agent macht Vorschläge, eine Person entscheidet. An den Freigaben sieht das Team, wo der Agent zuverlässig arbeitet und wo nicht. Daraus entsteht die Grundlage, um später einzelne Schritte ohne Prüfung laufen zu lassen.

Ein einzelner Agent reicht für den Anfang. Unite.AI weist darauf hin, dass Systeme aus mehreren Agenten bei einfacheren Problemen unnötige Komplexität einführen können. Ohne ordnungsgemäße Organisation erzeugen mehrere Agenten zudem widersprüchliche Ergebnisse oder Ineffizienzen.

Ein Pilot ändert also zuerst die Rolle der Mitarbeitenden im Prozess. Sie werden zu Prüfenden und Entscheidenden. Erst wenn diese Rolle im Alltag funktioniert, lohnt sich mehr Autonomie für den Agenten.

Den Erfolg eines KI-Agenten messen Sie an drei Größen: Zeit, Fehler und Kosten. Für jede Größe legen Sie vor dem Start drei Werte fest, nämlich Basislinie, Mindestschwelle und Ziel. Die Basislinie stammt aus Ihrem heutigen Prozess, nicht aus Herstellerangaben.

Messgröße	Was Sie messen	Woher die Basislinie kommt
Zeit	Dauer vom Eingang bis zur erledigten Aktion, inklusive Prüfzeit bei der Freigabe	Heutige Durchlaufzeiten aus dem CRM oder Helpdesk-System
Fehler	Anteil der Fälle, die das Team korrigieren oder neu zuordnen muss	Stichprobe abgeschlossener Fälle, vom Team nachgeprüft
Kosten	Modellverbrauch pro Fall plus die verbleibende Arbeitszeit	Heutige Arbeitszeit pro Fall

Die Modellkosten lassen sich vorab abschätzen. Laut der Modellübersicht von Anthropic kostet Claude Haiku 5.5 ab 0,10 US-Dollar je Million Eingabe-Tokens und ab 0,50 US-Dollar je Million Ausgabe-Tokens. Claude Sonnet 5.5 kostet 2 und 10 US-Dollar, Claude Opus 5.5 kostet 4 und 20 US-Dollar.

Gemessen wird an echten Fällen. Im Pilot Claude A werden 100 Testfälle aus Ihrer Arbeit vor dem Produktivstart geprüft. So sehen Sie die Fehlerquote, bevor ein Kunde sie bemerkt.

Ein typischer erster Prozess ist die Einordnung eingehender Anfragen, bevor sie als Ticket in Zoho Desk landen. Der Prozess ist klar abgegrenzt, die Fälle sind zahlreich, und das Ergebnis lässt sich prüfen. Der Ablauf folgt dem Plan des Pilot Claude A über vier Wochen.

1. Woche 1, Ziele, Konto und Testfälle: Sie legen Basislinie, Mindestschwelle und Ziel fest. Ihr Unternehmen eröffnet das Konto, etwa Amazon Bedrock in Ihrem AWS-Konto. Ihr Team sammelt 100 echte Anfragen mit der korrekten Zuordnung.
2. Woche 2 und 3, Bau und Test: Der Agent wird über den vorhandenen Connector oder einen neuen MCP-Server an Zoho Desk angebunden. Er läuft gegen die Testfälle, und jede Abweichung wird ausgewertet.
3. Woche 4, Produktivstart: Der Agent ordnet echte Anfragen ein. Unklare Fälle gehen zur Freigabe an eine Person im Team.

Für die Modellwahl gibt Anthropic einen Hinweis. Claude Haiku 5.5 ist für große Mengen zeitkritischer Aufgaben gedacht, ausdrücklich für Klassifizierung, Extraktion und Weiterleitung. Anthropic beschreibt es als sein schnellstes und günstigstes kleines Modell für kostensensible Arbeit.

Erreicht Haiku die Mindestschwelle in den Tests nicht, prüfen Sie ein stärkeres Modell wie Claude Sonnet 5.5. Die Kosten pro Fall steigen dann, und genau das gehört in die Auswertung. Am Ende vergleichen Sie Zeit, Fehler und Kosten mit der Basislinie aus Woche 1.

Ein eng abgegrenzter Pilot verbindet geringe Anfangsinvestition mit belastbaren Messwerten. Die beiden Alternativen opfern jeweils eines davon. Die folgende Übersicht stellt die drei Wege gegenüber.

Kriterium	Abwarten	Sofortige breite Einführung	Eng abgegrenzter Pilot
Anfangsinvestition	Keine	Hoch, für mehrere Prozesse und Kanäle zugleich	Begrenzt auf einen Prozess und einen Kanal
Messbarkeit	Keine eigenen Daten	Schwer, weil viele Effekte sich überlagern	Klar, mit Basislinie und Testfällen
Risiko für laufende Prozesse	Keines, aber der Prozess bleibt manuell	Hoch, Fehler treffen viele Abläufe	Gering, Freigaben fangen Fehler ab
Lerneffekt für das Team	Keiner	Breit, aber ungesteuert	Gezielt, an einem bekannten Prozess
Grundlage der nächsten Entscheidung	Berichte Dritter	Eindrücke aus vielen Bereichen	Eigene Messwerte

Abwarten wirkt sicher, liefert aber keine eigenen Erkenntnisse. Eine sofortige breite Einführung bindet Budget, bevor klar ist, ob der Agent in Ihren Systemen funktioniert. Der Pilot beantwortet genau diese Frage zuerst.

Das größte Risiko eines schlecht aufgesetzten KI-Pilots ist ein Ergebnis, über das niemand entscheiden kann. Fehlen vorab festgelegte Kriterien, läuft der Pilot weiter, ohne dass jemand sagen kann, ob er sich lohnt. Das Team diskutiert dann über Eindrücke statt über Messwerte.

Claudia Bünte und Bernhard Wecke teilen den ersten KI-Pilot in ihrem Kapitel bei Springer Professional in drei Phasen ein:

• Zielsetzung und geeigneter Anwendungsfall, einschließlich der Prüfung, welche Daten verfügbar sind.
• Analyse des heutigen Zustands, einschließlich der vorhandenen Systeme und Schnittstellen.
• Umsetzung mit vorher definierten Hypothesen und Erfolgskriterien.

Parallel empfehlen die Autoren ein Beziehungsmanagement, das alle Anspruchsgruppen informiert oder einbindet. Ohne diese Einbindung scheitert ein technisch guter Agent an Vorbehalten im Team.

Bei Svennis legen wir Basislinie, Mindestschwelle und Ziel mit der Person fest, die den Prozess heute verantwortet, bevor wir den ersten Testfall bauen. Wo diese Festlegung fehlte, haben wir erlebt, dass am Ende niemand sagen konnte, ob der Agent gut genug war.

Auch Abwarten hat ein Risiko. Der Prozess bleibt manuell, und Sie entscheiden später ohne eigene Daten.

Ein Pilot mit einem KI-Agenten beweist, dass ein Agent einen bestimmten Prozess beherrscht, nicht mehr. Ein gutes Ergebnis bei der Einordnung von Anfragen sagt wenig über die Erstellung von Angeboten oder die Prüfung von Rechnungen. Jeder weitere Prozess braucht eigene Testfälle und eigene Kriterien.

Sprachmodelle machen Fehler. Unite.AI beschreibt, dass große Modelle zu falschen oder schädlichen Ausgaben neigen, oft „Halluzinationen“ genannt. Deshalb gehören Freigaben an die Stellen, an denen ein Fehler teuer wird, und deshalb wird jede Aktion protokolliert.

Die laufenden Kosten sind nicht im Pilot enthalten. Den Verbrauch des Modells zahlen Sie beim gewählten Anbieter, und er hängt von Fallzahl und Modellwahl ab. Ein stärkeres Modell kann die Fehlerquote senken und zugleich die Kosten pro Fall erhöhen.

Auch Modelle haben eine Lebensdauer. Anthropic nennt für Claude Haiku 5.5 eine Abschaltung nicht vor dem 7. Oktober 2027, für Claude Opus 5.5 nicht vor dem 22. September 2027. Ein Agent im Dauerbetrieb braucht daher eine Pflege, die den Wechsel auf ein neues Modell einplant und neu testet.

Schließlich ersetzt kein Pilot die Arbeit an Abläufen und Zuständigkeiten. Ist der Prozess heute unklar, wird ihn ein Agent nicht klären.

Für Unternehmen in Deutschland ist meist die Frage entscheidend, wo die Daten verarbeitet werden. Für Daten, die in der EU verarbeitet werden sollen, nutzt Pilot Claude A Amazon Bedrock im eigenen AWS-Konto des Unternehmens, Region Frankfurt (eu-central-1). Läuft ein Modell nicht direkt in Frankfurt, kommt das EU-Inferenzprofil von AWS zum Einsatz, das Anfragen nach Angaben von AWS auf Regionen in der EU verteilt.

Das Konto liegt auf dem Namen Ihres Unternehmens. Damit liegen auch die Protokolle jeder Aktion des Agenten in Ihrem Konto. Das erleichtert interne Prüfungen, weil Sie nachvollziehen können, was der Agent wann getan hat.

Kaufmännisch sind die Preise netto ausgewiesen. Bei Leistungen an Unternehmen in Deutschland schuldet der Leistungsempfänger die Umsatzsteuer im Reverse-Charge-Verfahren (§ 13b UStG). Das sollte Ihre Buchhaltung vor der Beauftragung wissen.

Für den Mittelstand ist der kleine Zuschnitt ein Vorteil. Sie binden kein Budget für eine breiteEinführung, sondern prüfen einen Prozess, den Sie gut kennen. Wie das in typischen Abläufen aussieht, zeigt die Seite zur KI-Automatisierung für den Mittelstand. Für Fertigungsbetriebe gibt es eine eigene Übersicht zu KI in der Produktion.

Der nächste Schritt ist die Auswahl eines einzigen Prozesses, der häufig vorkommt und dessen Ergebnis sich prüfen lässt. Bereiten Sie für diesen Prozess fünf Dinge vor:

1. Die Basislinie für Zeit, Fehler und Kosten aus Ihrem heutigen System.
2. Eine Sammlung echter Fälle mit dem jeweils richtigen Ergebnis als Grundlage für die Testfälle.
3. Einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, bevor echte Fälle mit personenbezogenen Daten an Svennis gehen, oder anonymisierte Fälle.
4. Mindestschwelle und Ziel für jede Messgröße, schriftlich festgehalten.
5. Die Stellen im Prozess, an denen eine Person freigeben muss.

Das Angebot von Svennis folgt vier Schritten: dem Workshop, dann Pilot Claude A für einen KI-Agenten auf einem Prozess oder Pilot Claude B für Claude Team im ganzen Team, danach der Aktivierung pro Abteilung und schließlich dem monatlichen Betrieb. Beauftragen Sie den Pilot innerhalb von 60 Tagen nach dem Workshop, wird dessen Preis vollständig verrechnet.

Svennis setzt genau diesen Pilot um, mit Testfällen, Freigaben und Protokoll. Die Zahlung erfolgt zu 30 % zum Start, 40 % nach 30 Tagen und 30 % bei der Auswertung. Ablauf, Umfang und veröffentlichte Preise finden Sie auf der Seite KI-Agent mit Claude: Pilot A in 30 Tagen.