Ein Gründer rief uns drei Monate nach dem Start wegen unserer Rechnung an. Nicht wegen der Baurechnung, die hatte er Zeile für Zeile freigegeben. Sondern wegen der anderen: der monatlichen Modellrechnung plus der Teilzeitkraft, die die Prüfqueue abarbeitete. Eine Summe, die ihm niemand genannt hatte, weil niemand danach gefragt hatte. Sein Assistent für Support-Entwürfe funktionierte gut. Er kostete im Unterhalt auch grob das Vierfache des Budgets. Der Bau war ein Festpreis gewesen. Der Betrieb war offen, und offen war der Teil, auf den es ankam.
Dieses Gespräch wiederholt sich in fast jedem LLM-Projekt, das wir anfassen. Anbieter nennen den Bau, weil der Bau nennbar ist. Die laufenden Kosten stehen in fünf Zeilen, die in kaum einem Angebot auftauchen: Tokens, Retrieval, Eval-Pflege, Prüfaufwand und die Upgrade-Steuer. Alle fünf gehören in ein Monatsbudget. Die Tabelle unten deckt drei Nutzungsstaffeln mit Planungswerten aus Systemen ab, die wir für Kunden betreiben.
Was der Zähler wirklich misst
Tokens sind die einzige Zeile, mit der jeder rechnet, und selbst die überrascht. Kosten pro Lauf sind selten ein Modellaufruf. Ein Schritt zur Mail-Klassifikation braucht einen, aber eine Agentenschleife braucht mehrere, wobei jeder Schritt das Transkript mit eingefalteten Werkzeugergebnissen erneut sendet. Retrieval legt eine zweite Gebühr darauf: Jeder Lauf zahlt eine Suchrunde gegen Ihren Dokumentenindex und einen längeren Prompt, gefüllt mit dem, was die Suche zurückgab. Einer unserer Kundenflows verbraucht im Schnitt 9.000 Input-Tokens pro Vorgang, wovon die eigentliche Kundenmail unter 400 Wörtern ausmacht. Der Rest sind Anweisungen und beigezogener Kontext. Dieses Verhältnis ist normal, und dort fließt das Geld hin.
Retrieval-Infrastruktur ist die Zeile, die Käufer vollständig vergessen. Irgendwo liegen Ihre Dokumente in durchsuchbarer Form: ein gehosteter Vektorindex, ein Postgres mit pgvector oder eine Embedding-Pipeline, die Dateien bei Änderung neu verarbeitet. In Pilotgröße läuft das auf Gratiskontingenten und vorhandenen Servern mit, faktisch null. Jenseits einiger hunderttausend Chunks, oder wo Zugriffsrechte pro Benutzer gelten müssen, wird daraus ein echtes System mit Hostingtakt und jemandem, der für Neuindexierung zuständig ist. Rechnen Sie mit 0 bis 50 Dollar im Monat in der Pilotstaffel und 200 bis 800 Dollar, wo die Suche trägt. Der Fehlermodus ist nicht die Gebühr. Er ist veraltete Suche, die dem Modell die Preisliste vom Vorquartal füttert, was kein Tokenbudget repariert.
Die Modellwahl multipliziert alles oben. Als grobe Planungsquote nutzen wir täglich: Ein Spitzenmodell kostet pro Token grob eine Größenordnung mehr als ein kleines Modell für dieselbe Aufgabe. Die meisten Workflowschritte brauchen das Spitzenmodell nicht. Klassifikation und Extraktion aus sauberen Layouts laufen nach unserer Erfahrung auf kleinen Modellen, während das große für uneindeutige Fälle und kundensichtbaren Text reserviert bleibt. Diese Zuordnung falsch zu treffen ist der teuerste vermeidbare Fehler im LLM-Betrieb: Spitzenpreise auf jedem Schritt eines hochvolumigen Flows.
Die Arbeitsrechnung neben der API-Rechnung
Hier steht der Teil, der in den meisten Anbieterangeboten fehlt. Jeder Modellschritt in Produktion verlangt wöchentliche menschliche Aufmerksamkeit, und Aufmerksamkeit wird in Stunden bepreist, nicht in Tokens.
Die Prüfqueue ist die größte Arbeitszeile. Unsichere Ergebnisse landen zur Kontrolle bei einem Menschen, bevor sie zählen: eine Maske oder ein geteilter Kanal. Die Besetzung kostet in Pilotgröße täglich 15 bis 30 Minuten und wächst mit Stückzahl und Fehlerquote. Wer sie auslässt, lässt Fehler zum Kunden durch. Wer sie mit jemandem besetzt, der alles ungelesen freigibt, zahlt Stunden für null Schutz. Der geerbte Chatbot-Pilot im Großhandel zählte nach sechs Wochen ohne Verantwortung 400 ungelesene Prüfeinträge, und die Belegschaft war leise zu Telefon und Mail zurückgekehrt, während die API-Rechnung weiterlief.
Prompt-Pflege ist die zweite Zeile. Prompts sind keine Einmal-Artefakte. Die Trefferquote rutscht, wenn sich der Eingabemix verschiebt, wenn sich beigezogene Dokumente ändern und wenn der Anbieter darunter das Modell austauscht. Jemand liest wöchentlich die Ausreißer, schärft Anweisungen nach und bestätigt die Korrektur am Testdatensatz. Rechnen Sie pro Workflow mit einigen Stunden im Monat in Pilotgröße, mehr dort, wo Ergebnisse Kunden sehen.
Eval-Pflege ist die dritte Zeile und die, gegen die sich Teams bis zur ersten stillen Regression sträuben. Ein Testdatensatz aus 50 bis 200 echten Eingaben mit bekannten richtigen Ergebnissen, neu durchlaufen nach jeder Prompt-Änderung und jedem Modell-Upgrade. Der Aufbau kostet ein bis zwei Tage. Das Aktuellhalten kostet einige Stunden im Monat. Derselbe Datensatz verbilligt alles andere: Mit ihm sind Upgrades Routine, ohne ihn ist jede Änderung ein Glücksspiel. Unsere KI-Automatisierungs-Projekte übergeben dieses Setup als Liefergegenstand, weil ein Modellschritt ohne Testdatensatz eine Verbindlichkeit mit API-Schlüssel ist.
Die Upgrade-Steuer
Modellanbieter liefern neue Versionen nach ihrem Kalender, nicht nach Ihrem. Alte Versionen werden abgekündigt, Preise ändern sich, und Verhalten verschiebt sich auf Arten, die kein Changelog vollständig erfasst. Ein Prompt, der auf einer Version sauber lief, kann auf der nächsten messbar schlechter abschneiden. Wir haben einen Klassifikationsschritt über ein einziges Anbieter-Upgrade von 97 auf 91 Prozent Übereinstimmung mit dem Testdatensatz fallen sehen, ohne eine Änderung auf unserer Seite.
Jedes Upgrade heißt darum dieselbe Routine: Eval-Datensatz neu durchlaufen, Differenzen lesen, dort nacharbeiten, wo Werte sanken, und erst nach neuer Validierung umschalten. Rechnen Sie grob mit einem Arbeitstag pro Upgrade und Workflow, zwei- bis viermal im Jahr je nach Anbieter. Wo Ergebnisse Kunden betreffen, kommt eine Schattenphase dazu, in der die neue Version parallel antwortet, während Menschen vergleichen. Nichts davon ist schwer. Alles davon fehlt in den Angeboten, die wir prüfen, weil sie das Modell als feste Abhängigkeit behandeln, wie eine Datenbankversion, die man einmal wählt. Behandeln Sie es als Abhängigkeit, die ein anderer vierteljährlich ändert.
Das Monatsbudget in drei Staffeln
Die Tabelle unten nutzt Planungsspannen aus betriebenen Systemen, Arbeit zu internen Kostensätzen. Ihre Zahlen werden abweichen, die Form nicht: Die API-Zeile wächst mit dem Volumen, während die Arbeitszeilen in Stufen kommen, und Arbeit übersteigt Tokens in jeder Staffel unterhalb sehr hoher Volumina.
| Monatszeile | Pilot: ein Workflow, Hunderte Vorgänge pro Woche | Wachsend: zwei bis drei Workflows, Tausende Vorgänge pro Tag | Skaliert: Kernprozess, 100.000 Läufe plus im Monat | | Modellkosten (API) | 40 bis 120 $ | 300 bis 900 $ | 1.500 bis 5.000 $ | | Retrieval und Hosting | 0 bis 50 $ | 50 bis 200 $ | 200 bis 800 $ | | Prüfaufwand | 8 bis 16 Stunden | 40 bis 80 Stunden | Halbe Stelle aufwärts | | Eval- und Upgrade-Pflege | 2 bis 4 Stunden | 1 bis 2 Tage | 3 bis 5 Tage | | Richtwert gesamt | 400 bis 1.200 $ | 1.500 bis 4.000 $ | 5.000 bis 15.000 $ |
Zwei Zeilen überraschen Käufer am meisten. Erstens der Prüfaufwand in der Pilotstaffel: 8 bis 16 Stunden im Monat übersteigen die API-Ausgaben um ein Vielfaches, und es ist die Zeile, die im Anbieterangebot am ehesten mit null steht. Zweitens der Schritt von Wachsend zu Skaliert, wo aus der Nebenaufgabe eine halbe Stelle wird. Dieser Übergang verdient eine eigene Einstellungsentscheidung, keine leise Anhäufung von Queue-Freitagen.
Lesen Sie die Tabelle als Deckel, nicht als Boden, wenn Ihr Prozess schlichte Automatisierung für die meisten Schritte verträgt. Jeder Schritt, der vom Modell in Regeln wandert, löscht seine Tokentakt, seine Prüfminuten und seinen Anteil an der Upgrade-Pflege dauerhaft. Unser Vergleich von Agenten gegen schlichte Workflows zieht diese Grenze im Detail: Streuung, die Regeln nicht fassen, ist das Einzige, worin ein Modellschritt strikt besser ist. Das billigste LLM-Budget ist ein kleinerer Modell-Fußabdruck, und die billigste Zeile der Tabelle ist der Workflow, der nie ein Modell brauchte.
Vier Hebel, die die Zahl bewegen
Wenn die API-Zeile nach engem Zuschnitt noch schmerzt, wirken nach unserer Erfahrung vier Hebel, sortiert nach Aufwand.
Wiederkehrenden Kontext cachen
Systemanweisungen und Produktkataloge werden standardmäßig mit jedem Aufruf neu gesendet. Anbieter cachen diesen wiederkehrenden Vorspann inzwischen, sodass Sie einmal den vollen Preis zahlen und danach einen Bruchteil. Bei Workloads mit schwerem geteiltem Kontext halbiert das grob die Tokenausgaben für einen Nachmittag Integrationsarbeit. Machen Sie das zuerst.
Nach Schwierigkeit routen
Schicken Sie jeden Vorgang durch das kleine günstige Modell und eskalieren Sie nur unsichere Fälle ans Spitzenmodell. In unseren Bauten sieht das Spitzenmodell 10 bis 20 Prozent der Vorgänge, während die Qualität hält, was die gemischten Stückkosten mehr als halbiert.
Die Retrieval-Tiefe deckeln
Jeder zusätzlich beigezogene Chunk verlängert jeden Prompt in der Schleife. Messen Sie Trefferquote gegen beigezogene Chunkzahl: Die meisten Workflows, die wir stimmen, werden nach drei bis fünf Chunks nicht mehr besser, und alles darüber sind reine Kosten. Setzen Sie den Deckel dorthin, wo die Kurve flach wird, nicht dorthin, wo sie sich sicher anfühlt.
Offline-Arbeit bündeln
Alles, was keine Antwort in Sekunden braucht, gehört in Batch-APIs zu grob halbem Interaktivpreis. Nächtliche Klassifikationen und Berichtsentwürfe sind typische Kandidaten. Einen Workflow in Sofortpfad und Nachtpfad zu teilen ist eine Stunde Entwurf und der leichteste Rabatt überhaupt.
Keiner dieser Hebel ersetzt die Arbeitszeilen. Sie schrumpfen die API-Zeile, schon in den meisten Staffeln die kleinere Hälfte: Tokens sind optimierbar, Aufmerksamkeit ist strukturell.
Erst den Betrieb budgetieren, dann den Bau freigeben
Die Reihenfolge, die wir empfehlen, folgt aus der Tabelle. Bepreisen Sie das Monatsbudget, bevor Sie den Bau unterschreiben, mit Ihren Stückzahlen und den Spannen oben. Wenn die Summe Sie erschreckt, verkleinern Sie zuerst den Modell-Fußabdruck mit weniger Schritten auf Modellen und strikten Retrieval-Deckeln. Wenn sie Sie dann noch erschreckt, gehört der Prozess womöglich in Code. Unsere Aufschlüsselung der MVP- und Produktkosten vertritt von der Bauseite denselben Standpunkt: Am billigsten läuft das System mit den wenigsten beweglichen Teilen, das die Aufgabe noch erledigt.
Und halten Sie ein Szenario in der Tabelle vor: verdoppelte Anbieterpreise oder verdreifachte Volumina. Beides traf Kunden von uns innerhalb eines einzigen Jahres. Eng zugeschnittene Systeme überstanden beides ohne Umbau. Spitzenmodell-überall nicht.
Wenn Sie Zielvolumina vor Augen haben, reicht das für eine echte Zahl. Unsere Termine laufen von Berlin aus, mit Senior-Entwicklern im Rücken, und wir schreiben das Monatsbudget vor dem Kickoff auf, Arbeitszeilen eingeschlossen. Schicken Sie uns Prozess und Volumina, und wir geben die Tabelle mit Ihren Zahlen zurück.
Häufige Fragen
Was kostet der Betrieb einer LLM-Funktion im Monat?
Rechnen Sie bei einem Workflow mit einigen hundert Vorgängen pro Woche mit 40 bis 120 Dollar an Modellkosten plus 0 bis 50 Dollar Infrastruktur, dazu monatlich 8 bis 16 Stunden menschliche Prüfung und Pflege. In Summe landen Sie bei internen Kostensätzen bei rund 400 bis 1.200 Dollar im Monat. Mit dem Volumen wächst die API-Zeile annähernd linear, die Arbeitszeilen wachsen in Stufen.
Was treibt die Betriebskosten außer Tokens?
Die Retrieval-Infrastruktur wie ein Vektorindex, den jemand frisch hält, der Evaluierungs-Testdatensatz, der nach jeder Prompt-Änderung und jedem Modell-Upgrade neu durchlaufen muss, und die Prüfqueue, in der Personal unsichere Ergebnisse kontrolliert. In unserer Lieferpraxis übersteigen die Arbeitszeilen die Tokenzeile in jeder Staffel unterhalb sehr hoher Volumina.
Erzwingen Modell-Upgrades wirklich Mehrarbeit?
Ja. Anbieter ändern Modellverhalten, ohne zu fragen, und ein Prompt, der auf einer Version sauber lief, schneidet auf der nächsten schlechter ab. Jedes Upgrade heißt: Eval-Datensatz neu durchlaufen, Differenzen lesen, dort nacharbeiten, wo Werte sanken. Wer das auslässt, verwandelt stille Drift in sichtbare Fehler beim Kunden. Rechnen Sie pro Upgrade und Workflow grob mit einem Arbeitstag.
Wie senken wir LLM-Laufkosten ohne Qualität zu verlieren?
Wiederkehrenden Kontext cachen statt ihn neu zu senden, einfache Schritte an kleine günstige Modelle geben und das Spitzenmodell für schwere Fälle reservieren, die beigezogene Textmenge pro Prompt begrenzen und Offline-Arbeit in Batch-APIs verlagern. In unseren Bauten halbieren diese vier Hebel die Tokenausgaben bei geeigneten Workloads grob, und das Caching allein trägt meist den größten Teil.
