Was ist Structured Output (strukturierte Ausgabe) bei LLMs? JSON-Antworten für KI-Agenten erklärt

Structured Output (strukturierte Ausgabe) ist eine Funktion, die ein Large Language Model dazu zwingt, seine Antwort exakt nach einem vorgegebenen Schema auszugeben – meist als JSON mit definierten Feldern, Datentypen und Regeln. Statt frei formulierten Fließtext liefert das Modell eine maschinenlesbare Datenstruktur, die eine nachgelagerte Software direkt weiterverarbeiten kann, ohne den Text mühsam zu zerlegen.

Für einzelne Chat-Antworten spielt das Format kaum eine Rolle – ein Mensch liest den Text und versteht ihn. Sobald ein LLM aber Teil einer Software-Kette wird, etwa in einem KI-Agenten, braucht das nachfolgende Programm ein verlässliches Format. Genau hier setzt Structured Output an.

Das Problem: freier Text ist unzuverlässig

Ein Large Language Model sagt Wort für Wort das jeweils wahrscheinlichste nächste Token voraus. Ohne Zwang formuliert es also frei – und das ist unberechenbar, wenn man ein bestimmtes Format erwartet.

Ein Beispiel: Sie bitten ein Modell, „ein JSON-Objekt mit score als Zahl zwischen 0 und 1" zurückzugeben. Ohne Kontrolle sind viele Fehlvarianten möglich, wie die Recherche zeigt (DEV Community): Das Modell liefert {"score": "0.85"} (Text statt Zahl), fügt ein zusätzliches Feld hinzu, gibt 85 statt 0.85 aus oder stellt einen Einleitungssatz voran wie „Sure! Here's the JSON:". Jede dieser Abweichungen bringt das nachfolgende Programm zum Stolpern.

Früher versuchte man, solche Ausgaben mit regulären Ausdrücken (Regex) oder Textparsern nachträglich zu reparieren. Das ist fehleranfällig und bricht bei jeder ungewohnten Formulierung. Structured Output ersetzt diese fragilen Nachbearbeitungen durch eine garantierte, prüfbare Datenstruktur (Blck Alpaca).

Drei Stufen der Zuverlässigkeit

In der Praxis unterscheidet man laut Recherche drei Garantiestufen (Blck Alpaca):

1. Nur Prompt (prompt-only): Man bittet das Modell im Prompt, JSON zurückzugeben. Keine Garantie – das Modell hält sich meist, aber nicht immer daran.
2. JSON Mode: Das Modell gibt garantiert gültiges JSON aus – aber nicht zwingend nach Ihrem Schema. Sie bekommen sauber parsbare Daten, aber Feldnamen und Datentypen können abweichen (Agenta-AI).
3. Structured Outputs / constrained decoding: Das Schema wird strikt erzwungen. Das Modell kann gar nicht mehr aus dem definierten Format ausbrechen.

Cohere beschreibt Structured Outputs als Funktion, die die Antwort dazu zwingt, dem vom Nutzer angegebenen Schema zu 100 % zu folgen (Cohere). Wichtig bleibt: Erzwungen wird nur die Form, nicht die inhaltliche Richtigkeit. Ein Feld kann korrekt formatiert und trotzdem inhaltlich falsch sein – das Thema KI-Halluzinationen verschwindet dadurch nicht.

Wie constrained decoding technisch funktioniert

Der entscheidende Unterschied liegt darin, wann das Format geprüft wird. Bei einem reinen Prompt oder auch beim klassischen Function Calling ist das Modell trainiert, einem Schema zu folgen – es tut das wahrscheinlich, aber nicht garantiert. An jeder Token-Position könnte es ein Token wählen, das nicht ins Schema passt (Paul Simmering).

Bei constrained decoding (etwa Structured Outputs) wird die Ausgabe während der Generierung beschränkt: Das System lässt an jeder Position nur solche Tokens zu, die das Schema erlaubt. Verlangt das Schema an dieser Stelle eine Zahl, sind Buchstaben-Tokens gar nicht erst wählbar. Die Recherche nennt zwei verbreitete Ansätze: JSON-Schema-Definitionen, die die Struktur deklarativ vorgeben, und grammar-based decoding, das eine formale Grammatik während der Erzeugung erzwingt (Medium).

Zeitlicher Verlauf bei den Anbietern

Die Technik hat sich in kurzer Zeit etabliert. Laut Recherche führte OpenAI Ende 2023 zunächst den JSON Mode ein; Entwickler merkten aber schnell, dass „gültiges JSON" nicht ausreicht – man brauchte schema-gültiges JSON (TECHSY). Im August 2024 folgte OpenAI mit Structured Outputs im Strict Mode, der constrained decoding nutzt und Schema-Konformität garantiert. Bis 2025/2026 haben laut derselben Quelle alle großen Anbieter denselben Ansatz übernommen – genannt werden unter anderem OpenAI, Google Gemini, Anthropic und Cohere (TECHSY).

Bedeutung für KI-Agenten und AI-Mitarbeiter

Ein KI-Agent arbeitet selten allein, sondern in einer Kette aus Wahrnehmen, Denken und Handeln – siehe KI-Agenten-Loop. Damit ein Agent Werkzeuge aufruft, Daten an ein CRM übergibt oder Ergebnisse an einen anderen Agenten weiterreicht, muss seine Ausgabe berechenbar sein. Ein Feld mit falschem Datentyp bricht sonst die gesamte Automatisierung.

Ein konkretes Beispiel aus dem Vertrieb: Wenn ein AI-Mitarbeiter wie Carl, unser Sales Assistant, einen Lead bewertet, ist ein Fließtext wenig hilfreich. Nützlich ist eine feste Struktur – etwa ein Objekt mit den Feldern firma, score, entscheidungsträger und nächster_schritt. Diese Struktur lässt sich direkt validieren und in die Lead-Qualifizierung einspeisen. Structured Output ist damit eine der stillen, aber wichtigen Voraussetzungen dafür, dass KI-Agenten zuverlässig in bestehende Software-Prozesse eingebunden werden können.

Wichtig bleibt die Absicherung: Da Structured Output nur die Form garantiert, empfiehlt die Recherche eine zusätzliche fachliche Prüfung und eine Wiederholungsstrategie (Retry) für den Fall inhaltlich unplausibler Werte (Blck Alpaca). Für kritische Entscheidungen bleibt zudem der Mensch im Prozess – siehe Human-in-the-Loop.

Häufige Fragen

Was ist der Unterschied zwischen JSON Mode und Structured Outputs?

JSON Mode garantiert, dass die Ausgabe gültiges JSON ist – also überhaupt parsbar. Structured Outputs geht weiter und erzwingt, dass die Ausgabe genau Ihrem Schema entspricht, inklusive Feldnamen und Datentypen. Laut Recherche liefert JSON Mode „valides JSON, aber nicht Ihr Schema", während constrained decoding die Schema-Konformität strikt durchsetzt.

Garantiert Structured Output auch inhaltlich richtige Antworten?

Nein. Structured Output erzwingt nur die Form der Ausgabe, nicht deren inhaltliche Richtigkeit. Ein Modell kann ein Feld korrekt als Zahl formatieren und trotzdem einen falschen Wert eintragen. Deshalb bleiben fachliche Validierung und gegebenenfalls eine Wiederholungsstrategie notwendig.

Wie unterscheidet sich Structured Output von Function Calling?

Beim Function Calling ist das Modell trainiert, einem Schema zu folgen, und tut das wahrscheinlich – aber nicht garantiert. Es könnte an jeder Token-Position abweichen. Bei Structured Outputs wird die Erzeugung technisch beschränkt, sodass das Modell das Format gar nicht verlassen kann. Zudem gibt Structured Output laut Recherche nur die JSON-Struktur zurück, während Function Calling teils Text plus Aufruf mischen kann.

Für wen lohnt sich Structured Output?

Für alle, die LLM-Ausgaben in Software weiterverarbeiten – etwa in Datenpipelines, APIs oder KI-Agenten. Sobald ein Programm auf feste Felder und Datentypen angewiesen ist, spart Structured Output fehleranfällige Nachbearbeitung mit Regex oder Textparsern und macht Automatisierungen stabiler.