Was ist Chain-of-Thought-Prompting? Schrittweises Denken bei LLMs erklärt

Chain-of-Thought-Prompting (kurz CoT, deutsch „Gedankenkette") ist eine Technik aus dem Prompt Engineering, bei der man ein großes Sprachmodell anweist, seine Zwischenschritte offenzulegen, bevor es eine endgültige Antwort gibt. Statt direkt zum Ergebnis zu springen, arbeitet das Modell die Aufgabe in einer nachvollziehbaren Reihe logischer Schritte ab. Das verbessert vor allem die Qualität bei komplexen, mehrstufigen Aufgaben wie Rechen- oder Logikproblemen. CoT verändert das Modell nicht – es ist reine Formulierungssache im Prompt und funktioniert mit bestehenden Modellen (AWS).

Woher der Begriff kommt

Der Begriff geht auf eine Arbeit von Jason Wei und Kollegen aus dem Jahr 2022 zurück: „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (arXiv). Die Autoren zeigten, dass Sprachmodelle deutlich besser mit komplexen Aufgaben umgehen, wenn man sie dazu bringt, eine Reihe von Zwischenschritten – die „Gedankenkette" – zu erzeugen. Das Paper wurde seither zehntausendfach zitiert und gehört zu den einflussreichsten Arbeiten im Bereich Prompt-Techniken (OpenReview).

Eine zentrale Beobachtung: Der Effekt tritt erst bei ausreichend großen Modellen deutlich zutage. Google berichtet, dass Sprachmodelle etwa ab einer Größenordnung von rund 100 Milliarden Parametern von der Technik profitieren – bei kleineren Modellen bringt sie kaum Verbesserung (Google Research). Diese Eigenschaft nennt man eine „emergente" Fähigkeit: Sie entsteht erst ab einer bestimmten Modellgröße.

Wie CoT funktioniert

Ohne CoT gibt ein Modell oft nur das Endergebnis aus – und liegt bei mehrstufigen Aufgaben häufiger daneben. Mit CoT wird das Modell angehalten, den Lösungsweg auszuschreiben. IBM beschreibt CoT als eine Technik, die das Modell „durch eine kohärente Reihe logischer Schritte" führt (IBM).

Ein einfaches Beispiel: Man fragt ein Modell, wie hoch der Wellengang in zwei Tagen ist, wenn er heute 1 bis 2 Fuß beträgt, morgen 2 Fuß größer wird und am Tag danach nochmals 1 Fuß zunimmt. Ohne Gedankenkette rät das Modell eher eine Zahl. Mit CoT rechnet es sichtbar: heute 2 Fuß, morgen 4 Fuß, übermorgen 5 Fuß (Medium). Der Vorteil ist doppelt: Das Ergebnis wird zuverlässiger, und der Weg dorthin ist für Menschen nachprüfbar.

Varianten der Technik

Es gibt mehrere gängige Formen von CoT:

• Few-Shot-CoT: Man gibt dem Modell im Prompt ein oder mehrere Beispiele, in denen der Lösungsweg vollständig ausgeschrieben ist. Das Modell übernimmt dieses Muster für die neue Aufgabe. So wurde CoT ursprünglich vorgestellt (arXiv).
• Zero-Shot-CoT: Man fügt der Frage schlicht eine Aufforderung wie „Denke Schritt für Schritt" hinzu, ohne Beispiele. Auch das genügt oft, um die Zwischenschritte auszulösen.
• Musterbasierte Ansätze: Neuere Arbeiten wählen Beispiele nicht nur nach Ähnlichkeit der Frage aus, sondern nach dem zugrunde liegenden Denkmuster, um die Qualität weiter zu erhöhen (arXiv).

Wichtig ist: CoT ändert die Gewichte des Modells nicht. Es ist keine Trainingsmethode, sondern eine Art, den Prompt zu formulieren – und unterscheidet sich damit klar von Ansätzen wie Fine-Tuning oder RAG.

Wo CoT hilft – und wo nicht

CoT lohnt sich bei Aufgaben mit mehreren Denkschritten: Textaufgaben mit Rechnung, logische Schlüsse, Alltagswissen mit Zwischenschritten. Bei einfachen Faktenfragen bringt die Technik dagegen wenig und macht Antworten nur länger.

Zwei Grenzen sollte man kennen. Erstens: Ein ausgeschriebener Denkweg ist keine Garantie für Korrektheit. Das Modell kann plausibel klingende, aber falsche Zwischenschritte erzeugen – ein sichtbarer Weg schützt also nicht automatisch vor Halluzinationen. Zweitens: Der Effekt hängt an der Modellgröße; kleine Modelle profitieren kaum (Google Research).

Einordnung: CoT bei AI-Mitarbeitern

Für AI-Mitarbeiter ist schrittweises Denken dann relevant, wenn eine Rolle mehrstufige Entscheidungen treffen muss – etwa bei der Lead-Qualifizierung, wo mehrere Kriterien nacheinander geprüft und gewichtet werden. Ein sichtbarer Denkweg erleichtert außerdem die Kontrolle durch Menschen: Wer die Zwischenschritte sieht, kann prüfen, ob die Rolle richtig geschlussfolgert hat – ein Gedanke, der eng mit dem Prinzip Human-in-the-Loop zusammenhängt.

In der Praxis ist CoT selten die alleinige Antwort. Es wird meist mit anderen Bausteinen kombiniert – etwa mit Faktenabruf über Retrieval-Augmented Generation, damit die Zwischenschritte auf belegten Daten aufbauen statt auf reinem Modellwissen.

Häufige Fragen

Was ist der Unterschied zwischen Chain-of-Thought und Prompt Engineering?

Chain-of-Thought ist eine einzelne Technik innerhalb des Prompt Engineering. Prompt Engineering ist der Oberbegriff für das Gestalten von Eingaben an ein Sprachmodell. CoT ist eine bestimmte Methode daraus, die gezielt Zwischenschritte auslöst.

Braucht man dafür Beispiele im Prompt?

Nicht zwingend. Beim Few-Shot-CoT gibt man ausgeschriebene Beispiele mit, beim Zero-Shot-CoT genügt eine Aufforderung wie „Denke Schritt für Schritt". Beide Varianten funktionieren; Beispiele liefern in der Regel stabilere Ergebnisse, kosten aber mehr Platz im Prompt.

Funktioniert CoT mit jedem Sprachmodell?

Nein, der Nutzen hängt stark von der Modellgröße ab. Google berichtet, dass der Effekt vor allem bei sehr großen Modellen ab etwa 100 Milliarden Parametern deutlich wird. Bei kleinen Modellen bringt die Technik oft kaum Verbesserung.

Garantiert ein sichtbarer Denkweg eine richtige Antwort?

Nein. Das Modell kann Zwischenschritte erzeugen, die überzeugend wirken, aber inhaltlich falsch sind. Ein ausgeschriebener Weg erhöht die Nachvollziehbarkeit und oft die Trefferquote, ersetzt aber keine Prüfung des Ergebnisses.

Wann sollte man CoT lieber nicht einsetzen?

Bei einfachen Faktenfragen ohne mehrere Denkschritte bringt CoT wenig und verlängert nur die Antwort. Sinnvoll ist die Technik vor allem bei Aufgaben mit Rechnung, Logik oder mehreren aufeinander aufbauenden Schlüssen.