Was ist MTEB (Massive Text Embedding Benchmark)? Embedding-Modelle objektiv vergleichen

MTEB (Massive Text Embedding Benchmark) ist ein öffentlicher Vergleichsmaßstab, der Embedding-Modelle über viele verschiedene Aufgaben und Datensätze hinweg testet, um ihre Leistung objektiv gegenüberzustellen. In der ursprünglichen Fassung umfasst MTEB 8 Aufgabentypen, 58 Datensätze und 112 Sprachen (ACL Anthology). Statt sich auf ein einzelnes Testszenario zu verlassen, liefert MTEB ein breites Leistungsbild – und macht sichtbar, dass kein einzelnes Modell in allen Aufgaben führend ist.

Wer ein KI-System mit eigener Dokumentenbasis baut, steht früher oder später vor der Frage: Welches Embedding-Modell passt am besten? MTEB ist das gängige Werkzeug, um diese Frage nicht nach Bauchgefühl, sondern anhand vergleichbarer Zahlen zu beantworten.

Warum es einen Benchmark für Embeddings braucht

Embeddings sind numerische Vektoren, die die Bedeutung von Texten abbilden. Sie sind die Grundlage für semantische Suche, Clustering, Klassifikation und für Retrieval-Augmented Generation (RAG). Die Qualität dieser Vektoren entscheidet darüber, ob ein System die richtigen Textstellen findet – oder daneben liegt.

Das Problem: Ein Modell kann bei einer Aufgabe stark sein und bei einer anderen schwach. Frühere Vergleiche stützten sich oft auf wenige Datensätze und ergaben deshalb ein verzerrtes Bild. MTEB wurde entwickelt, um genau das zu vermeiden. Im ursprünglichen Paper wurden 33 Modelle über den gesamten Benchmark getestet, mit dem Ergebnis, dass kein einzelnes Verfahren über alle Aufgaben hinweg dominiert (alphaXiv). Das ist die zentrale Botschaft: Es gibt kein universell bestes Embedding-Modell, nur ein bestpassendes für einen konkreten Anwendungsfall.

Welche Aufgaben MTEB testet

MTEB gliedert sich in acht Aufgabenkategorien, die jeweils unterschiedliche Fähigkeiten eines Modells prüfen (Modal):

• Classification – Zuordnung von Texten zu Kategorien.
• Clustering – Gruppierung ähnlicher Texte ohne vorgegebene Labels.
• Pair Classification – Erkennen, ob zwei Texte in einer Beziehung stehen.
• Reranking – Nachträgliches Sortieren von Suchergebnissen nach Relevanz (siehe Reranker).
• Retrieval – Auffinden relevanter Dokumente zu einer Anfrage.
• Semantic Textual Similarity (STS) – Messen der Bedeutungsähnlichkeit zweier Sätze.
• Summarization – Bewertung von Zusammenfassungen.
• Bitext Mining – Zuordnen sich entsprechender Sätze über Sprachen hinweg.

Jedes Modell erhält für jede Kategorie einen Wert plus einen Gesamtdurchschnitt. Für ein RAG-System, das Wissensfragen beantwortet, zählt vor allem die Retrieval-Spalte; für ein System, das eingehende Nachrichten sortiert, eher die Classification-Werte. Der Gesamtscore ist eine nützliche Kopfzahl, aber er verwischt diese Stärken und Schwächen – wer nur darauf schaut, wählt möglicherweise am eigenen Bedarf vorbei.

Das MTEB-Leaderboard – und wie man es richtig liest

MTEB pflegt ein öffentliches Leaderboard auf Hugging Face, in das Modellentwickler ihre Ergebnisse einreichen können (Hugging Face). Es ist eine gute Anlaufstelle, um eine engere Auswahl aussichtsreicher Modelle zu erstellen – aber es hat Tücken.

Erstens liegen die Durchschnittswerte der Spitzenmodelle oft eng beieinander, und das Leaderboard weist keine Streuung aus. Ein Modell, das minimal vorne liegt, ist nicht automatisch die bessere Wahl (Medium/Lyon-NLP). Zweitens verändert sich das Feld schnell: Ab 2024 haben Modelle mit großen Sprachmodell-Grundgerüsten wie E5-Mistral-7B oder gte-Qwen2-7B die vormals dominierenden Encoder-Modelle eingeholt und teils überholt (Codesota).

Praktisch heißt das: MTEB liefert die Vorauswahl, die eigentliche Entscheidung fällt an weiteren Kriterien. Dazu gehören Latenz (wie schnell erzeugt das Modell Vektoren, siehe Retrieval-Latenz), Vektordimensionen, Kontextlänge, Lizenz und die Sprachabdeckung. Für deutschsprachige Anwendungen im DACH-Raum ist die mehrsprachige Leistung besonders relevant – ein Modell, das im englischen Durchschnitt glänzt, kann bei deutschen Fachtexten schwächeln.

MTEB in der Praxis: Vom Benchmark zur Modellwahl

Ein guter Weg führt in drei Schritten vom Leaderboard zur Entscheidung. Erstens: Anhand von MTEB eine Shortlist von drei bis fünf Kandidaten erstellen, gefiltert nach der relevanten Aufgabe (meist Retrieval) und nach Sprachabdeckung. Zweitens: Diese Modelle auf eigenen Daten testen – denn der entscheidende Punkt ist nicht der öffentliche Durchschnitt, sondern die Frage, welches Modell die richtigen Textabschnitte für den eigenen Datenbestand findet (Codesota). Drittens: Nebenbedingungen wie Latenzbudget, Kosten und Lizenz prüfen.

Dieser Ablauf verzahnt sich mit den übrigen Bausteinen eines Retrieval-Systems: der semantischen Suche, dem Chunking der Dokumente und der Wahl der Vektordatenbank. MTEB adressiert nur den Baustein „Modell"; die Gesamtqualität eines Systems entsteht erst im Zusammenspiel.

Für die AI-Mitarbeiter von scoreprise.AI ist die Modellwahl kein Selbstzweck, sondern eine technische Voraussetzung dafür, dass eine Rolle wie ein Company Expert verlässlich aus dem Firmenwissen antwortet. Statt sich auf eine einzelne Bestenliste zu verlassen, prüfen wir Kandidaten an den konkreten Daten und Sprachen des jeweiligen Anwendungsfalls – die MTEB-Werte sind dabei der Ausgangspunkt, nicht das Endergebnis.

Häufige Fragen

Was misst MTEB genau?

MTEB misst die Leistung von Embedding-Modellen über acht Aufgabenkategorien hinweg – darunter Retrieval, Klassifikation, Clustering, Reranking und semantische Ähnlichkeit. In der Ursprungsfassung deckt der Benchmark 58 Datensätze und 112 Sprachen ab. Jedes Modell erhält Einzelwerte je Kategorie und einen Gesamtdurchschnitt, sodass sich Stärken und Schwächen differenziert ablesen lassen.

Reicht der MTEB-Gesamtscore für die Modellwahl?

Nein. Der Gesamtscore ist eine nützliche Übersicht, verwischt aber die aufgabenspezifischen Unterschiede. Ein Modell mit hohem Durchschnitt kann bei genau der Aufgabe schwach sein, die für Ihr Projekt zählt. Nutzen Sie MTEB deshalb, um eine Shortlist zu bilden, und testen Sie die Kandidaten anschließend auf Ihren eigenen Daten und in Ihrer Sprache.

Für welche Anwendungen ist MTEB besonders relevant?

Vor allem für Systeme, die auf semantischer Suche und Retrieval-Augmented Generation aufbauen – etwa Wissensassistenten, Dokumentensuche oder embeddingsbasierte Suche im Vertrieb. Dort entscheidet die Embedding-Qualität direkt darüber, ob die richtigen Textstellen gefunden werden. Für solche Fälle ist die Retrieval-Kategorie im Leaderboard aussagekräftiger als der Durchschnitt.

Wie oft ändert sich das MTEB-Leaderboard?

Recht häufig, weil laufend neue Modelle erscheinen. Seit 2024 haben Modelle mit großen Sprachmodell-Grundgerüsten den Stand der Technik spürbar verschoben. Prüfen Sie das Leaderboard deshalb zum Zeitpunkt Ihrer Entscheidung neu und verlassen Sie sich nicht auf ältere Vergleiche.

Gibt es MTEB auch für nicht-englische Sprachen?

Ja. MTEB deckt in der Grundfassung 112 Sprachen ab, und es existieren länderspezifische Varianten sowie mehrsprachige Erweiterungen. Für deutschsprachige Anwendungen sollten Sie gezielt auf die mehrsprachige beziehungsweise deutsche Leistung eines Modells achten, da starke englische Werte nicht automatisch gute Ergebnisse auf deutschen Fachtexten bedeuten.