Die tägliche Produktion von Nachrichten über künstliche Intelligenz lässt sich kaum noch vollständig überblicken, geschweige denn bewältigen. Neue Modelle, Forschungsarbeiten, Produktankündigungen und Unternehmensmeldungen fluten in die Welt ohne Unterlass. Um das irgendwie handhabbar zu machen, habe ich mir vor einiger Zeit eine App gebaut. Sie zieht mehrere Google-News-Feeds und bewertet, ob die Artikel für mich interessant sind.
Die technische Aufgabe erscheint zunächst überschaubar, ein Artikel wird entweder empfohlen oder aussortiert. In der Praxis muss man aber einen Trade-off eingehen: Ein zu strenger Filter übersieht relevante Beiträge (zu viele False Negatives). Ein zu großzügiger Filter empfiehlt zu viel und verlagert die eigentliche Auswahl lediglich zurück zum Leser (zu viele False Positives).
Zu Beginn der Entwicklung wollte ich vor allem die False Negatives vermeiden: interessante Artikel, die das System irrtümlich verwirft. Weil: Bloß nichts verpassen. Das stellte sich als der falsche Ansatz heraus: Der Aufwand, sich durch die vielen False Positives zu kämpfen, ist zu hoch. Jede zusätzliche Empfehlung kostet Zeit, auch wenn sie sich nach wenigen Absätzen als irrelevant erweist. False Positives – fälschlich empfohlene Artikel – erwiesen sich deshalb als das praktisch größere Problem. Für mich ist im Alltag eine kleine, verlässliche Menge an Empfehlungen wertvoller als eine möglichst vollständige, aber unpräzise Auswahl.
Meine App macht das inzwischen ganz gut. Aus ihrer Nutzung sind mehr als 17.000 persönliche Entscheidungen entstanden – eine ungewöhnlich große Datengrundlage für das Experiment. Dennoch gibt es noch einige False Positives. Deshalb wollte ich wissen, ob die neue Generation spezialisierter Decision Models meinen bisherigen Klassifikator verbessern oder sogar ersetzen kann.
Ein einfaches Modell mit einem entscheidenden Vorteil
Der bisherige Klassifikator beruht auf logistischer Regression. Das ist ein vergleichsweise einfaches statistisches Verfahren: Es lernt aus früheren Entscheidungen, welche Merkmale eher für und welche eher gegen eine Empfehlung sprechen. Als Merkmale dienen Wörter und Wortgruppen aus der Überschrift sowie die Quelle, der Feed und der Veröffentlichungszeitpunkt.
Die Textdarstellung erfolgt bislang mit TF-IDF. Vereinfacht gesagt erhält das Modell damit Informationen darüber, welche Begriffe in einem Titel vorkommen und wie charakteristisch sie im gesamten Datenbestand sind. Es versteht die Bedeutung eines Satzes nicht wie ein Mensch oder (sagen wir es mal so) wie ein LLM. Dafür verfügt es über etwas, das ein allgemeines Sprachmodell zunächst nicht besitzt: eine große Zahl meiner tatsächlichen Auswahlentscheidungen. Und es ist schnell.
Für das Experiment mit den Decision Models standen 17.568 bewertete Artikel zur Verfügung. Mehrere Berichte über dieselbe Nachricht wurden jeweils zu einer Story-Gruppe zusammengefasst. Dadurch entstanden 16.205 unterschiedliche Nachrichten. Rund sieben Prozent davon waren positiv, ich hatte mich also für eine Zusammenfassung entschieden.
Der Klassifikator lernt dabei keine allgemeine Definition journalistischer Relevanz. Er lernt, welche Muster in der Vergangenheit mit meiner konkreten Auswahl verbunden waren. Für eine persönliche Anwendung ist das genau das, was man möchte.
Das Versprechen der Decision Models
Die Schwäche des bisherigen Ansatzes liegt ebenfalls auf der Hand. Ein wortbasiertes Modell kann zwei inhaltlich ähnliche Überschriften für sehr verschieden halten, wenn sie ein anderes Vokabular verwenden. Ein Beitrag über „silent failures in autonomous software systems“ könnte beispielsweise gut zu meinem Interesse an der Zuverlässigkeit von AI-Agenten passen, ohne dieselben Begriffe wie frühere positive Beispiele zu enthalten.
Hier setzen semantische Modelle an: Embedding-Modelle bilden die Bedeutung eines Textes als Zahlenvektor ab. Decision Models gehen noch einen Schritt weiter, sie werden darauf trainiert, vorliegende Informationen im Hinblick auf eine konkrete Entscheidungsfrage zu bewerten und eine Wahrscheinlichkeit auszugeben. OpenAI bietet dafür eine eigene Decisions API an. Liquid AI veröffentlicht Modelle der d1-Familie, Cloudflare die Clef-Familie.
Die Hypothese war: Wenn ein Modell die Bedeutung einer Überschrift besser erfasst, müsste es Artikel auch dann erfolgreich einordnen, wenn ihr Vokabular in den Trainingsdaten noch nicht vorkam.
Alte Nachrichten zum Lernen, neue zum Prüfen
Die Daten wurden chronologisch aufgeteilt. Die ältesten 9.773 Nachrichten dienten dem Training. Die folgenden 3.183 bildeten den Validierungsbestand, auf dem die Modelle miteinander verglichen wurden. Die jüngsten 3.249 blieben für einen möglichen Abschlusstest unangetastet. (Verschiedene Artikel über dieselbe Nachricht verblieben stets im selben Abschnitt. Andernfalls könnte ein Modell eine ältere Fassung derselben Geschichte wiedererkennen, was das Ergebnis künstlich verbessern würde.)
Alle Modelle wurden anhand derselben Informationen über den jeweiligen Artikel verglichen: Überschrift, Quelle, Feed und Veröffentlichungszeitpunkt. Vollständige Artikeltexte oder RSS-Auszüge waren nicht Bestandteil des Versuchs. Das begrenzt zwar die verfügbare semantische Information, bildet aber den tatsächlichen Anwendungsfall ab.
Die Decision Models erhielten zusätzlich mein Interessenprofil als „Instruktion“. Es war ausschließlich aus meinen älteren Trainingsentscheidungen abgeleitet und beschrieb sowohl bevorzugte Themen als auch Inhalte, die ich gewöhnlich aussortiere. Die Zero-Shot-Varianten mussten neue Artikel allein anhand dieses Profils beurteilen. In einem weiteren, gesonderten Personalisierungsversuch erhielt Luna außerdem für jeden Artikel zwölf thematisch ähnliche frühere Entscheidungen: sechs positive und sechs negative Beispiele.
Das Erfolgskriterium war: Mindestens 90 Prozent der empfohlenen Artikel müssen tatsächlich positiv sein. Diese Präzision muss bei wenigstens 20 Empfehlungen erreicht werden, damit einige wenige Zufallstreffer nicht als Erfolg gelten können. Das Kriterium ist bewusst streng, es entspricht dem Ziel, meine Lesezeit zu schützen.
Für die Darstellung fasse ich die getesteten Varianten in fünf Gruppen zusammen:
- die vorhandene logistische Regression mit TF-IDF und Metadaten,
- logistische Regressionen mit den semantischen Embeddings von EmbeddingGemma 2, BGE-M3 und Nomic, jeweils mit und ohne Metadaten,
- die spezialisierten Decision Models Liquid d1-3B, OpenAI GPT-6 Luna und Cloudflare Clef-flash,
- eine personalisierte Luna-Variante, die neben meinem Interessenprofil jeweils sechs ähnliche positive und sechs ähnliche negative Entscheidungen erhielt,
- ein Hybridmodell, das Nomic-Embeddings, Metadaten und den Luna-Score gemeinsam in einer logistischen Regression verwendete.
Ergebnis: Semantisches Verständnis ist nicht gleich Auswahlkompetenz
Die Ergebnisse auf dem Validierungsbestand waren eindeutig:
| Variante | Qualität der gesamten Rangfolge (AP) | Beste Präzision bei mindestens 20 Empfehlungen |
|---|---|---|
| Logistische Regression mit TF-IDF | 26,10 % | 70,00 % |
| Logistische Regression mit Nomic und Metadaten | 29,02 % | 72,73 % |
| Bestes eigenständiges Decision Model | 15,84 % | 30,43 % |
| Personalisiertes Luna mit zwölf Beispielen | 14,85 % | 25,71 % |
| Hybrid aus Nomic, Metadaten und Luna | 30,46 % | 70,00 % |
Die Average Precision, in der Tabelle als AP bezeichnet, bewertet vereinfacht die Qualität der gesamten Rangfolge: Positive Beispiele sollten möglichst weit oben erscheinen. Nach diesem Maß erzielte das Hybridmodell den besten Wert. Der Luna-Score enthielt demnach zusätzliche Information, die von der Regression genutzt werden konnte.
Für die praktische Anwendung ist jedoch vor allem die Spitze der Rangfolge relevant. Dort überzeugte die klassische Kombination aus Nomic-Embeddings, Metadaten und logistischer Regression. Unter ihren zehn höchstbewerteten Artikeln waren acht tatsächlich positiv. Das Hybridmodell erreichte ebenfalls acht von zehn, verbesserte die Präzision bei einer größeren Zahl von Empfehlungen aber nicht. Bei mindestens 20 Empfehlungen sank der beste Wert sogar leicht von 72,73 auf 70 Prozent.
Auch eine statistische Wiederholungsanalyse über einzelne Kalendertage konnte den kleinen Vorteil des Hybrids in der Gesamtrangfolge nicht eindeutig bestätigen. Das Ergebnis lautet nicht, dass Luna keinerlei nützliche Information beiträgt. Es lautet vielmehr, dass diese zusätzliche Information am für die Anwendung entscheidenden Ende der Rangliste keinen belastbaren Nutzen erzeugt.
Keines der Modelle erreichte das vorab festgelegte Ziel von 90 Prozent Präzision. Deshalb blieb der jüngste Testbestand unangetastet. Die berichteten Ergebnisse stammen ausschließlich aus dem vorher festgelegten Validierungsbestand.
Warum der klassische Klassifikator vorn liegt
Die Decision Models verfügen zweifellos über ein breiteres semantisches Verständnis als eine TF-IDF-basierte Regression. Sie lösen jedoch zunächst eine allgemeinere Aufgabe: Passt dieser Artikel plausibel zu einem beschriebenen Interessenprofil?
Tausende persönliche Entscheidungen bilden meine Auswahlgewohnheiten offenbar genauer ab als ein sprachlich formuliertes Interessenprofil und zwölf beigefügte Beispiele.
Hinzu kommt, dass das negative Label skip nicht immer „inhaltlich uninteressant“ bedeutet. Ein Thema kann bereits bekannt, ein Artikel redundant oder der Zeitpunkt ungünstig sein. Diese Entscheidungen sind als Daten nicht vollkommen sauber. Das ist mir leider erst im Rahmen dieses Experiments klar geworden. Aber das ist nun mal Realität der Anwendung: Der Filter soll mein tatsächliches Auswahlverhalten unterstützen, ohne zu kompliziert zu werden.
Das Experiment spricht also nicht gegen semantische Verfahren. Im Gegenteil: Die stärkste Variante kombiniert Nomic-Embeddings mit Metadaten und logistischer Regression. Das Embedding liefert ein besseres inhaltliches Abbild der Überschrift; die Regression übersetzt dieses Abbild mithilfe meiner historischen Entscheidungen in persönliche Relevanz.
Ebenso wenig ist damit entschieden, dass Decision Models für diese Aufgabe ungeeignet sind. Der Versuch beschränkte sich auf Überschriften. Und zwar einfach nur, weil es realistischer ist, am Tag 3000 Überschriften zu verarbeiten als 3000 volle News-Texte, das war meine bewusste Entscheidung aus Performancegründen. Mit RSS-Auszügen oder vollständigen Artikeltexten könnten Decision Models ihren semantischen Vorteil möglicherweise stärker ausspielen. Das wäre dann ein neues Experiment mit anderen Bedingungen – und anderen Kosten.
Für den gegenwärtigen Anwendungsfall ist das Ergebnis klarer: Ein leistungsfähigeres allgemeines Entscheidungsmodell ersetzt nicht automatisch ein einfaches Modell, das auf umfangreichen persönlichen Daten trainiert wurde. Klassisches Machine Learning ist nicht tot! ;)