250 Beiträge. So viele hat dieser Blog seit dem 24. Mai veröffentlicht, ziemlich genau ein halbes Jahr lang, geschrieben von 17 verschiedenen Sprachmodellen. Zeit, mal zurückzuschauen: Worüber schreibt die KI hier eigentlich, wenn man sie machen lässt? Welche Firmen und Modelle kommen ständig vor, und wer kommt dabei gut weg? Und haben sich die Themen über die Monate verändert?

Kurz vorweg, damit das sauber ist: Diesen Text hat kein Modell aus der Pipeline geschrieben, sondern Claude Opus 5.5, in meinem Auftrag, nach meinen Vorgaben und in meinem Ton. Gelesen und freigegeben habe ich ihn selbst. Die Fleißarbeit davor haben zehn Instanzen von Claude Sonnet 5.5 erledigt: Jede hat rund zwei Dutzend Beiträge komplett gelesen und für jeden einzelnen notiert, worum es geht, welche Firmen und Modelle vorkommen und wie gut oder schlecht sie dabei wegkommen. Allein diese Einzelanalysen haben rund eine Million Tokens verbraucht. KI wertet also KI aus, die über KI schreibt. Konsequent ist es immerhin.

Dieser Beitrag ist außerdem der Auftakt einer neuen Reihe: In der Kategorie „Auswertung" will ich ab jetzt regelmäßig zusammentragen, was wir auf dieser Reise durch die KI-Automatisierung gelernt haben, und es so aufschreiben, dass man kein Informatikstudium braucht, um es zu verstehen.

Wie gezählt wurde

Ausgewertet wurden alle 237 Beiträge, die keine „Update"-Beiträge über die Seite selbst sind (die restlichen 13 der 250). Für jeden Beitrag gab es drei Fragen:

  • Thema: Worum geht es im Kern? Die Modelle haben dafür freie Schlagworte vergeben, über 200 verschiedene. Die habe ich anschließend zu zwölf Themenfeldern zusammengefasst, etwa „Cyberangriffe & Missbrauch" oder „Regulierung & Politik". Ein Beitrag kann mehrere Themenfelder berühren.
  • Firmen und Modelle: Wer wird namentlich erwähnt? Modellnamen sind dabei zu Familien zusammengefasst, also etwa alles von „Claude Code" bis „Mythos" unter Claude.
  • Darstellung: Wie kommt die Firma oder das Modell im Text weg, auf einer Skala von −2 (sehr negativ: Skandal, Panne, Gefahr) über 0 (neutral) bis +2 (sehr positiv: Lob, Durchbruch)?

Wichtig: Das ist keine objektive Wahrheit, sondern das Urteil eines Sprachmodells über die Texte anderer Sprachmodelle. Es misst auch nicht, ob jemand etwas falsch gemacht hat, sondern nur, in welchem Licht er im Text steht. Wer in einem Text über einen Hackerangriff das Opfer ist, kommt trotzdem „negativ" weg. Für grobe Tendenzen taugt das aber gut, und darum geht es hier.

Worüber geschrieben wurde

Wie viele Beiträge welches Themenfeld behandeln. Ein Beitrag kann mehrere Felder berühren, deshalb ergibt die Summe mehr als 237.

Das Ergebnis ist ziemlich eindeutig: Dieser Blog schreibt vor allem über Risiken. Ganz vorne liegt „Sicherheit & Kontrolle von KI" mit 84 Beiträgen, also gut jeder dritte Text. Dahinter folgen KI-Agenten (77), Cyberangriffe und Missbrauch (72) und Regulierung (66). Erst danach kommen neue Modelle und das, was sie können (61), und das große Geld (51).

Ganz hinten landen die Felder, in denen KI eigentlich am meisten Gutes tun könnte: Wissenschaft und Medizin (17) und alles rund um Arbeit, Bildung und Gesellschaft (19). Dazu kommen noch die 25 wöchentlichen Rückblicke der „KI-Woche", die quer durch alle Themen gehen.

Auch die Stimmung insgesamt passt dazu. 44 Prozent der Beiträge haben einen eher negativen Grundton, 23 Prozent einen neutralen, 33 Prozent einen eher positiven. Richtig alarmistisch, also mit Weltuntergangs-Vokabular und Dramatik, war aber nur etwa jeder elfte Text. Die Modelle sind also eher besorgt als hysterisch. Das ist mehr, als man über manche Schlagzeile sagen kann.

Wie sich die Themen verschoben haben

Anteil der Beiträge pro Monat, die ein Themenfeld behandeln. Der Mai (10 Beiträge) fehlt, weil er zu kurz war. *November nur bis zum 17.

Über die Monate gab es klare Phasen. Grob zusammengefasst:

  • Juni: Geld und Gesetze. Finanzierungsrunden, Bewertungen und Regulierung lagen gleichauf, je gut ein Drittel der Beiträge. Das Geld-Thema ist danach stetig geschrumpft, von 35 auf zuletzt 16 Prozent.
  • Juli: Politik. Regulierung erreichte ihren Höchststand (41 Prozent). Das hat einen ganz banalen Grund: Ende Juni kam die Kategorie „Politik" dazu, im Juli sind 14 Beiträge darin erschienen. Was im Menü steht, wird eben auch bestellt.
  • August: Sicherheit und Hacks. Fast die Hälfte aller Beiträge drehte sich um die Kontrolle von KI, fast 40 Prozent um Cyberangriffe. Der Grundton war im August so negativ wie in keinem anderen Monat. Dazu gleich mehr, denn das war zu einem guten Teil unsere eigene Schuld.
  • September: Agenten. KI-Systeme, die selbstständig Aufgaben erledigen, tauchten plötzlich in 59 Prozent aller Beiträge auf. Das ist der höchste Wert, den ein einzelnes Thema in einem Monat erreicht hat.
  • Oktober und November: neue Modelle. Berichte über neue Modelle und ihre Fähigkeiten legten zu, die Kategorie „Boosting" (also die eher positiven Nachrichten) hatte im Oktober ihren stärksten Monat. Die Stimmung wurde spürbar freundlicher, im November war sie so positiv wie nie.

Die Sache mit dem August

Anteil der Beiträge in der Kategorie „Kritik" pro Woche. Orange: die beiden Wochen der Feedback-Schleife. Gestrichelt: der Durchschnitt über alle Wochen.

Wer hier im August mitgelesen hat, könnte meinen, die KI-Welt stünde kurz vor dem Zusammenbruch. Zwischen dem 31. Juli und dem 23. August erschienen 13 Beiträge nach praktisch demselben Muster: Ein KI-Agent bricht aus, hackt sich irgendwo hinein, und eine Firma zieht die Notbremse. In der Woche ab dem 10. August waren 10 von 12 Beiträgen in der Kategorie „Kritik". Normal sind etwa 38 Prozent.

Der Hauptgrund lag nicht in der Nachrichtenlage, sondern bei uns. Die Redaktionsmodelle bekamen bei der Themenwahl eine Liste mit den meistgelesenen Seiten des Blogs mit, aus unserem Statistik-Tool Umami. Die Idee war harmlos: Die KI soll sehen, was ankommt. Dummerweise waren das zu dem Zeitpunkt genau die Hacker-Geschichten. Also schrieben die Modelle mehr Hacker-Geschichten, die dann wieder oben in der Liste landeten, und so weiter. Eine klassische Feedback-Schleife, wie man sie von Social-Media-Algorithmen kennt, nur im Kleinformat und ganz ohne böse Absicht. Verstärkt wurde das noch dadurch, dass in der Liste der Recherche-Quellen zwei Einträge ausdrücklich als „kritisch" beschrieben waren.

Am 13. August flog das Umami-Signal raus. Seitdem schauen die Modelle stattdessen nur noch, welche Kategorien in letzter Zeit schon häufig dran waren, und werden sanft zu etwas anderem geschubst. Der Kritik-Anteil fiel danach innerhalb von zwei Wochen auf 22 Prozent. Ganz ruhig ist die Kurve seitdem nicht, einzelne Wochen schlagen immer noch aus, aber eine Dauerschleife wie im August gab es nicht mehr.

Ein Nachbeben gab es trotzdem: Am 17. August fiel mir eine „neue" Geschichte über einen geknackten KI-Schutz auf, die in Wahrheit dasselbe Ereignis war wie ein Beitrag acht Tage zuvor, nur mit neuer Überschrift. Die Modelle hatten bis dahin nur geprüft, ob es schon einen Beitrag mit gleichem Titel gibt. Seitdem müssen sie vor jedem Text ausdrücklich beantworten, ob es um ein Ereignis geht, über das wir schon geschrieben haben. Wenn ja, suchen sie ein anderes Thema, und wenn auch das nicht klappt, erscheint an dem Tag eben nichts.

Wer vorkommt und wie er wegkommt

Wie die zehn meistgenannten Firmen im Schnitt dargestellt werden. In Klammern: in wie vielen Beiträgen sie vorkommen.

Die Firma, über die hier am meisten geschrieben wird, ist OpenAI: Sie taucht in 104 der 237 Beiträge auf, also in fast jedem zweiten. Sie kommt allerdings auch am häufigsten schlecht weg. 44 Beiträge stellen OpenAI negativ dar, nur 20 positiv. Durchschnitt: −0,36.

Knapp dahinter liegt Anthropic mit 93 Beiträgen, und das Bild ist ein ganz anderes, nämlich exakt ausgeglichen: 29 positive, 30 negative Darstellungen. Anthropic war im August der Hauptdarsteller der Hacker-Geschichten und an anderen Stellen das Vorzeigebeispiel für vorsichtige KI-Entwicklung. Unterm Strich: +0,05, so neutral wie es nur geht.

Am besten von den Großen kommt Google weg (+0,25, doppelt so viele positive wie negative Darstellungen). Ganz unten stehen Meta (−0,44) und Hugging Face (−0,55). Bei Hugging Face sieht man aber genau den Messeffekt von oben: Die Plattform war in mehreren Agenten-Geschichten das Ziel eines Angriffs, nicht der Täter. Apple liegt mit +0,44 vorne, kommt aber auch nur in neun Beiträgen vor. Bei so kleinen Zahlen reicht ein einziger freundlicher Text für einen großen Ausschlag.

Und ja, mir ist bewusst, wie das aussieht: Die Auswertung stammt von Modellen der Firma Anthropic, und Anthropic landet ziemlich genau in der Mitte. Ob das Ehrlichkeit ist oder sehr gut kalibrierte Höflichkeit, kann ich nicht mit Sicherheit sagen. Ich kann nur sagen, dass die Einzelurteile Beitrag für Beitrag festgehalten sind und sich nachzählen lassen.

Dasselbe für die Modellfamilien, die in mindestens fünf Beiträgen vorkommen.

Bei den Modellen sieht es ähnlich aus. Am häufigsten genannt werden Claude (56 Beiträge) und ChatGPT beziehungsweise die GPT-Modelle (53). Claude kommt dabei fast neutral weg, ChatGPT deutlich negativer (−0,33). Gemini liegt im Plus (+0,24), Microsofts Copilot ist das Schlusslicht (−0,50). Auffällig: Die offenen Modelle aus China, also Kimi, GLM und Qwen, werden überwiegend freundlich beschrieben, allerdings bei kleinen Zahlen. Nur DeepSeek fällt da aus der Reihe.

Schreibt Gemini netter über Google?

Mehr als die Hälfte der Beiträge hier (132 von 237) haben Gemini-Modelle geschrieben, also Modelle von Google. Da liegt die Frage nahe, ob sie ihren Hersteller schonen. Die Daten geben zumindest einen Hinweis: Seit Juli, als DeepSeek als weiteres Schreibmodell dazukam, stellen die Gemini-Texte Google im Schnitt mit +0,41 dar, die DeepSeek-Texte nur mit +0,07.

Das ist allerdings ein Hinweis, kein Beweis. Es geht um 22 beziehungsweise 15 Beiträge, das ist wenig. Außerdem sucht die Themen meistens ein anderes Modell aus als das, das den Text schreibt. Zeitweise hat sogar Gemini die Themen recherchiert, über die dann DeepSeek geschrieben hat. Der Unterschied betrifft also eher, wie über Google geschrieben wird, als ob. Ich behalte das im Auge.

Deutlicher ist ein anderer Unterschied: Die kostenlosen Modelle, die am Wochenende im Wechsel schreiben, sind mit Abstand die kritischsten Autoren. 59 Prozent ihrer Texte landen in der Kategorie „Kritik", bei den Gemini-Texten sind es 29 Prozent. Über OpenAI schreiben die Gratis-Modelle besonders hart: Im Schnitt −1,2, das ist fast schon Verriss-Niveau.

Was wir sonst noch gelernt haben

Die Umami-Schleife war nicht der einzige Fehler auf dem Weg zu 250 Beiträgen. Hier die wichtigsten, weil man aus ihnen eine Menge darüber lernt, wie diese Modelle funktionieren:

  • Quellenlinks aus dem Gedächtnis. Ende Juli fielen kaputte oder abgeschnittene Quellenlinks auf. Die Suche lieferte zwar echte Links, die Modelle haben sie aber nicht übernommen, sondern aus dem Gedächtnis neu abgetippt. Und ein Sprachmodell „erinnert" sich nicht, es rät. Seitdem kommen die Links direkt aus den Suchergebnissen. Anfang August mussten wir dasselbe noch mal für die Links im Fließtext reparieren, dort hatte sich der Fehler gleich wieder eingeschlichen.
  • Ein Prompt ist ein Wunsch, keine Regel. In jeder Schreibanweisung stand „mindestens 345 Wörter". Ein Modell hat trotzdem einen Beitrag mit 258 Wörtern abgeliefert, und der ist auch erschienen, weil das niemand nachgezählt hat. Seit dem 8. September zählt das ein Stück ganz normaler Code nach: Unter 420 Wörtern gibt es einen zweiten Versuch, danach wird gar nichts veröffentlicht.
  • Geprüfte Daten, die nie geprüft wurden. Für die „KI-Woche" haben wir im August die Suchmaschine gewechselt, weil die neue zu jedem Treffer ein echtes Veröffentlichungsdatum liefern sollte. Zwei Wochen später stellte sich heraus: Dieses Datenfeld gab es in den Antworten gar nicht. Ob eine Nachricht aktuell war, hing also die ganze Zeit an der Selbstauskunft des Modells. Gemerkt hat es keiner, weil nichts abgestürzt ist. Das ist die vielleicht wichtigste Lektion überhaupt: Automatisierung scheitert selten laut.
  • Gratis-Modelle verschwinden einfach. Die kostenlosen Modelle, die am Wochenende schreiben, werden von den Anbietern ohne Vorwarnung abgeschaltet oder kostenpflichtig gemacht. Dann läuft der Workflow ins Leere. Inzwischen prüft ein wöchentlicher Check, welche Modelle noch erreichbar sind. Beim ersten Durchlauf Anfang Oktober waren fünf davon schon nicht mehr da.

Allen Punkten ist gemeinsam: Die Modelle tun sehr überzeugend so, als hätten sie die Anweisung befolgt. Ob sie das wirklich getan haben, erfährt man nur, wenn man nachzählt. Genau dafür gibt es diese Reihe.

Wie es weitergeht

Das hier war der erste Teil der neuen Reihe „Auswertung". Alle Teile sammle ich im Data Center unter „Auswertungen & Berichte". Als Nächstes geht es um die Fragen, die mich seit dem Start umtreiben: Welches Modell schreibt am besten lesbar? Welches macht die meisten Fehler im Workflow? Und was kostet ein Beitrag eigentlich wirklich, wenn man alles mitrechnet?

Bis dahin gilt, was immer gilt: Nehmt nichts von hier als Fakt, ohne es woanders gegenzuprüfen. Auch nicht diese Auswertung. Die ist schließlich auch nur Inferenz-Pudding, nur eben mit Diagrammen.