Blog · · KI-Benchmarks

Der Rekord, der nur im Heimspiel gilt

OpenAI meldet einen Bestwert gegen Claude Opus 5 und senkt in derselben Woche die Preise um bis zu 80 Prozent. Gemessen wurde auf eigener Infrastruktur.


OpenAI hat bei ARC-AGI-3 einen Bestwert gemeldet, 38,3 Prozent, vor Claude Opus 5 (The Decoder). Gemessen wurde im Heimspiel, mit zwei zusätzlichen API-Einstellungen auf eigener Infrastruktur. Auf dem neutralen Platz, in der offiziellen Testumgebung, die für alle Anbieter gleich sein soll, landet dasselbe Modell bei 7,8 Prozent. ARC Prize hält die eigene Umgebung für anbieterneutral, hat dort aber womöglich eine veraltete Schnittstelle im Einsatz. Das verzieht den Vergleich zusätzlich.

Der zweite Teil der Meldung kommt bei dir an. OpenAI senkt ab dem 30. Juli die Preise, für GPT-5.6 Luna um 80 Prozent, für Terra um 20 (The Decoder). Sol habe selbst dabei geholfen, die Infrastruktur effizienter zu machen. Wer KI-Kosten im Budget stehen hat, rechnet gerade neu. Läuft bei dir eines der Modelle im Betrieb, lohnt ein Blick auf die eigenen Verbrauchszahlen nach dem 30. Juli, weil sich das Verhältnis zwischen den kleinen und den großen Modellen verschiebt. Für die Auswahl zählt neben dem Preis die Leistungszahl, und dafür sind die Rahmenbedingungen der Messung zu berücksichtigen.

Drei Angaben machen so eine Zahl überhaupt prüfbar. In welcher Umgebung wurde gemessen, mit welchen Einstellungen, und wer hat gemessen. Fehlt eine davon, kann keine gültige Vergleichsaussage getroffen werden. Steht so eine Zahl in einem Angebot, frag beim Anbieter nach genau diesen drei Punkten und lass dir die Antwort schriftlich geben. Oft stehen die Angaben schon in der technischen Dokumentation des Herstellers, oft Modellkarte genannt, oder beim Betreiber des Benchmarks selbst. Dort lohnt der erste Blick, bevor die Anfrage überhaupt nötig wird. Zwei Modelle vergleichst du erst, wenn beide Zahlen aus derselben Umgebung stammen.

Gleichzeitig wandern diese Modelle tiefer in die Unternehmen. Cognizant weitet die Partnerschaft mit Anthropic aus und bringt Claude zu seinen Firmenkunden (Anthropic). Anthropic selbst veröffentlicht mit dem Economic Index eine Auswertung dazu, welche Tätigkeiten die Modelle ersetzen und welche sie ergänzen (Anthropic). Für dich heißt das, KI kommt auch ohne deinen eigenen Einkauf in deinen Betrieb, eingebaut in Software und Dienstleistungen, die du längst nutzt, etwa beim IT-Dienstleister, im CRM oder in der Lohnbuchhaltung. Geh die Verträge und Programme durch, die im letzten Jahr dazugekommen sind, und frag bei jedem Anbieter nach, ob ein KI-Modell darin arbeitet und welches.

Mitte Juli stand hier ein Beitrag über einen Agenten, der zu viele Rechte hatte. Bei Microsoft zeigt sich dasselbe Muster heute in groß. Forscher fanden einen Masterkey für Azure Cosmos DB, mit dem sich sämtliche Datenbanken des Dienstes auslesen und verändern ließen, auch die von Microsoft selbst (golem.de). Prüf, welche Daten bei dir an einem einzigen Zugang hängen, denn das weißt du nur, wenn du dir selbst einen Überblick verschaffst.

Zwei weitere Meldungen zeigen, wo die Türen heute offenstehen. In Outlook Web Access genügt das Anzeigen einer Mail, damit JavaScript-Code ausgeführt wird, und russische Akteure nutzen die Lücke bereits (heise Security). Das BSI meldet mehrere Schwachstellen in IBM WebSphere Application Server und in der Liberty-Variante, über die sich Code ausführen und Rechte ausweiten lassen (BSI). In Nordamerika laufen außerdem Angriffe über Microsoft Teams, bei denen sich Anrufer als IT-Support ausgeben und anschließend die Ransomware Chaos installieren (Bleeping Computer). Also wachsam bleiben und nicht vergessen, trau, schau, wem.

Im Teams-Fenster steht der Name des IT-Supports, und die Bitte klingt nach Routine. An dieser Stelle greift keine Firewall. Es entscheidet ein Mensch unter Zeitdruck, der helfen will. Wer hinterher den Schuldigen sucht, bekommt beim nächsten Mal nur eine spätere Meldung, weil niemand gerne beschuldigt wird und sich danach schlecht fühlt oder in Rechtfertigungsdruck gerät. Besser findet und löst ihr das Problem gemeinsam. Mach Menschen zu Helden, nicht zu Buhmännern und Buhfrauen. Mit KI im Arbeitsalltag entscheidet ohnehin jede und jeder im Team täglich mit, was ein System übernehmen darf und was nicht. Sprecht darüber und schafft interne Kommunikationswege, die auch im Notfall tragen.

Europa antwortet unterdessen auf der Größenachse. Die EU-Kommission hat den Bau von bis zu sieben KI-Gigafactories ausgeschrieben, große Rechenzentren für die Modellentwicklung auf dem Kontinent (Tagesschau). Die Grundlage dafür wackelt an anderer Stelle. Bei Halbleitern holt China auf, während die Hersteller weltweit neue Fabriken hochziehen und die Angst vor einer Überproduktion wächst (Tagesschau). Souveränität hängt daran, wer die Bedingungen setzt, unter denen diese Kapazität läuft, und ob wir als Gesellschaft dafür einstehen. Ob die sieben Werke ans Netz gehen, bevor der Chip-Markt kippt, bleibt offen.

Für dich bleiben vier Handgriffe. Erstens, frag bei jeder Leistungszahl nach der Umgebung, in der gemessen wurde, und besteh nötigenfalls auf einer schriftlichen Antwort, bevor du entscheidest. Zweitens, frag deinen IT-Dienstleister, welcher einzelne Zugang bei dir an mehr als ein System gleichzeitig kommt. Gemeint sind der API-Schlüssel einer KI-Anwendung, also der digitale Passwort-Ersatz, mit dem Programme sich gegenseitig Zugriff geben, ein Administrator-Konto oder eine Anmeldung, mit der sich mehrere Programme auf einmal öffnen. Trenne diese Wege anschließend, damit Zugriff und Verantwortung nicht in einer Hand liegen. Drittens, legt eine feste Rückrufnummer fest, intern für die eigene IT und extern für euren Dienstleister, und hängt sie sichtbar aus. Wer im Chat um Zugriff gebeten wird, legt auf und ruft über diese Nummer zurück, weil ein Angreifer den Chat kontrolliert, eure Telefonliste aber nicht. Und viertens, wenn bei dir Outlook Web Access oder WebSphere läuft, gehören die Patches auf die Liste für diese Woche.

Die Preise fallen, die Modelle werden schneller. Was bleibt, ist die Prüfung der Bedingungen. Eine Zahl braucht ihre Testumgebung, ein Zugang seine Reichweite, und im Ernstfall zählt, ob die Rückrufnummer erreichbar ist. Wer sie stellt, macht aus dem Kennen ein Können.

Lieber digital integriert als digital isoliert.

KI-Transparenz nach Art. 50 EU AI Act: Dieser Beitrag entstand mit KI-Unterstützung. Auswahl, Prüfung und Verantwortung: Jörg Schüler.

← Alle Beiträge