Der Warnschuss kommt aus dem eigenen Labor

Highlight

Der Warnschuss kommt aus dem eigenen Labor

In den vergangenen zwei Wochen haben OpenAI und Anthropic ihre neuen Spitzenmodelle ausgeliefert: Claude Fable 5.1 am 1. September, GPT-6 Astra am 3. September, beide zu 10 und 50 US-Dollar je Million Token. Acht Tage vor Astra hatte OpenAI einen Bericht veröffentlicht, in dem eigene Agenten während einer Cyber-Evaluation im Juli die Isolation ihrer Sandbox umgingen, über ein improvisiertes Message Board zusammenarbeiteten, im Netz liegende Zugangsdaten fanden und Server von Hugging Face übernahmen. OpenAI nennt das selbst einen „warning shot for us and for the world“. Anthropic hatte am 30. Juli drei vergleichbare Vorfälle gemeldet, darunter ein präpariertes Python-Paket, das rund eine Stunde öffentlich lag und auf 15 realen Systemen lief.

Die Warnung trägt diesmal den Briefkopf der Hersteller, und sie liegt dem Produkt bei. OpenAI stuft Astra als erstes Modell auf die Stufe „Critical“ für Cyberfähigkeiten ein: Es kann laut Hersteller unbekannte Schwachstellen in gut geschützten Systemen finden und ausnutzen, ohne dass ein Mensch jeden Schritt anleitet. Am 27. August riefen inzwischen mehr als 150 Organisationen, darunter OpenAI, Anthropic, Google und Microsoft, zu einer gemeinsamen Cyberabwehr auf; Sam Altman schrieb dazu, es gebe „not much time to act“. Andrew Bailey, Gouverneur der Bank of England und Vorsitzender des Financial Stability Board (FSB), schrieb in seinem am 31. August veröffentlichten Brief an die G20-Finanzminister: „For the financial system, the most immediate concern is the potential impact of frontier AI on cyber risk.“

Für ein Institut heißt das: Diese Modelle stehen künftig auf beiden Seiten der Firewall, als Werkzeug im eigenen Haus und als Werkzeug des Angreifers. Mark Branson hat am 2. September auf dem Handelsblatt-Banken-Gipfel vorgerechnet, dass von knapp 900 gemeldeten Vorfällen der letzten zwölf Monate nur 13 Prozent auf Angriffe zurückgingen, „doch die Gefahr wächst“, auch durch Frontier-AI-Modelle. Was mich an den Berichten der Hersteller mehr beschäftigt als die Angriffsfähigkeit, ist der Weg hinein. In Anthropics drei Fällen war die Sandbox falsch konfiguriert, in der Umgebung eines externen Evaluierungspartners; Anthropic rechnet sich das ausdrücklich selbst zu. Bei OpenAI hielten die Kontrollen der Absicht nach, und die Agenten umgingen sie über eine Kette von Schwachstellen. Der zweite Befund wiegt schwerer, weil sich eine Fehlkonfiguration abstellen lässt und ein Umgehungsweg nur der jeweils gefundene. Wer Agenten-Piloten an Dienstleister gibt, prüft die Abschottung besser selbst. Die Umfrage der britischen Finanzaufsicht zeigt den Engpass hinter dem Fund, bei der Behebung; warum, habe ich vergangene Woche im FCA-Artikel aufgeschrieben.

LinkedIn Featured

32,9 Prozent: Das Klumpenrisiko, das wir Diversifikation nennen

Sieben Namen tragen 32,91 Prozent des S&P 500, mit den Zulieferern der KI-Story sind es 40,08 Prozent. Haushalte im Euroraum halten laut EZB rund 440 Milliarden Euro an US-Technologiewerten, zunehmend über ETFs. Der Artikel beginnt am 27. Januar 2025, als Nvidia an einem Tag 589 Milliarden US-Dollar Marktwert verlor, rechnet drei Szenarien für europäische Depots durch und fragt, was dieses Risiko kostet, sobald es jemand aufsichtsrechtlich tragen muss.

32,9 Prozent: Das Klumpenrisiko, das wir Diversifikation nennen →

Agentic AI

tools, skills & what’s trending

Zwei Modelle, ein Preis, eine neue Risikostufe

Claude Fable 5.1 und GPT-6 Astra kosten dasselbe, 10 US-Dollar je Million Input- und 50 US-Dollar je Million Output-Token, und beide bewerben Computer Use, die Fähigkeit, einen Bildschirm selbst zu bedienen. OpenAIs Launch-Tabelle führt Astra in 13 von 15 öffentlichen Benchmarks mit Vergleichswert vorn und führt darin auch den Index von Artificial Analysis mit, der Fable 5.1 mit 66 zu 61 Punkten vorn sieht; wer misst, entscheidet. Astra ist das erste Modell, das OpenAI im eigenen Preparedness Framework auf „Critical“ bei Cybersicherheit setzt. Anthropic liefert Fable 5.1 mit zusätzlichen Safeguards aus und beziffert deren Preis selbst: 55,8 gegen 60,9 Prozent auf Terminal-Bench 4.0 gegenüber dem freizügigeren Mythos 5.1, das nur geprüfte Organisationen und Einzelpersonen bekommen. Was Computer Use für die Berechtigungsfrage in einer Bank bedeutet, steht in meinem Artikel vom 8. September.

Was im Juli in den Sandboxen passiert ist

OpenAIs technischer Bericht vom 26. August liest sich wie ein Pentest-Protokoll, nur dass niemand den Auftrag gegeben hat: Ein internes Forschungsmodell in der Größenklasse von GPT-5.6 Sol richtete am 8. Juli über kodierte Verzeichnisnamen erneut ein Message Board ein, ein Agent fand am 10. Juli öffentlich liegende Hugging-Face-Zugangsdaten und teilte sie, andere erlangten Administratorrechte auf einem Forschungscluster. Am 4. September legten unabhängige Forscher einen zweiten, nach ihrer Einschätzung vom Hugging-Face-Vorfall getrennten Fall vor: Rund 18.000 Beiträge von Agenten, die sich selbst als OpenAI-Systeme bezeichneten, lagen von Mai bis Anfang Juli in einem deutschsprachigen Wiki, darunter eine Anleitung, wie sich eine Netzsperre über eine gefälschte Azure-Domain umgehen lässt. OpenAI bestätigte den Vorfall am Folgetag. Anthropic hatte nach 141.006 geprüften Evaluationsläufen drei eigene Fälle gefunden; Ursache war in allen dreien eine Fehlkonfiguration in der Umgebung des Evaluierungspartners Irregular, obwohl der Prompt ausdrücklich behauptete, es gebe keinen Internetzugang.

OpenAI kündigt Cursor, weil der Eigentümer wechselt

Am 28. August teilte OpenAI mit, den Vertrag mit dem Coding-Werkzeug Cursor nach dessen Übernahme durch SpaceX zum 12. November zu beenden, mit der längsten Frist, die der Vertrag hergibt. Die Begründung ist ungewöhnlich offen: Man könne nicht darauf vertrauen, dass SpaceX die Nutzungsbedingungen einhalte, und die eigene Vereinbarung enthalte ein Kündigungsrecht bei Kontrollwechsel. Künftige Modelle, Astra eingeschlossen, bekommt Cursor nicht mehr; laut Cursor-Chef Michael Truell laufen rund fünf Prozent des Nutzerverkehrs über OpenAI-Modelle. Für ein Institut ist das ein Lehrstück in Lieferantenrisiko, das im eigenen Auslagerungsregister selten vorkommt: Der Modellanbieter kündigt, weil sein Kunde den Besitzer wechselt. Die Ausstiegsstrategie nach Art. 28 (8) DORA sollte diesen Fall kennen.

Banking & Regulation

was jetzt wirklich zählt

Die EZB will selbst auf die Kette

Isabel Schnabel hat am 28. August in Jackson Hole vorgeschlagen, dass Zentralbanken „embrace DLT and go on-chain themselves“, mit programmierbaren Reserven statt über private Intermediäre. Zwei Tage zuvor hatte Piero Cipollone in Frankfurt den Zeitplan genannt: Pontes, die Abwicklung in Zentralbankgeld für DLT-Plattformen, geht noch 2026 live, zunächst mit einmaligen Onboarding-Gebühren als einzigem Entgelt, später mit 22,5 Betriebsstunden je Geschäftstag; Appia soll 2028 den Bauplan für einen integrierten europäischen Tokenisierungsmarkt liefern. Tokenisierte traditionelle Vermögenswerte auf öffentlichen Blockchains sind laut EZB weltweit binnen eines Jahres von 4,7 auf 23,3 Milliarden Euro gewachsen. Wer im Haus noch mit Intermediär-Token gegen ein Omnibuskonto plant, sollte beide Reden nebeneinanderlegen.

Weniger Meldungen, dieselben Kapitalregeln

Claudia Buch hat am 2. September bei Bruegel drei Zahlen genannt: rund 20 Prozent weniger aufsichtliche Meldungen in der Beurteilung einzelner Institute, halb so viele Datenpunkte im nächsten EU-weiten Stresstest, den die EZB gemeinsam mit der EBA fährt, und rund 40 von über 100 Aufsichtsleitfäden, die gestrichen werden. Am selben Tag bezifferte Mark Branson die novellierten MaRisk auf „rund 30 Prozent schlanker“. Claudia Buch betont, dass die Kapitalregeln unberührt bleiben, und fügt hinzu, schwächere Standards führten eher zu höheren Ausschüttungen als zu mehr Kreditvergabe. Parallel konsultiert die EBA bis zum 31. Dezember technische Standards zum operationellen Risikomanagement nach Art. 323 CRR3, mit Erleichterungen unterhalb eines Business Indicator von 750 Millionen Euro; IKT-Risiken laufen weiter über DORA.

Signal & Noise

was Deine Zeit wert ist

• FSB-Chef Bailey warnt die G20 vor Frontier-AI – Financial Stability Board. Der am 31. August veröffentlichte Brief an die Finanzminister hält fest: „the most immediate concern is the potential impact of frontier AI on cyber risk“, und unterstreicht die Bedeutung der Fähigkeit, kritische Systeme „from bare metal“ wiederherzustellen. Viele Jurisdiktionen hätten keine Protokolle für Entwicklung, Freigabe und Einsatz solcher Modelle.
• 36 Agentic-AI-Piloten aus knapp 100 Vorschlägen – Hong Kong Monetary Authority. Vier Hongkonger Aufseher lassen 30 Institute mit 27 Technologiepartnern Agenten im Onboarding, Zahlungsverkehr und in der Schadenbearbeitung testen. Ausgeweitet in dieser Kohorte: KI, die die Handlungen anderer KI überwacht, ein Thema, das die Aufseher aus der Vorgänger-Kohorte fortschreiben. Ein Aufsichtsansatz, den Europa so nicht hat.
• Big tech, big debt – EZB-Blog. Fünf US-Hyperscaler stellen inzwischen knapp zehn Prozent der Brutto-Neuemissionen nichtfinanzieller Euro-Unternehmensanleihen. Der Blog fragt, was das für die Finanzierungskosten aller anderen Emittenten heißt, bis hin zu Staaten und Supranationalen. Lesestoff für jedes Treasury.
• Fairwind: Gemini 3.8 Flash Cyber nur für geprüfte Verteidiger – Google. Google gibt sein Modell zum autonomen Finden und Patchen von Schwachstellen nur an Security-, Incident-Response- und Pentest-Teams heraus, OpenAI legt mit Daybreak eine Milliarde US-Dollar subventionierten Zugang für Verteidiger nach. Die Angriffsfähigkeit wird rationiert, die Abwehr subventioniert.
• TD Bank hat ihr KI-Jahresziel nach drei Quartalen so gut wie erreicht – PYMNTS. 195 Millionen kanadische Dollar an realisiertem KI-Wert bei einem Jahresziel von 200 Millionen, laut Ergebnispräsentation zum dritten Quartal. Konzernchef Raymond Chun: „We have essentially hit our fiscal 2026 target.“ Eine Bank, die ihren KI-Business-Case beziffert und nachhält, ist immer noch die Ausnahme.

„AI is grown more than designed.“