OpenAIs API-Burggraben

OpenAI hat am Dienstag eine Reihe von Updates rund um ihre APIs vorgestellt, die es Unternehmen erleichtern sollen, eigene AI-Agents mit den neuesten ChatGPT-Modellen zu programmieren:

- The new Responses API⁠, combining the simplicity of the Chat Completions API with the tool use capabilities of the Assistants API for building agents

- Built-in tools including web search⁠, file search⁠, and computer use
⁠
- The new Agents SDK to orchestrate single-agent and multi-agent workflows

- Integrated observability tools⁠ to trace and inspect agent workflow execution

Mein erster Gedanke ging direkt an Anthropic und was das für deren B2B-Business bedeuten könnte. Im Februar schrieb ich Folgendes in Claude, quo vadis?:

Solange Anthropic die Führung beim „Agentic Coding“ behält und weiterhin von vielen auch wegen seines Charakters geschätzt wird, kann die API-Strategie erfolgreich sein. Aber was passiert, wenn die Konkurrenz nicht nur mit Claude gleichzieht, sondern es überholt? Grok 3 hält derzeit mit weniger als zwei Jahren Trainingszeit den Titel für das am schnellsten skalierte Reasoning-Modell und Elon Musk wird alles daran setzen, um diese Geschwindigkeit beizubehalten. Außerdem ist anzunehmen, dass ChatGPT o3 bereits mindestens on par mit Claude Sonnet 3.7 wäre, wenn OpenAI es als eigenständiges Modell veröffentlichen würde (Erzähler: Werden sie nicht). Dann könnte Anthropic schnell in Schwierigkeiten geraten, denn im Gegensatz zu einer bekannten Marke oder einem Produkt, das fest im Alltag von Millionen Nutzern integriert ist, kann man eine API jederzeit austauschen. Besonders OpenAI ist dafür besser aufgestellt, als man denkt.

Tja, nur zwei Wochen später ist es so weit. OpenAI tritt aus dem Schatten heraus und macht Anthropic ernsthafte Konkurrenz im API-Business. Und dieses Mal nicht mit besseren Reasoning-Modellen oder günstigeren Abfragekosten, sondern mit neuen Funktionalitäten. Besonders die neue Responses-API dürfte für viele Entwickler interessant sein, weil sie „stateful“ ist. Das bedeutet, sie behält den Status einer Konversation. Anders gesagt: ChatGPT merkt sich den Chatverlauf und bezieht ihn in seine Antworten ein. Ben Thompson fasst es in seinem letzten Stratechery-Update gut zusammen, warum das so wichtig ist:

First, from a developer perspective, this solves one of the biggest pain points from the Chat Completions API: that API, which has become something of an industry standard, was stateless, which meant that developers not only needed to maintain the state of a current conversation, but they also had to pass an increasingly large amount of context back-and-forth to OpenAI to accomplish any multi-step task, whether initiated by the app or the user. The Responses API, on the other hand, maintains state on OpenAI's servers, dramatically simplifying things for developers.

OpenAI schafft mit seiner Stateful-API und seinen weiteren proprietären Built-in Tools wie Web/File Search und Computer Use einen Burggraben, den es bisher nicht gab. Indem der Verlauf einer Konversation nun auf OpenAIs Server gespeichert wird, sparen sich die Unternehmen Entwicklungsaufwand und Serverkapazitäten. Letztere sind besonders von Bedeutung, wenn man mit größeren Kontextfenstern arbeitet und diese regelmäßig zwischenspeichern und abrufen muss. Wie es beispielsweise bei AI-Agents in der Programmierung, wissenschaftlichen Forschung oder bei Finanzanalysen der Fall ist. Meiner Recherche nach werden diese zusätzlichen Serverkosten aktuell noch von OpenAI getragen oder zumindest nicht direkt weitergegeben. Ich könnte sich ändern, sobald die Responses-API weitreichender genutzt wird und der Wechsel zu einem Anbieter mit Stateless-API (z.B. Claude) kaum noch infrage kommt.

Das soll aber kein Abgesang auf Anthropic sein. Aktuell sind sie mit Claude Sonnet 3.7 noch gut aufgestellt. Sie müssen jedoch eigene Burggräben um ihre APIs ziehen, wenn sie ihre Kunden nicht dauerhaft an OpenAI verlieren wollen. Ihre Abhängigkeit vom B2B-Geschäft könnte jedoch auch eine Stärke sein, die OpenAI aufgrund seines CEOs und der damit verbundenen Unternehmenskultur wohl nie besitzen wird: Fokus. Denn OpenAI jongliert nebenbei bekanntermaßen auch mit Abonnements, Werbung, Browsern, Chips, Robotern und Smartphone-Nachfolgern. Da sieht man schnell den Wald vor lauter Bäumen nicht mehr.