Kleine Modell-Studie mit OpenClaw

Seit Anthropic die Claude Max Nutzung für OpenClaw unterbindet, muss man sich ja was einfallen lassen, damit es bezahlbar bleibt (die Kosten nicht von 90 € / Monat auf 2000 € / Monat steigen) und OpenClaw trotzdem noch vergleichbar gute Leistung bringt.

Ich habe daher am Oster-Wochenende eine kleine Modell-Studie gestartet und etliche Modelle durchgetestet. Dabei bin für mich zu einem **überraschenden Sieger** gekommen, einem für mich bisher völlig unbekannten Modell, das bis auf weiteres mein OpenClaw Standard-Modell sein wird.

Die Unterschiede, wie mein OpenClaw mit verschiedenen Modellen gearbeitet hat, waren wirklich gravierend. **Google Gemma 4** und **OpenAI GPT 5.4** haben mich zunächst überzeugt. Aber nur auf den ersten Blick. Die Ergebnisse im Detail waren dann aber niederschmetternd.

Intensiv getestet habe ich:

Claude Sonnet
z.ai GLM 5.1
DeepSeek V3.2
Qwen 3.6 Plus (aktuell kostenlos über OpenRouter)
Mistral Large 3
Gemini 3.1 Pro
Google Gemma 4 (theoretisch lokal nutzbar)
openAI GPT 5.3-Codex
openAI GPT 5.4

Ich habe allen Modellen zunächst mit paar Alltags-Checks getestet (ob es meine Aufgaben in ClickUp findet und Zusammenhänge versteht, E-Mails korrekt lesen und verschicken kann, etc.) und dann jedem Modell jeweils die gleiche Aufgabe gegeben: Eine einfache Landing Page mit den Tools & Skills meiner OpenClaw Instanz zu erstellen. Dafür sollten sie den "Frontend Design" Skill von Peter Steinberger verwenden, was Claude Sonnet (4.5 / 4.6) immer wunderbar gemacht hat. (Die Ergebnisse sind in der Liste oben verlinkt!)

Die Erstellung einer einfachen kleinen Webseite aus einem sehr kurzen Briefing ist zwar nur eine kleine Facette der Arbeit meines KI-Agenten. Mit Claude Sonnet hat das aber immer extrem gut funktioniert. eine Sprachnachricht von mir reichte, damit Elias (mit seinen Hintergrundinformationen aus laufenden Projekten) eine sehr informative und gut aussehende Seite mit wertvollen Informationen erstellen konnte. Aufgrund meiner katastrophalen Testergebnisse mit GPT 5.3 und 5.4 in dieser Disziplin (die mich absolut enttäuscht haben, weil sie geradezu unbrauchbar waren) habe ich diese Testreihe überhaupt begonnen. Daher war diese kleine Aufgabe quasi meine "Benchmark".

**Gemma 4** ist vor allem zu langsam und die GPT-Modelle (OpenAI) scheinen einfach im Ausführen von "kreativen" agentischen Aufgaben mit Tool-Calling ziemlich schlecht zu sein. **GPT 5.3-Codex** war besonders enttäuschend. Es hat ständig Aufgaben nicht ausgeführt, sondern dies nur vorgetäuscht und mich angelogen. 😅 Sehr frustrierende Erfahrung. Ich kann es mir leider noch nicht erklären, woran das lag. Kann mir gar nicht vorstellen, dass das nur am Modell gelegen hat - aber nachdem ich das gewechsel habe, waren die Probleme weg.

Absolut positiv überrascht und geradezu begeistert war ich von den Ergebnissen mit **Qwen 3.6 Plus** (aktuell kostenlos bei OpenRouter). Aber irgendwann wird man gedrosselt und dann wird es furchtbar langsam. Wenn Qwen 3.6 Plus nicht mehr kostenlos ist, werde ich es nochmal testen. Klingt vielleicht merkwürdig, aber ich hoffe, dass dann auch eine höhere Performance und keine Drosselung mehr zu errwarten ist.

Ebenfalls sehr positiv überrascht war ich von **DeepSeek V3.2**, wobei hier auch irgendwann die Geschwindigkeit nachgelassen hat und man in ständiger Angst lebt, dass das Kontextfenster mit nur 128.000 Token zu klein sein könnte. Gerüchten zufolge steht aber DeepSeek 4 kurz vor der Veröffentlichung und soll für agentische KI optimiert sein + ein Kontextfenster von 1 Mio. Token bekommen. Ein riesiges Kontextfenster hat aber auch nicht nur Vorteile, wie ich heute in diesem Video gelernt habe.

Mistral Large 3 liefert auch super Ergebnisse. Als einziges europäisches Modell liefert es echt solide Ergebnisse. Lediglich die Geschwindigkeit hat mich nicht überzeugt. Immer wieder entstanden längere Wartezeiten, bis ich eine Antwort bekommen habe. Im Hintergrund hat es zwar weitergearbeitet, es fühlte sich aber an als ob man geghosted wird. Claude Sonnet war da viel reaktionsfreudiger.

Final am meisten überzeugt hat mich schließlich aber **GLM 5.1** von z.ai. Davon hatte ich bis gestern noch nie gehört, bin dann aber über ein YouTube-Video darauf aufmerksam geworden. Es scheint das ideale Modell für meinen OpenClaw zu sein. Ich finde, dass es große Ähnlichkeit mit Claude Sonnet hat und auf einem ähnlichen Niveau agiert. Und das zu viel geringeren Preisen. Es gibt nämlich bei z.ai noch die GLM Coding Plans, die im Prinzip genauso funktionieren wie Claude Max mit Claude Code. Nur eben ohne dass OpenClaw ausgesperrt wird - und angeblich mit viel höheren Limits.

Mit GLM 5.1 habe ich den Eindruck, dass ich erstmal eine Lösung für das "Modell-Problem" gefunden habe. Die Liste oben ist übrigens meine persönliche Bewertungs-Rangliste. Wenn Geld keine Rolle spielen würde, würde ich immer noch Claude Sonnet einsetzen (oder sogar Claude Opus).

13 comments

Kleine Modell-Studie mit OpenClaw