Welches LLM für Hermes Agent? Open­Rou­ter, Ollama & Claude im Vergleich

Ein Large Language Model (LLM) ist die zentrale Reasoning Engine des Hermes Agent. Es ver­ar­bei­tet An­wei­sun­gen, bewertet Zwi­schen­er­geb­nis­se, ent­schei­det über den nächsten Ar­beits­schritt und erzeugt struk­tu­rier­te Tool-Aufrufe. Die Qualität, Kon­text­län­ge und Tool-Calling-Zu­ver­läs­sig­keit des gewählten Modells bestimmen deshalb un­mit­tel­bar, wie stabil und autonom Hermes komplexe Aufgaben ausführt.

Welche An­for­de­run­gen muss ein Hermes Agent-LLM erfüllen?

Nicht jedes Chat-Modell eignet sich au­to­ma­tisch für einen autonomen Agenten. Während ein einfacher Chatbot häufig nur eine Frage und eine Antwort ver­ar­bei­tet, führt der Hermes-Agent basierend auf LLMs mehr­stu­fi­ge Abläufe aus. Das Modell plant eine Aktion, ruft ein Werkzeug auf, erhält ein Ergebnis, bewertet dieses Ergebnis und ent­schei­det an­schlie­ßend über den nächsten Schritt.

Für diesen Ablauf sind vor allem zwei Ei­gen­schaf­ten ent­schei­dend:

1. ein aus­rei­chend großes Kon­text­fens­ter,
2. eine zu­ver­läs­si­ge Un­ter­stüt­zung für struk­tu­rier­tes Tool-Calling.

Größe des Kon­text­fens­ters

Das so­ge­nann­te Kon­text­fens­ter gibt an, wie viele Tokens ein Modell innerhalb eines Vorgangs be­rück­sich­ti­gen kann. Tokens sind kleine Text­bau­stei­ne. Ein Token ent­spricht je nach Sprache und Inhalt ungefähr einem Wortteil, einem kurzen Wort oder einem Satz­zei­chen.

Zum Kontext von Hermes gehören nicht nur Ihre ur­sprüng­li­che Aufgabe und die bis­he­ri­gen Antworten. Zu­sätz­lich benötigen die Sys­tem­an­wei­sun­gen, die Be­schrei­bun­gen sämt­li­cher ver­füg­ba­rer Werkzeuge, geladene Skills, ge­spei­cher­te In­for­ma­tio­nen, Zwi­schen­er­geb­nis­se und Tool-Ausgaben Platz im Kon­text­fens­ter. Hermes Agent verlangt deshalb ein Modell mit einer Kon­text­län­ge von min­des­tens 64.000 Tokens. Modelle mit kleineren Fenstern werden beim Start abgelehnt, weil sie nicht genügend Ar­beits­spei­cher für mehr­stu­fi­ge Tool-Workflows be­reit­stel­len.

Für den prak­ti­schen Betrieb sollten Sie möglichst nicht genau an dieser Grenze planen. Eine Kon­fi­gu­ra­ti­on mit etwas Reserve oberhalb von 64.000 Tokens ist sinnvoll. Noch besser eignet sich ein Modell mit 128.000 Tokens oder mehr. Hermes kann lange Un­ter­hal­tun­gen zwar au­to­ma­tisch kom­pri­mie­ren. Diese Kom­pri­mie­rung ersetzt jedoch kein aus­rei­chend großes Aus­gangs­fens­ter. Sie soll lange Sitzungen sta­bi­li­sie­ren und nicht ein grund­sätz­lich un­ge­eig­ne­tes 8K- oder 32K-Modell kom­pen­sie­ren.

Ist der tat­säch­lich ver­füg­ba­re Kontext zu klein, gehen ältere In­for­ma­tio­nen während des Ablaufs verloren oder müssen zu früh zu­sam­men­ge­fasst werden. Das Modell kann dann bei­spiels­wei­se einen bereits aus­ge­führ­ten Schritt wie­der­ho­len, ein Tool-Ergebnis falsch zuordnen oder die ur­sprüng­li­che Ziel­set­zung aus den Augen verlieren.

Tool-Calling

Tool-Calling be­zeich­net die Fähigkeit eines LLMs, nicht nur normalen Text aus­zu­ge­ben, sondern einen struk­tu­rier­ten Funk­ti­ons­auf­ruf zu erzeugen. Das Modell kann bei­spiels­wei­se ent­schei­den, dass es eine Datei lesen, einen Ter­mi­nal­be­fehl ausführen oder eine Websuche starten muss. Ein ver­ein­fach­ter Tool-Aufruf kann intern etwa so aussehen:

{
    "name": "web_search",
    "arguments": {
        "query": "aktuelle Hermes Agent Dokumentation"
    }
}

Hermes erkennt diesen struk­tu­rier­ten Aufruf, führt das an­ge­ge­be­ne Werkzeug aus und sendet das Ergebnis zurück an das Modell. An­schlie­ßend bewertet das Modell das Resultat und ent­schei­det, ob weitere Aktionen er­for­der­lich sind.

Gibt ein Modell den gleichen Inhalt lediglich als normalen Text aus, wird das Werkzeug nicht au­to­ma­tisch aus­ge­führt. Native oder sauber im­ple­men­tier­te Tool-Calling-Un­ter­stüt­zung ist deshalb we­sent­lich stabiler als Modelle, die lediglich dazu auf­ge­for­dert werden, JSON-ähnlichen Text zu erzeugen. Claude un­ter­stützt de­fi­nier­te Tools über struk­tu­rier­te tool_use-Blöcke, während OpenAI-kom­pa­ti­ble Server ent­spre­chen­de Funk­ti­ons­auf­ru­fe über die Felder tools, tool_choice und tool_calls abbilden.

Ein großes Kon­text­fens­ter allein reicht somit nicht aus. Ein Modell kann 128.000 Tokens ver­ar­bei­ten und dennoch un­ge­eig­net sein, wenn es häufig falsche Funk­ti­ons­na­men erzeugt, Pflicht­pa­ra­me­ter vergisst oder Tool-Aufrufe und normale Antworten mit­ein­an­der vermischt.

Cloud-Betrieb: Open­Rou­ter oder direkte Anbieter-API?

Für den Cloud-Betrieb stehen zwei grund­sätz­li­che Wege zur Verfügung. Sie können Hermes entweder über einen Modell-Ag­gre­ga­tor wie Open­Rou­ter mit ver­schie­de­nen Modellen verbinden oder die API eines Her­stel­lers wie Anthropic direkt verwenden.

Open­Rou­ter: viele Modelle über einen API-Key

Open­Rou­ter stellt eine ein­heit­li­che API für über 400 Modelle ver­schie­de­ner Her­stel­ler bereit. Un­ter­stütz­te Modelle lassen sich unter anderem nach Kon­text­län­ge, Preis, Ge­schwin­dig­keit und Tool-Calling-Fähigkeit filtern.

Der größte Vorteil besteht in der Fle­xi­bi­li­tät. Sie benötigen nur einen Open­Rou­ter-API-Key und können an­schlie­ßend bei­spiels­wei­se zwischen Claude-, Qwen-, Gemini-, Llama- oder DeepSeek-Modellen wechseln. Dadurch können Sie ein leis­tungs­star­kes Modell für schwie­ri­ge Aufgaben und ein güns­ti­ge­res Modell für einfache Hin­ter­grund­ar­bei­ten verwenden. Open­Rou­ter kann Anfragen außerdem auf un­ter­schied­li­che Betreiber eines Modells verteilen. Die Auswahl lässt sich nach Preis, Durchsatz oder Latenz sortieren. Sie können bestimmte Provider be­vor­zu­gen, un­er­wünsch­te Provider aus­schlie­ßen und auf Endpunkte mit Zero Data Retention be­schrän­ken.

Eine einfache Hermes-Kon­fi­gu­ra­ti­on kann fol­gen­der­ma­ßen aussehen:

model:
    provider: openrouter
    default: anthropic/claude-sonnet-5
provider_routing:
    sort: latency
    require_parameters: true
    data_collection: deny

require_parameters: true ist für Agenten besonders sinnvoll. Damit soll Open­Rou­ter nur Provider verwenden, die alle be­nö­tig­ten Parameter des Aufrufs un­ter­stüt­zen. Dazu können bei­spiels­wei­se Tool-Calling oder struk­tu­rier­te Ausgaben gehören.

Den API-Key speichern Sie nicht direkt in dieser Datei, sondern in ~/.hermes/.env:

OPENROUTER_API_KEY=Ihr_OpenRouter_API_Key

Der Nachteil von Open­Rou­ter liegt in der zu­sätz­li­chen Ver­mitt­lungs­ebe­ne. Die genaue Latenz und das Verhalten können sich je nach aus­ge­wähl­tem Backend verändern. Außerdem müssen Sie bei sensiblen Daten be­rück­sich­ti­gen, dass neben Open­Rou­ter auch der tat­säch­lich aus­füh­ren­de Modell-Provider Teil der Ver­ar­bei­tungs­ket­te sein kann.

Direkte Provider-APIs: Modelle ohne zwi­schen­ge­schal­te­ten Ag­gre­ga­tor anbinden

Statt Hermes über einen Modell-Ag­gre­ga­tor wie Open­Rou­ter zu betreiben, können Sie das Framework auch direkt mit der API eines Mo­dell­an­bie­ters verbinden. Zu den möglichen Providern gehören bei­spiels­wei­se Anthropic, OpenAI oder Google. Bei einer solchen Di­rekt­an­bin­dung sendet Hermes seine Anfragen un­mit­tel­bar an den aus­ge­wähl­ten Anbieter. Sie benötigen daher einen eigenen Account beim je­wei­li­gen Provider, einen passenden API-Schlüssel und ge­ge­be­nen­falls ein dort ein­ge­rich­te­tes Ab­rech­nungs­mo­dell.

Die Kon­fi­gu­ra­ti­on wird auch hier in der zentralen config.yaml vor­ge­nom­men. Welcher Pro­vi­der­na­me und welche Mo­dell­be­zeich­nung ein­ge­tra­gen werden müssen, hängt vom gewählten Anbieter ab. Eine ver­ein­fach­te Kon­fi­gu­ra­ti­on kann bei­spiels­wei­se fol­gen­der­ma­ßen aussehen:

model:
    provider: anthropic
    default: claude-sonnet-5

Der zu­ge­hö­ri­ge API-Schlüssel sollte auch hier nicht direkt in der Kon­fi­gu­ra­ti­ons­da­tei stehen.

Der wich­tigs­te Vorteil einer direkten Provider-API ist die klarere In­fra­struk­tur. Sie wissen genau, bei welchem Un­ter­neh­men die Mo­dell­an­fra­ge ver­ar­bei­tet wird, welche Preise gelten und welche Da­ten­schutz- be­zie­hungs­wei­se Auf­be­wah­rungs­be­din­gun­gen zu beachten sind. Da keine zu­sätz­li­che Ver­mitt­lungs- und Routing-Ebene vorhanden ist, kann eine Di­rekt­an­bin­dung außerdem für gleich­mä­ßi­ge­re Ant­wort­zei­ten sorgen. Sie ist jedoch nicht au­to­ma­tisch bei jeder Anfrage schneller als Open­Rou­ter. Die tat­säch­li­che Latenz hängt weiterhin vom aus­ge­wähl­ten Modell, der Länge des Kontexts, der Aus­las­tung des Providers und dem Standort der Server ab.

Ein Nachteil der direkten Anbindung ist die geringere Fle­xi­bi­li­tät. Möchten Sie ein Modell eines anderen Anbieters verwenden, benötigen Sie häufig einen weiteren Account, einen neuen API-Schlüssel und eine an­ge­pass­te Hermes-Kon­fi­gu­ra­ti­on. Auch au­to­ma­ti­sche Wechsel zwischen ver­schie­de­nen Mo­dell­an­bie­tern müssen Sie selbst über Fallback-Regeln ein­rich­ten.

Direkte Provider-APIs eignen sich deshalb vorrangig für pro­duk­ti­ve An­wen­dun­gen, bei denen ein be­stimm­tes Modell bereits feststeht und Kosten, Da­ten­schutz, Support sowie tech­ni­sches Verhalten möglichst genau kon­trol­liert werden sollen. Open­Rou­ter ist dagegen meist prak­ti­scher, wenn Sie ver­schie­de­ne Modelle ver­glei­chen, häufig wechseln oder mehrere Anbieter über eine einzige Schnitt­stel­le absichern möchten.

Lokaler Betrieb mit Ollama, vLLM und LM Studio

Beim lokalen Betrieb des Hermes-Agenten mit einem LLM werden die Mo­dell­be­rech­nun­gen auf eigener Hardware oder einem selbst ver­wal­te­ten Server aus­ge­führt. Ihre Prompts und Mo­dell­ant­wor­ten müssen dann nicht an einen externen LLM-Anbieter über­tra­gen werden. Das ist besonders in­ter­es­sant für interne Dokumente, Quellcode, Kun­den­da­ten oder Offline-An­wen­dun­gen.

Ollama: der ein­fachs­te Einstieg in lokale Modelle

Ollama eignet sich besonders für Ein­stei­ge­rin­nen und Ein­stei­ger. Die Anwendung lädt Modelle herunter, startet sie lokal und stellt einen OpenAI-kom­pa­ti­blen Endpunkt bereit. Hermes kann diesen Endpunkt unter http://localhost:11434/v1 an­spre­chen.

Ein ge­eig­ne­tes Modell lässt sich fol­gen­der­ma­ßen laden:

ollama pull qwen3-coder:30b

An­schlie­ßend wird Ollama mit einem aus­rei­chend großen Kon­text­fens­ter gestartet:

OLLAMA_CONTEXT_LENGTH=65536 ollama serve

In Hermes tragen Sie den lokalen Endpunkt ein:

model:
    provider: custom
    default: qwen3-coder:30b
    base_url: http://localhost/v1
    context_length: 65536

Die Angabe in der Hermes-Kon­fi­gu­ra­ti­on in­for­miert Hermes darüber, mit welchem Kon­text­bud­get es rechnen soll. Sie ver­grö­ßert nicht au­to­ma­tisch das vom Ollama-Server be­reit­ge­stell­te Fenster. Deshalb muss die Kon­text­län­ge zu­sätz­lich ser­ver­sei­tig über OLLAMA_CONTEXT_LENGTH oder über eine Ollama-Mo­dell­da­tei gesetzt werden. Über den OpenAI-kom­pa­ti­blen Chat-Endpunkt lässt sich dieser Wert nicht nach­träg­lich erhöhen. Mit folgendem Befehl kon­trol­lie­ren Sie, welches Kon­text­fens­ter tat­säch­lich geladen wurde:

ollama ps

Ollama un­ter­stützt Tool-Calling über seine OpenAI-kom­pa­ti­ble API. Das aus­ge­wähl­te Modell muss dafür jedoch selbst ein ge­eig­ne­tes Tool-Calling-Format besitzen. Qwen-3-, Llama-3.x-, Mistral- und Hermes-Modelle gehören zu diesen Mo­dell­fa­mi­li­en.

vLLM: leis­tungs­fä­hi­ges Self-Hosting für GPU-Server

vLLM richtet sich stärker an pro­fes­sio­nel­le oder technisch erfahrene An­wen­de­rin­nen und Anwender. Die Software stellt ebenfalls eine OpenAI-kom­pa­ti­ble API bereit, ist aber auf hohen Durchsatz, parallele Anfragen und eine ef­fi­zi­en­te Aus­las­tung von GPU-Servern ausgelegt.

Ein Qwen-Modell kann bei­spiels­wei­se so gestartet werden:

vllm serve Qwen/Qwen3-Coder-Next \
    --port 8000 \
    --tensor-parallel-size 2 \
    --max-model-len 65536 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder

Die Parameter erfüllen un­ter­schied­li­che Aufgaben:

• --max-model-len 65536 re­ser­viert ein Kon­text­fens­ter oberhalb der Hermes-Min­dest­gren­ze.
• --enable-auto-tool-choice erlaubt dem Modell, selbst zu ent­schei­den, ob ein Werkzeug benötigt wird.
• --tool-call-parser qwen3_coder übersetzt die spe­zi­el­len Tool-Aufrufe des Modells in struk­tu­rier­te API-Aufrufe.

Für Llama 3.3 wird bei vLLM der Tool-Parser llama3_json verwendet. Zu­sätz­lich sollte ein passendes JSON-Chat-Template angegeben werden. Dieses Template legt fest, wie Hermes die ver­füg­ba­ren Werkzeuge, die be­nö­tig­ten Parameter und bereits aus­ge­führ­te Tool-Aufrufe an das Modell über­mit­telt.

Warum lange Kontexte viel VRAM benötigen

Beim lokalen Betrieb müssen nicht nur die Mo­dell­ge­wich­te in den Gra­fik­spei­cher passen. Der Server benötigt zu­sätz­lich Speicher für den so­ge­nann­ten KV-Cache. Darin werden In­for­ma­tio­nen aus den bereits ver­ar­bei­te­ten Tokens für die weitere Be­rech­nung vor­ge­hal­ten. Je größer das Kon­text­fens­ter ist, desto größer wird dieser zu­sätz­li­che Spei­cher­be­darf.

Quan­ti­sier­te Modelle re­du­zie­ren vor allem den Spei­cher­be­darf der Mo­dell­ge­wich­te. Sie lösen jedoch nicht au­to­ma­tisch das gesamte Kon­text­pro­blem. Auf knapper Hardware kann es daher sinn­vol­ler sein, ein kleineres Modell mit zu­ver­läs­si­gem Tool-Calling und echtem 64K-Kontext zu verwenden als ein größeres Modell, dessen Kontext teilweise auf die CPU aus­ge­la­gert werden muss.

LM Studio: lokale Modelle über eine grafische Ober­flä­che

LM Studio bietet eine grafische Ober­flä­che für Windows, macOS und Linux. Sie können Modelle suchen, her­un­ter­la­den, kon­fi­gu­rie­ren und an­schlie­ßend über einen lokalen API-Server be­reit­stel­len. Der OpenAI-kom­pa­ti­ble Endpunkt läuft stan­dard­mä­ßig unter http://localhost:1234/v1.

Der Server lässt sich über den Developer-Bereich der Anwendung oder über die Kom­man­do­zei­le starten:

lms ls
lms load <Qwen3-Coder-Modellschlüssel> --context-length 65536

Hermes besitzt eine eigene LM-Studio-Auswahl im Mo­del­las­sis­ten­ten. Stan­dard­mä­ßig versucht Hermes, das aus­ge­wähl­te Modell vor der ersten Anfrage mit einem Kon­text­fens­ter von 64.000 Tokens zu laden. In der Ober­flä­che können Sie die Kon­text­län­ge außerdem über die Mo­dell­ein­stel­lun­gen kon­trol­lie­ren und anpassen. LM Studio un­ter­stützt Tool- und Function-Calling über seine OpenAI-kom­pa­ti­blen Endpunkte. Modelle mit nativem Tool-Calling liefern dabei in der Regel zu­ver­läs­si­ge­re Er­geb­nis­se als Modelle, für die ein all­ge­mei­nes Er­satz­for­mat verwendet werden muss. Für erste lokale Tests ist LM Studio besonders kom­for­ta­bel. Für einen dauerhaft laufenden Headless-Server mit vielen par­al­le­len Anfragen ist vLLM dagegen meist die pas­sen­de­re In­fra­struk­tur.

Welche lokalen Modelle eignen sich für Hermes Agent?

Der Hermes Agent un­ter­stützt ver­schie­de­ne LLMs. Die Wahl sollte sich an Ihrem in­di­vi­du­el­len Use-Case ori­en­tie­ren.

Qwen3-Coder

Qwen3-Coder ist die auf Pro­gram­mie­rung und agen­ti­sche Soft­ware­auf­ga­ben spe­zia­li­sier­te Mo­dell­fa­mi­lie von Qwen. Sie un­ter­stützt nativ ein Kon­text­fens­ter von 262.144 Tokens. Bei ge­eig­ne­ten Servern und aus­rei­chend Speicher lässt sich Qwen3-Coder mithilfe von YaRN auf bis zu eine Million Tokens erweitern. Für lokale Hermes-In­stal­la­tio­nen ist vor allem Qwen3-Coder 30B-A3B-Instruct in­ter­es­sant. Das Modell besitzt insgesamt 30,5 Mil­li­ar­den Parameter, von denen jeweils 3,3 Mil­li­ar­den aktiviert werden. Dadurch verbindet es eine ver­gleichs­wei­se hand­hab­ba­re Mo­dell­grö­ße mit guten Fä­hig­kei­ten bei Code­ge­nerie­rung, Tool-Calling und agen­ti­schen Abläufen.

Llama 3.3 70B

Llama 3.3 70B Instruct ist die neuere und leis­tungs­fä­hi­ge­re Al­ter­na­ti­ve zu Llama 3.1 70B. Das Modell un­ter­stützt 128.000 Tokens Kontext und besitzt ein vor­ge­se­he­nes Format für struk­tu­rier­te Tool-Aufrufe. Damit erfüllt es grund­sätz­lich die An­for­de­run­gen von Hermes Agent, sofern der lokale Mo­dell­ser­ver min­des­tens 65.536 Tokens tat­säch­lich be­reit­stellt und das passende Tool-Calling-Template verwendet. Für Hermes eignet sich Llama 3.3 vor allem für all­ge­mei­ne Text­ver­ar­bei­tung, mehr­spra­chi­ge Aufgaben, Recherche und Workflows, die neben Tool-Calling auch starke Sprach­fä­hig­kei­ten benötigen. Mit 70 Mil­li­ar­den Pa­ra­me­tern bleibt das Modell al­ler­dings hard­ware­inten­siv.

LLMs für Hermes Agent im Überblick

Die Bewertung der Tool-Calling-Sta­bi­li­tät be­schreibt keine Garantie. Sie setzt voraus, dass Modell, Kon­text­län­ge, Chat-Template, Tool-Parser und Ser­ver­pa­ra­me­ter korrekt zu­sam­men­ar­bei­ten.

Konkrete Emp­feh­lun­gen nach Ein­satz­zweck

• Für absolute An­fän­ge­rin­nen und Anfänger: Open­Rou­ter ist der ein­fachs­te Cloud-Einstieg. Sie benötigen nur einen API-Key und können un­ter­schied­li­che Modelle testen.
• Für komplexe cloud­ba­sier­te Web-Au­to­ma­ti­sie­run­gen: Eine direkte Anthropic-Anbindung mit einem aktuellen Claude-Sonnet-Modell ist eine besonders zu­ver­läs­si­ge Lösung. Sie bietet ein sehr großes Kon­text­fens­ter und stabiles Tool-Calling.
• Für pro­duk­ti­ve Cloud-Systeme mit hoher Ver­füg­bar­keit: Nutzen Sie eine direkte Anbieter-API als primären Provider und kon­fi­gu­rie­ren Sie Open­Rou­ter als Fallback.
• Für lokale Cron-Jobs und wie­der­keh­ren­de Skripte: Ollama mit einem passenden Qwen- oder Llama-Modell bietet einen un­kom­pli­zier­ten Einstieg. Der große Vorteil sind lokale Da­ten­ver­ar­bei­tung und fehlende Token-Gebühren.
• Für Code- und Terminal-Aufgaben: Qwen3-Coder 30B-A3B ist die sinn­volls­te lokale Stan­dard­emp­feh­lung. Das Modell bietet ein natives 256K-Kon­text­fens­ter, zu­ver­läs­si­ges Tool-Calling und eine ver­gleichs­wei­se ef­fi­zi­en­te MoE-Ar­chi­tek­tur.
• Für einen lokalen Mehr­be­nut­zer- oder Pro­duk­ti­ons­ser­ver: vLLM ist die leis­tungs­fä­higs­te der hier be­trach­te­ten Self-Hosting-Lösungen. Es bietet hohen Durchsatz und gute GPU-Aus­las­tung, verlangt aber deutlich mehr tech­ni­sches Wissen.
• Für grafische lokale Tests: LM Studio eignet sich gut, wenn Sie Modelle ohne um­fang­rei­che Kom­man­do­zei­len­kennt­nis­se her­un­ter­la­den und kon­fi­gu­rie­ren möchten.
• Für sehr kleine Rechner: Llama 3.2 mit 1B oder 3B Pa­ra­me­tern kann einfache Aufgaben über­neh­men. Für autonome Web­re­cher­chen, um­fang­rei­che Da­tei­be­ar­bei­tun­gen oder lange Learning Loops ist ein größeres Modell emp­feh­lens­wert.

Fazit: Welches LLM ist die beste Wahl für Hermes Agent?

Die beste Kon­fi­gu­ra­ti­on hängt davon ab, ob für Sie Be­dien­kom­fort, Da­ten­schutz, Kosten, Ge­schwin­dig­keit oder maximale Zu­ver­läs­sig­keit im Vor­der­grund stehen. Un­ab­hän­gig vom Provider sollte das Modell min­des­tens 64.000 Token tat­säch­li­chen Kontext, struk­tu­rier­tes Tool-Calling und genügend Reasoning-Leistung für mehr­stu­fi­ge Ent­schei­dun­gen bieten.

Für einen un­kom­pli­zier­ten Cloud-Einstieg ist Open­Rou­ter besonders flexibel. Bei an­spruchs­vol­len pro­duk­ti­ven Au­to­ma­ti­sie­run­gen bietet eine direkte Claude-Anbindung ein hohes Maß an Tool-Calling-Sta­bi­li­tät und ein sehr großes Kon­text­fens­ter. Für lokale Ex­pe­ri­men­te und einfache Cron-Jobs ist Ollama die zu­gäng­lichs­te Lösung, während vLLM seine Stärken auf leis­tungs­fä­hi­gen GPU-Servern und bei vielen par­al­le­len Anfragen ausspielt.