5 Min. Lesezeit
Das Ende des Kompromisses!
Warum unser selbst gehostetes KI Modell Qwen jetzt der Standard ist.
Unser selbst gehostetes Modell Qwen3.8 erreicht in der täglichen Arbeit ein Niveau, das bisher nur teure Frontier-Modelle boten. Das ändert die Rechnung.
Michael AnsorgeAITEZA Consultant
Wer KI im Unternehmen einsetzen möchte, sollte nicht nur nach dem leistungsfähigsten Modell fragen. Ebenso wichtig ist, wo Unternehmensdaten verarbeitet werden, welche Abhängigkeiten entstehen und wie sich die Kosten bei wachsender Nutzung entwickeln. Eine überzeugende Antwort muss alle diese Fragen berücksichtigen.
Bei AITEZA betreiben wir seit fast zwei Jahren eigene Sprachmodelle. Angefangen haben wir mit DeepSeek R1. Unser wichtigster Beweggrund war damals die digitale Souveränität. Heute kommt ein weiterer hinzu. Die Qualität selbst gehosteter Modelle ist inzwischen so weit, dass sie in unserem produktiven Alltag einen deutlich größeren Teil der Arbeit übernehmen können.
Damit verändert sich die Rolle selbst gehosteter KI.
Aus einer Alternative für besonders schützenswerte Inhalte wird zunehmend das Standardmodell für die tägliche Arbeit.
Digitale Souveränität bedeutet für uns, dass Unternehmen selbst entscheiden können, wo und unter welchen Bedingungen ihre Daten verarbeitet werden. Internes Wissen, Vertragsunterlagen oder vertrauliche Projektdokumente sollten nicht allein deshalb an einen externen Modellanbieter übertragen werden müssen, weil Beschäftigte damit effizienter arbeiten möchten.
Zur Souveränität gehört außerdem, einen Modellanbieter wechseln zu können. Wer seine gesamte KI-Nutzung an einen einzigen Anbieter bindet, macht sich von dessen Preisen, Produktentscheidungen und technischen Rahmenbedingungen abhängig. Deshalb ist die Wahlfreiheit zwischen unterschiedlichen Modellen ein zentraler Bestandteil von AITEZA. Sie ist auch ein Grund, warum sich Kunden bewusst für uns statt für Copilot oder vergleichbare Lösungen entscheiden.
Lange war diese Entscheidung allerdings mit einem spürbaren Kompromiss verbunden. Selbst gehostete Sprachmodelle boten mehr Kontrolle über die Datenverarbeitung und eine besser kalkulierbare Kostenbasis. Bei schwierigen Aufgaben erreichten sie aber nicht immer die Qualität der führenden kommerziellen Modelle. Sobald umfangreiche Dokumente ausgewertet, anspruchsvolle Zusammenhänge erschlossen oder mehrere Arbeitsschritte zuverlässig miteinander verbunden werden mussten, war häufig zusätzliche Modellleistung gefragt.
Unsere Antwort darauf ist ein hybrider Ansatz. AITEZA verbindet selbst gehostete Modelle mit der Möglichkeit, leistungsfähige externe Modelle über eine API einzubinden. Diese sogenannten Frontier-Modelle ergänzen die eigene Infrastruktur dort, wo ihre zusätzliche Leistung tatsächlich gebraucht wird. Unternehmen müssen sich dadurch nicht dauerhaft für eine der beiden Welten entscheiden.
Dabei darf die Auswahl nicht allein von der Schwierigkeit einer Aufgabe abhängen. Auch die Vertraulichkeit der Inhalte muss berücksichtigt werden. Eine anspruchsvolle Anfrage ist kein Freifahrtschein, sensible Daten an einen externen Dienst zu übertragen. Welche Modelle für welche Informationen genutzt werden dürfen, sollte deshalb durch klare betriebliche Regeln festgelegt sein.
Mit unserem selbst gehosteten Qwen3.8-Modell verschiebt sich das Verhältnis zwischen interner und externer Verarbeitung nun deutlich. Nach unseren bisherigen Erfahrungen erreicht es bei vielen typischen Aufgaben im Unternehmensalltag eine Qualität, für die wir zuvor auf führende kommerzielle Modelle zurückgegriffen haben.
Entscheidend sind für uns dabei weniger einzelne Benchmark-Ergebnisse als die Arbeit mit echten Unternehmensunterlagen. Lassen sich Informationen aus Dokumenten zuverlässig zusammenführen? Werden Zusammenhänge bei einer Recherche richtig erfasst? Entstehen brauchbare Textentwürfe, die nicht erst vollständig überarbeitet werden müssen? Kann das Modell auch eine Aufgabe bearbeiten, die mehrere aufeinander aufbauende Schritte erfordert?
In diesen Bereichen überzeugt uns das Modell im täglichen Einsatz zunehmend. Das bedeutet nicht, dass es jedes Frontier-Modell in jeder Disziplin ersetzt. Bei besonders schwierigen Fragestellungen liefern externe Spitzenmodelle weiterhin bessere Ergebnisse. Für die Entscheidung über die eigene KI-Infrastruktur ist jedoch eine andere Frage wichtiger: Wie viel zusätzliche Leistung wird für die tatsächlich anfallende Arbeit benötigt?
Wenn ein selbst gehostetes Modell eine Aufgabe bereits in der erforderlichen Qualität erledigt, bringt der Einsatz eines teureren externen Modells nicht automatisch einen entsprechenden Mehrwert. Ein großer Teil der täglichen Arbeit kann dann innerhalb der eigenen kontrollierten Umgebung bleiben.
Mit „selbst gehostet“ meinen wir dabei nicht zwingend einen Server im Büro des Kunden. Unser Modell läuft in einem deutschen Rechenzentrum. Maßgeblich ist, dass die Verarbeitung in einer von uns kontrollierten Umgebung erfolgt und die Eingaben für diese Verarbeitung nicht an einen externen Modellanbieter weitergegeben werden müssen. Der Standort allein ersetzt allerdings kein Datenschutzkonzept. Zugriffsrechte, Aufbewahrungsregeln und ein verantwortungsvoller Umgang mit den Ergebnissen bleiben ebenso notwendig.
Auch wirtschaftlich wird dieser Ansatz interessanter. Einige unserer Kunden geben monatlich mehrere Tausend Euro für die Nutzung kommerzieller Modelle aus. Bei einer tokenbasierten Abrechnung steigen die Ausgaben mit dem Umfang der verarbeiteten Ein- und Ausgaben. Lange Dokumente, häufige Rückfragen und mehrstufige Arbeitsabläufe können den Verbrauch zusätzlich erhöhen. Je intensiver KI genutzt wird, desto wichtiger wird deshalb eine belastbare Kostenplanung.
Unser Qwen3.8-System kostet weniger als 1.000 Euro im Monat und kann den KI-Alltag eines Unternehmens mit rund 200 Beschäftigten unterstützen. Für die Nutzung dieses selbst gehosteten Modells fallen keine variablen Tokenkosten an.
Diese Größenordnung ist allerdings keine pauschale Zusage für jedes Nutzungsszenario. Der tatsächliche Kapazitätsbedarf hängt unter anderem davon ab, wie viele Menschen gleichzeitig arbeiten, wie umfangreich ihre Dokumente sind und welche Antwortzeiten erwartet werden. Die Zahl der Beschäftigten allein sagt noch wenig über die erforderliche Rechenleistung aus.
Auch selbst gehostete KI ist nicht unbegrenzt skalierbar, ohne zusätzliche Kosten zu verursachen. Wächst die Auslastung über die vorhandene Kapazität hinaus, muss die Infrastruktur erweitert werden. Der wirtschaftliche Vorteil liegt deshalb nicht in vermeintlich kostenloser Rechenleistung, sondern in einer kalkulierbaren Basis für regelmäßig anfallende Arbeit. Hinzu kommen bei Bedarf die nutzungsabhängigen Kosten externer Modelle.
Für technisch Interessierte lässt sich unser Setup knapp beschreiben. Wir betreiben Qwen3.8 27B mit FP8-Quantisierung auf einer RTX 6000 Ada mit 48 GB VRAM. Als Serving Engine setzen wir vLLM ein. Die Quantisierung reduziert den Speicherbedarf der Modellgewichte, während vLLM die Bereitstellung des Modells für die Nutzung übernimmt. Ob ein solches Setup zu einem Unternehmen passt, sollte anhand der tatsächlichen Aufgaben und der erwarteten Auslastung beurteilt werden.
Für uns ist diese Entwicklung ein wichtiger Schritt. Wir betreiben ein eigenes Sprachmodell nicht mehr hauptsächlich deshalb, weil wir Daten unter eigener Kontrolle halten und Kosten begrenzen möchten. Wir setzen es ein, weil auch die Qualität im produktiven Alltag überzeugt.
Der hybride Ansatz bleibt dabei bestehen. Das selbst gehostete Modell übernimmt einen wachsenden Anteil der täglichen Arbeit. Externe Frontier-Modelle ergänzen es gezielt, sofern ihr Einsatz fachlich sinnvoll und für die betreffenden Daten zulässig ist. So können Unternehmen KI breiter nutzen, ohne jede zusätzliche Anwendung automatisch an einen externen Modellanbieter und dessen verbrauchsabhängige Kosten zu binden.
Mehr erfahren
Wie AITEZA auch Ihnen bei der täglichen Arbeit helfen kann erfahren Sie hier. Oder buchen Sie einfach einen Termin für eine Produktvorstellung. Wir freuen uns auf Ihre Nachricht.
