Baseten und BentoML: Eigene Modelle gehostet veröffentlichen oder Container selbst betreiben?
Baseten passt zu Teams, die Endpunkte und Veröffentlichungsumgebung einer Plattform überlassen wollen. BentoML passt zu Teams mit Containerbetriebserfahrung, die ihre Modellartefakte selbst verwalten möchten. BentoCloud ist als auslaufend gekennzeichnet. Alte Dokumente rechtfertigen daher keinen direkten Vergleich als zwei heute erhältliche Hostingdienste.
Das Team hat ein Modell trainiert, will es für das Produkt aufrufbar machen und bei Fehlern einer neuen Version zur alten zurückkehren. Bei der Wahl zwischen Baseten und BentoML entscheidet nun, wer nach dem Modellpaket Laufzeitumgebung und Veröffentlichungssystem übernimmt. Werden fertige gehostete Endpunkte, Umgebungswechsel und Skalierungsverwaltung benötigt, lohnt sich zuerst Baseten. Bestehen Containerplattform und Bereitschaftsdienst und soll die Bereitstellung selbst kontrolliert werden, ist BentoML prüfenswert.
Vor dem Vergleich steht eine kaufentscheidende Tatsache: kennzeichnete die offizielle BentoCloud-Dokumentation ihren Dokumentationszweig ausdrücklich als archiviert und BentoCloud als auslaufend. Bereitstellungs- und Rollback-Schaltflächen alter Seiten sind keine Zusage für heute neu kaufbare Hostingdienste. Deshalb vergleicht dieser Beitrag Basetens gehostete Bereitstellung mit dem offenen, selbst betriebenen BentoML-Weg. Bestehende BentoCloud-Kunden müssen zusätzlich Vertrag, Supportende und Migrationsplanung mit dem Anbieter klären.
Kollegen brauchen eine erneut bereitstellbare Modellversion
Stellen Sie sich ein eigenes Modell zur Klassifizierung von Supporttickets vor, das neben Gewichten auch Tokenizer, Vorverarbeitungscode und Python-Abhängigkeiten enthält. Bei einem Update ändern sich nur Abhängigkeiten, trotzdem fallen Vorhersagen anders aus. Besteht die Übergabe lediglich aus einem Downloadlink zur „neuesten Modellversion“, kann die übernehmende Person den zuvor funktionierenden Dienst kaum wiederherstellen. Dieses hypothetische Szenario verlangt, Gewichtsrevision, Laufzeitabhängigkeiten und Dienstkonfiguration gemeinsam zu erhalten und Ausgaben anhand fester Beispiele zu prüfen.
Baseten organisiert Modellbereitstellungen mit dem offenen Truss. Die Konfigurationsdokumentation erlaubt, Abhängigkeiten und Ressourcen in config.yaml festzulegen. Python-Abhängigkeiten können über inline requirements oder requirements_file angegeben werden, aber nicht beides gleichzeitig. Bei uv.lock ist zusätzlich eine passende pyproject.toml im selben Verzeichnis nötig. Teams mit gepflegten Lockdateien können so Entwicklungsbedingungen in den Bereitstellungsbuild übernehmen, statt nur Gewichte hochzuladen und die Plattform die Laufzeit erraten zu lassen.
Auch Gewichte müssen festgelegt werden. Basetens Beispiel für Modellbereitstellung verbindet Gewichte einer bestimmten Revision mit einem versionierten Serving-Container, Zustandsprüfungen und Ressourcenkonfiguration. Daraus folgt für die Übergabe: exakte Gewichtsrevision und Containerversion dokumentieren, Ladepfad und Schnittstellenkonfiguration erhalten. Auch bei unverändertem Modellnamen in der Konsole muss erklärbar bleiben, was die konkrete Bereitstellung geladen hat.
BentoML bündelt Dienstquellcode, Python-Abhängigkeiten, Modellartefakte und Konfiguration in einem Bento. Laut Paketierungsdokumentation erhält der Build eine eindeutige Version; die anschließende Containerisierung erzeugt ein Image für Docker-kompatible Umgebungen. Die Laufzeitdokumentation unterstützt Festlegungen für Python, Systemabhängigkeiten und Python-Pakete. Die Versionsfixierung von Python-Paketen ist standardmäßig aktiviert. Das passt eher zur Aufnahme der Artefakte in eine vorhandene Image-Registry und eigene Bereitstellungssysteme. Eindeutige Bento-Versionen und Image-Kennungen müssen dennoch erhalten bleiben; „latest“ allein reicht im Übergabeprotokoll nicht.
BentoML selbst wird nicht zusammen mit BentoCloud eingestellt: Das offizielle Repository nennt Apache-2.0, und die Release-Historie enthält weiterhin Versionen mit Fehlerkorrekturen. Die offene Bibliothek und aktuelle Containerisierungsdokumentation unterstützen die Prüfung eines Eigenbetriebs, garantieren aber weder langfristige Pflege noch verfügbares Hosting oder Produktionssupport. Lizenzen der Modellgewichte und weiterer Abhängigkeiten sind ebenfalls gesondert zu prüfen.
Nach erfolgreicher Veröffentlichung die Version hinter dem Produktivendpunkt kennen
Ein Baseten-deployment besitzt eine eigene ID, Modellartefakte und einen Endpunkt. Artefakte eines published deployment werden nicht laufend per Hot-Update verändert; Änderungen an Code oder Buildkonfiguration erfordern einen neuen Push. Ein Deployment kann zudem ohne Zuordnung zu einer Umgebung Anfragen annehmen. Dass ein Kandidat Testanfragen beantwortet, beweist daher nicht, dass das Produkt ihn bereits nutzt.
Der Umgebungsmechanismus bietet stabile Endpunkte und eigene Skalierungs-, Überwachungs- und Promotion-Einstellungen. Erst die Promotion eines Deployments in eine Umgebung ändert die Version, die deren Endpunkt bereitstellt. Dabei kann ein Deployment wiederverwendet oder eine neue Deployment-ID angelegt werden. Bei der Abnahme ist die Umgebungszuordnung zu prüfen und anschließend die vom Produkt verwendete stabile Adresse zu testen. Für eine Rückkehr zur alten Version muss die zuvor funktionierende Bereitstellung erhalten und erneut promotet werden. Ein „Neubau“ nach Löschen der alten Version ist keine gleichwertige Wiederherstellungsvorbereitung.
Beim selbst betriebenen BentoML liefern Bento-Version und Containerimage identifizierbare Artefakte. Wie Datenverkehr auf ein neues Image wechselt, wie bei Fehlern zurückgeschaltet wird und wie lange alte Images bleiben, muss die gewählte Containerplattform mit dem Veröffentlichungsprozess umsetzen. Rollbacks von Deployment-Revisionen in archivierten BentoCloud-Dokumenten dürfen nicht als bereits von der offenen Bibliothek betriebener Veröffentlichungsdienst gezählt werden. Ohne Zuständige für Registry, Netzwerkzugang und Überwachung schließt auch ein sauber geordnetes Modellpaket diese Verantwortungslücken nicht.
Für das Klassifizierungsmodell kann eine kleine Veröffentlichungsübung helfen: Ein Kollege erhält das vorherige Artefakt und die Konfiguration und stellt es in einer Testumgebung bereit. Danach folgt ein Kandidat mit geänderter Vorverarbeitung, Prüfung fester Beispiele und abschließende Wiederherstellung der alten Version samt Kontrolle der Ergebnisse am Produktendpunkt. Dokumentieren Sie erforderliche Rechte, vom ursprünglichen Autor abhängige Schritte und mögliche erneute Downloads veränderlicher externer Dateien bei der Wiederherstellung. Das ist eine vorgeschlagene Prüfung, die hier nicht ausgeführt wurde und keine Wiederherstellungszeit oder Leistung garantiert.
Betriebsverantwortung mitbudgetieren: Open Source bedeutet kein kostenloses Hosting
Dass Truss offen verfügbar ist, beseitigt Basetens Dienstkosten nicht. Die Abrechnungsinformationen unterscheiden anfängliches Testguthaben und reguläre nutzungsabhängige Abrechnung und sagen ausdrücklich, dass es keinen dauerhaft kostenlosen Tarif gibt. Rechnen Sie mit tatsächlichen Instanzen und Laufzeiten sowie Testumgebungen, erhaltenen Altversionen und gleichzeitig laufenden neuen und alten Replikaten während der Veröffentlichung. Die Kosten einer erfolgreichen Anfrage stehen nicht für die gesamte Veröffentlichungskette.
Auch BentoMLs Open-Source-Lizenz liefert kein kostenloses BentoCloud-Hosting. Eigenbetriebskosten umfassen Rechenressourcen, Imagespeicher, Netzwerk, Überwachung und Wartungspersonal. Stellt eine interne Plattform diese Fähigkeiten bereits bereit, lassen sich zusätzliche Integrationskosten möglicherweise leichter begrenzen. Trotzdem müssen Skalierung, Sicherheitsupdates und Vorfälle verantwortet werden. „Open Source“ allein beweist keinen Kostenvorteil gegenüber Hosting.
Die Wahl lässt sich am Übergabeobjekt festmachen: Soll ein Kollege Modellcode und eine konfigurierte gehostete Veröffentlichungsumgebung übernehmen, prüfen Sie zuerst Baseten. Soll er einen versionierbaren, containerisierbaren Modelldienst erhalten und kann das Team dessen Laufzeitplattform betreiben, prüfen Sie zuerst BentoML. Bestehende BentoCloud-Teams sollten zunächst das Auslaufen des Dienstes klären und dann zwischen BentoML-Eigenbetrieb und Wechsel zu einer Hostingplattform entscheiden. Auf beiden Wegen müssen Gewichte, Abhängigkeiten, Dienstkonfiguration und produktive Version eindeutig zusammenpassen. Das ist die Grundlage wiederholbarer Modellübergaben.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.bentoml.com