Modal Serverless GPU (2026): Leitfaden für Python-Deployments
Wie das serverlose GPU-Modell von Modal praktisch funktioniert: die aktuelle App-API, was Cold Starts bei sekundengenauer Abrechnung kosten, und wann Scale-to-Zero günstiger ist als ein gemieteter Pod.
Modal führt Python-Funktionen auf GPUs aus, ohne Dockerfile, ohne Cluster und ohne dauerhaft laufende Instanz. Sie annotieren eine Funktion, Modal baut das Image, und ein Container startet beim Aufruf und stoppt, sobald er untätig ist. Abgerechnet wird sekundengenau nach Container-Laufzeit.
So funktioniert es
Die aktuelle API basiert auf modal.App. Die abgelöste Klasse Stub taucht noch in vielen Tutorials auf, und modal.Session war nie Teil der öffentlichen API.
import modal
app = modal.App("example-inference")
image = modal.Image.debian_slim().uv_pip_install("transformers[torch]")
@app.function(gpu="h100", image=image)
def generate(prompt: str) -> str:
from transformers import pipeline
pipe = pipeline("text-generation", model="gpt2", device="cuda")
return pipe(prompt)[0]["generated_text"]Ausgeführt wird das mit modal run file.py. Der Parameter gpu= nimmt den Namen des Beschleunigers entgegen ("h100", "a100-80gb", "l40s", "t4"), und das Image wird einmal gebaut und zwischengespeichert, nicht bei jedem Aufruf neu.
Der Cold Start wird mitberechnet
Das überrascht in der Praxis am häufigsten. Modal rechnet die Container-Laufzeit ab, nicht die Dauer der Anfrage, und das Laden des Modells fällt in dieses Fenster. Ein Ladevorgang von 20 Sekunden auf einem H100 kostet jedes Mal etwa $0.022, wenn ein Container bei null startet. Bei stoßweisem Traffic, der immer wieder auf null herunterskaliert, werden Cold Starts zu einem echten Posten.
Dagegen helfen zwei Hebel: warme Container vorhalten (sie kosten denselben Sekundentarif, es ist also eine Kostenentscheidung und kein Rabatt) und die Modellgewichte schon beim Image-Build ablegen statt beim Aufruf zu laden, damit der Container sie bereits auf der Platte hat.
Kosten im Vergleich zum gemieteten Pod
Für dieselbe Hardware verlangt Modal ungefähr das Doppelte einer gemieteten Instanz: $3.95/h für einen H100 gegenüber $1.99/h in der Community Cloud von RunPod. CPU und Arbeitsspeicher kommen zusätzlich zur GPU-Rate hinzu. Die vollständigen Werte pro GPU stehen im Modal-Preisleitfaden.
Die Rechnung geht nur bei niedriger Auslastung zugunsten von Serverless auf. Ein Modell mit 90 Minuten echtem Traffic pro Tag kostet rund $5.93 täglich, derselbe H100 durchgehend gemietet $47.76. Ab etwa 12 Stunden täglicher GPU-Last liegt der gemietete Pod vorn. Scale-to-Zero ist sein Geld wert, wenn die GPU den größten Teil des Tages stillsteht, und wertlos, wenn sie es nicht tut.
Alternativen mit echtem Serverless
Diese Anbieter bieten echtes Scale-to-Zero und nicht nur Instanzmiete:
| Anbieter | Einstiegsrate | Modell |
|---|---|---|
| Salad | $0.02/h | Verteilte Consumer-GPUs, günstigster Preis, schwankende Latenz |
| RunPod Serverless | $0.16/h | Eigene Container mit Handler, günstigste verbreitete Option |
| CoreWeave | $1.25/h | Kubernetes-nativ, Enterprise-Maßstab |
| Nebius | $1.55/h | Kubernetes-nativ, EU-Regionen |
| Together AI | $3.99/h | Per-Token-APIs für gehostete Open-Source-Modelle |
| Modal | $0.59/h (T4) | Python-Decorators, kein Dockerfile, schnellstes erstes Deployment |
Die Einstiegsraten sind geprüfte Untergrenzen der Anbieter mit Stand Juli 2026 und beziehen sich auf unterschiedliche GPUs, sind also als Preisspanne zu lesen. AWS fehlt bewusst: Lambda unterstützt keine GPUs, und SageMaker Serverless Inference läuft nur auf CPU. Details zu Cold Starts und Nebenläufigkeit stehen im Serverless-GPU-Vergleich.
FAQ
Veröffentlicht Modal seine Preise?
Ja, vollständig. Auf modal.com/pricing steht für jede angebotene GPU eine Rate pro Sekunde und pro Stunde, von B300 mit $7.10/h bis T4 mit $0.59/h, dazu getrennte Raten für CPU und Arbeitsspeicher. Für den regulären GPU-Zugang gibt es keine Stufe, die nur auf Anfrage bepreist wird.
Brauche ich ein Dockerfile?
Nein. Das Image beschreiben Sie in Python über modal.Image mit verketteten Aufrufen wie .debian_slim(), .uv_pip_install(...) und .apt_install(...). Modal baut und cached es. Ein vorhandenes Registry-Image lässt sich einbinden, der übliche Weg kommt aber ganz ohne Docker aus, und genau das ist der Hauptgrund, warum Teams Modal gegenüber RunPod Serverless wählen.
Wie viel Kontrolle habe ich über die GPU?
Sie wählen Beschleuniger und Anzahl und bekommen im Container eine normale CUDA-Umgebung. Nicht wählbar sind der Host, die Region auf Rack-Ebene und die Nachbarn. Wer feste Hardware, ein bestimmtes Rechenzentrum oder eine Interconnect-Topologie für verteiltes Training braucht, mietet besser Instanzen: Modal ist auf Inferenz und kurze Jobs ausgelegt, nicht auf lange verteilte Trainingsläufe.
Gibt es einen kostenlosen Tarif?
Der Starter-Tarif kommt ohne Grundgebühr und erneuert monatlich $30 Guthaben, also etwa 7,5 Stunden H100-Zeit oder 50 Stunden auf einem T4. Das Guthaben wird nicht in den Folgemonat übertragen.