LoRA vs. QLoRA: Welche Fine-Tuning-Methode gewinnt 2026?

Die kurze Antwort

Für 7B–13B-Modelle: LoRA auf einer einzelnen A100 40GB. Schneller, sauberer, kein Quantisierungs-Drift. Für 30B–70B-Modelle: QLoRA auf einer A100 80GB oder RTX 4090 (70B). Die VRAM-Ersparnis ist den kleinen Genauigkeitsverlust wert. Für alles über 70B auf Consumer-Hardware ist QLoRA die einzige realistische Option.

Was LoRA eigentlich macht

LoRA (Low-Rank Adaptation) friert die Gewichte des Basismodells ein und fügt kleine trainierbare Rank-Decomposition-Matrizen neben jeder Attention-Schicht ein. Statt Milliarden Parameter zu aktualisieren, trainierst du nur einen Bruchteil davon. Das Ergebnis: ein Fine-Tune, der 10.000× kleiner ist als das Basismodell, 3× schneller trainiert und sich zur Inferenz beliebig laden und entladen lässt.

• Trainiert nur 0,1–1 % der Modellparameter (typisch: Adapter mit Rank 8–64)
• Kein Genauigkeitsverlust gegenüber vollem Fine-Tuning auf den meisten Benchmarks
• Adapter sind portabel — Aufgaben wechseln, ohne das Basismodell neu zu laden

Der Haken: Das Basismodell liegt während des Trainings weiterhin in voller Präzision (FP16 oder BF16) im GPU-Speicher. Ein 13B-Modell in BF16 braucht ~26 GB allein für die Gewichte, plus weitere 20–40 GB für Gradienten, Optimizer-States und Activation Checkpoints. Deshalb braucht 13B-LoRA eine 40-GB-Karte.

Was QLoRA hinzufügt

QLoRA geht einen Schritt weiter: Es quantisiert das eingefrorene Basismodell auf 4-Bit NF4 (NormalFloat 4) und trainiert die LoRA-Adapter obendrauf. Das Basismodell schrumpft um ~75 %, und Paged Optimizer halten den Gradientenspeicher im Griff. Ergebnis: Ein 70B-Modell lässt sich auf einer einzelnen 48-GB-Karte fine-tunen, ein 13B-Modell auf einer 16-GB-Karte.

• Basisgewichte: 4-Bit NF4 (75 % weniger Speicher)
• Trainierbare Adapter: weiterhin FP16/BF16 (kein Qualitätsverlust am Adapter selbst)
• Paged Optimizer (bitsandbytes) verhindern OOM bei langen Sequenzen

VRAM-Bedarf: echte Zahlen

VRAM-Schätzungen mit LoRA-Rank 32, Batch Size 1, aktiviertem Gradient Checkpointing und Sequenzlänge 2048.

Qualitätsunterschied: Schadet QLoRA wirklich?

Das Original-QLoRA-Paper behauptete, es gebe keinen Genauigkeitsverlust gegenüber 16-Bit-LoRA. Die Folgearbeiten aus 2024–2026 zeichnen ein differenzierteres Bild:

• Instruction Tuning: QLoRA erreicht LoRA auf MMLU und TruthfulQA bis auf 0,5 %.
• Code-Generierung: QLoRA verliert 1–3 % auf HumanEval — wenig, aber messbar.
• Mathematisches Reasoning: Größte Lücke — QLoRA kann 2–5 % auf GSM8K verlieren, besonders bei kleineren Modellen, wo Quantisierungsrauschen stärker durchschlägt.
• Long-Context-Aufgaben: QLoRA fällt oberhalb von 8K Tokens ab, weil sich Quantisierungsfehler in der Attention aufsummieren.

Wenn dein Zieltask mathematische Präzision braucht (Finanzen, wissenschaftliches Reasoning, Code), lohnen sich die höheren GPU-Kosten für LoRA. Für Chat, Zusammenfassungen und allgemeines Instruction Tuning ist QLoRA praktisch gleichwertig.

Trainingsgeschwindigkeit: LoRA gewinnt

QLoRAs 4-Bit-Quantisierung erfordert Dequantisierung bei jedem Forward Pass. Dieser Overhead ist real — rechne mit 20–35 % langsamerem Training gegenüber LoRA auf derselben Hardware. Bei einem 13B-Modell:

• LoRA auf A100 80GB: ~450 Tokens/Sek.
• QLoRA auf A100 80GB: ~310 Tokens/Sek. (31 % langsamer)
• QLoRA auf RTX 4090: ~180 Tokens/Sek. (60 % günstigere Hardware, aber 60 % langsamer)

Wenn die Wanduhrzeit dein Engpass ist (Produktionsmodell muss raus), schlägt LoRA auf einer größeren Karte meist QLoRA auf einer kleineren — selbst wenn QLoRA pro Stunde technisch billiger ist.

Günstigste GPU-Cloud für LoRA vs. QLoRA

Für QLoRA auf RTX 4090 (7B–30B-Modelle):

• RunPod Community Cloud — RTX 4090 ab ~0,35 $/h. Bestes Preis-Leistungs-Verhältnis für QLoRA-Experimente.
• Vast.ai — noch günstiger (~0,18 $/h, unterbrechbar), aber weniger zuverlässig für mehrstündige Trainingsläufe.

Für LoRA auf A100 80GB (13B–30B-Modelle):

• RunPod Secure Cloud — A100 80GB ab ~1,99 $/h. Zuverlässig für LoRA-Läufe über Nacht.
• Lambda Labs — A100 80GB On-Demand ab ~1,79 $/h. Erste Wahl, wenn du Lambda Stack (PyTorch vorinstalliert) willst.

Für LoRA auf H100 (30B+ oder schnelle Iteration):

• CoreWeave — H100-Cluster. Enterprise-Preise, aber konstante H100-Verfügbarkeit.
• RunPod — H100 PCIe ab ~2,49 $/h in der Secure Cloud.

Was ein echter Fine-Tune wirklich kostet

Stundensätze verbergen die entscheidende Zahl. Durch QLoRAs Geschwindigkeitsnachteil belegt derselbe Job die GPU länger, der günstigere Stundenpreis gewinnt also nicht automatisch. Beispiel: ein 13B-Fine-Tune auf 10.000 Samples à 512 Tokens über 3 Epochen, insgesamt 15,4 Mio. Tokens, gerechnet mit den Preisen von oben.

Auf identischer Hardware kostet QLoRA rund 45 % mehr als LoRA, nicht weniger. Die Quantisierung rechnet sich erst, wenn sie dir den Wechsel auf eine günstigere Karte erlaubt: Der RTX-4090-Lauf kostet halb so viel wie der A100-LoRA-Lauf, dafür wartest du 2,5-mal so lange auf den Checkpoint.

Faustregel: Passt das Modell ohnehin in BF16 auf eine bezahlbare Karte, ist QLoRA ein reiner Verlust bei Tempo und Kosten. Passt es nicht, schlägt QLoRA auf Consumer-Hardware das Mieten der größeren Karte, sofern du die Wartezeit über Nacht verkraftest.

Entscheidungsrahmen

FAQ

Fazit

LoRA und QLoRA lösen unterschiedliche Probleme. LoRA ist die Standardwahl, wenn dein Modell in den Speicher passt — sauberes Training, kein Quantisierungs-Overhead, keine Sorgen um die Genauigkeit. QLoRA ist der Türöffner, wenn der Speicher die Grenze ist: Es macht Fine-Tuning von 70B-Modellen auf einer einzelnen Karte möglich, wofür sonst ein Multi-Node-Cluster nötig wäre.

Für schnelles Experimentieren empfehlen wir den Start mit QLoRA auf einer RunPod RTX 4090 (~0,35 $/h) und den Umstieg auf LoRA mit einer A100 80GB (~1,79 $/h), sobald dein Trainings-Rezept validiert ist. Alle Anbieter im Detail findest du in unserem GPU-Cloud-Preisvergleich.