Offene Modelle lokal laufen lassen (Ollama & Co.)

Was Ollama macht

Ollama ist ein Open-Source-Programm, das offene Sprachmodelle wie Gemma, Qwen, DeepSeek oder gpt-oss lokal auf deinem Rechner lädt und ausführt. Ein Befehl wie ollama run gemma4 lädt das Modell beim ersten Mal herunter und startet danach einen Chat direkt im Terminal – keine Cloud, kein API-Key, keine laufenden Kosten pro Anfrage.

Was realistisch geht

Kleine Modelle (wenige Milliarden Parameter) laufen auch auf normaler Laptop-Hardware allein mit CPU, wenn auch langsamer als in der Cloud. Für größere Modelle nutzt Ollama automatisch eine GPU, falls vorhanden – unterstützt werden NVIDIA-Karten, AMD Radeon über ROCm, Apple Silicon über Metal und zusätzlich Intel- und weitere AMD-Karten über Vulkan. Passt ein Modell nicht komplett in den Grafikspeicher, verteilt Ollama es automatisch zwischen GPU und CPU.

Grenzen gegenüber Cloud-Modellen

Lokale offene Modelle sind kleiner als die größten Cloud-Modelle und schneiden bei komplexem Denken, langen Kontexten oder Spezialwissen meist schwächer ab. Der Speicherbedarf wächst mit Modellgröße und Kontextlänge; ein zu großes Modell lädt gar nicht erst oder läuft quälend langsam auf CPU.

Wann es sich lohnt

Lokale Modelle passen für datenschutz-sensible Aufgaben, Offline-Arbeit, Experimentieren ohne Kosten und einfache, wiederkehrende Aufgaben. Für komplexes Programmieren oder anspruchsvolles Schlussfolgern bleiben Cloud-Modelle wie Claude meist überlegen.