Faire tourner des modèles ouverts en local (Ollama & Cie)

Ce que fait Ollama

Ollama est un programme open source qui télécharge et exécute des modèles de langage ouverts comme Gemma, Qwen, DeepSeek ou gpt-oss localement sur ta machine. Une commande comme ollama run gemma4 télécharge le modèle la première fois, puis démarre un chat directement dans le terminal – pas de cloud, pas de clé API, pas de coût récurrent par requête.

Ce qui est réaliste

Les petits modèles (quelques milliards de paramètres) tournent même sur du matériel de laptop ordinaire, uniquement avec le CPU, même si c'est plus lent que dans le cloud. Pour les modèles plus grands, Ollama utilise automatiquement un GPU s'il y en a un – sont supportées les cartes NVIDIA, AMD Radeon via ROCm, Apple Silicon via Metal, et en plus les cartes Intel et d'autres AMD via Vulkan. Si un modèle ne tient pas entièrement dans la mémoire graphique, Ollama le répartit automatiquement entre GPU et CPU.

Les limites face aux modèles cloud

Les modèles ouverts locaux sont plus petits que les plus grands modèles cloud et sont généralement moins performants pour le raisonnement complexe, les contextes longs ou les connaissances spécialisées. Le besoin en mémoire augmente avec la taille du modèle et la longueur du contexte ; un modèle trop gros ne se charge tout simplement pas, ou tourne à une lenteur pénible sur CPU.

Quand ça vaut le coup

Les modèles locaux conviennent aux tâches sensibles côté confidentialité, au travail hors ligne, à l'expérimentation sans frais et aux tâches simples et répétitives. Pour du développement complexe ou du raisonnement exigeant, les modèles cloud comme Claude restent généralement supérieurs.