Ejecutar modelos abiertos en local (Ollama y compañía)

Qué hace Ollama

Ollama es un programa de código abierto que descarga y ejecuta modelos de lenguaje abiertos como Gemma, Qwen, DeepSeek o gpt-oss localmente en tu ordenador. Un comando como ollama run gemma4 descarga el modelo la primera vez y después inicia un chat directamente en el terminal: sin nube, sin clave de API, sin costes recurrentes por solicitud.

Qué es realista esperar

Los modelos pequeños (unos pocos miles de millones de parámetros) funcionan incluso en hardware normal de portátil solo con CPU, aunque más lento que en la nube. Para modelos más grandes, Ollama usa automáticamente una GPU si hay una disponible: son compatibles las tarjetas NVIDIA, AMD Radeon mediante ROCm, Apple Silicon mediante Metal, y además tarjetas Intel y otras AMD mediante Vulkan. Si un modelo no cabe entero en la memoria de la GPU, Ollama lo reparte automáticamente entre GPU y CPU.

Límites frente a los modelos en la nube

Los modelos abiertos locales son más pequeños que los mayores modelos en la nube y suelen quedarse cortos en razonamiento complejo, contextos largos o conocimiento especializado. La necesidad de memoria crece con el tamaño del modelo y la longitud del contexto; un modelo demasiado grande directamente no llega a cargar, o funciona a una lentitud desesperante en CPU.

Cuándo merece la pena

Los modelos locales encajan bien en tareas sensibles a la privacidad, el trabajo sin conexión, la experimentación sin coste y las tareas sencillas y repetitivas. Para programación compleja o razonamiento exigente, los modelos en la nube como Claude suelen seguir siendo superiores.