smart_toy Inteligencia Artificial › Article

Correr IA localmente: qué necesitas y cuándo vale la pena

Cómo correr un modelo de IA en tu equipo con Ollama, LM Studio o llama.cpp: comandos, memoria necesaria, formatos y cuándo conviene frente a una API de pago.

info Definición Rápida

Correr IA localmente significa ejecutar un modelo de lenguaje en tu propio equipo o servidor, con sus pesos descargados, en lugar de enviar cada petición a la API de un proveedor. Es viable con modelos de pesos abiertos y da más control sobre datos y costos, a cambio de hardware y mantenimiento.

¿Qué herramientas existen y en qué se diferencian?

Para correr un modelo local necesitas tres cosas: pesos descargables (ver modelos abiertos vs. cerrados), un programa que los ejecute y memoria suficiente. Hay tres programas habituales:

Herramienta	Qué es	Plataformas y licencia	Cómo la usas
Ollama	Gestor de modelos con servidor local	macOS, Windows, Linux y Docker; licencia MIT	Terminal y API REST en `http://localhost:11434`
LM Studio	Aplicación de escritorio	macOS (Apple Silicon), Windows y Linux; gratis en casa y en el trabajo desde el 8 de julio de 2025	Interfaz gráfica, CLI `lms` y servidor local compatible con la API de OpenAI
llama.cpp	Biblioteca de inferencia en C/C++	Licencia MIT; backends para CUDA, Metal, Vulkan, HIP, SYCL y CPU, entre otros	Línea de comandos y un servidor HTTP propio

Las tres pueden usar un mismo formato de archivo: GGUF, un formato binario pensado para cargar y guardar modelos con rapidez. Lo desarrolló Georgi Gerganov, autor de llama.cpp. LM Studio ejecuta modelos GGUF con llama.cpp y, en Apple Silicon, también modelos MLX. Los términos de LM Studio pueden cambiar: revísalos antes de usarlo en una empresa.

¿Cómo se instala y se prueba?

El camino más corto es Ollama:

Descarga el instalador desde ollama.com/download (macOS, Windows o Linux). En Linux, la documentación también ofrece curl -fsSL https://ollama.com/install.sh | sh. Si prefieres revisar qué ejecutas, lee antes el script en el navegador.
En la terminal, ejecuta ollama run gemma4:e2b. El comando descarga el modelo y abre un chat; escribe /bye para salir. Si solo quieres descargarlo, usa ollama pull gemma4:e2b.
Comprueba dónde corre con ollama ps: la columna PROCESSOR muestra “100% GPU”, “100% CPU” o un reparto entre ambos.
Libera la memoria con ollama stop gemma4:e2b. Por defecto, un modelo se queda cargado cinco minutos tras su último uso.

Ollama escucha solo en 127.0.0.1, puerto 11434. Una petición de prueba desde otra terminal:

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e2b",
    "messages": [{"role": "user", "content": "Di hola en una frase."}],
    "stream": false
  }'

La respuesta viene en message.content. Según las preguntas frecuentes de Ollama, la ventana de contexto por defecto es de 4096 tokens; se cambia con OLLAMA_CONTEXT_LENGTH. Si defines OLLAMA_HOST=0.0.0.0:11434, el servidor queda accesible desde otras máquinas: hazlo solo en una red de confianza.

En LM Studio descargas la aplicación, buscas un modelo, lo cargas y, si necesitas una API, activas “Start server” en la pestaña Developer o ejecutas lms server start. Con llama.cpp, el README del proyecto describe instalación por script, Docker, binarios precompilados o compilación desde el código, y una opción -hf para bajar un modelo directamente de Hugging Face. La documentación del servidor muestra ./llama-server -m models/7B/ggml-model.gguf -c 2048. Los nombres de los comandos varían entre versiones: consulta el README de la que instales.

¿Cuánta memoria y qué hardware necesitas?

El modelo se carga en la RAM del sistema si corre en CPU, o en la VRAM de la tarjeta si corre en GPU. Dos ejemplos del tamaño de los archivos en la biblioteca de Ollama: gemma4:e2b ocupa entre 4,6 y 7,5 GB según la variante, y gemma4:31b entre 19 y 20 GB. Ese tamaño es un mínimo: el contexto de la conversación usa memoria adicional, y según Ollama crece con OLLAMA_NUM_PARALLEL multiplicado por OLLAMA_CONTEXT_LENGTH.

La cuantización guarda los pesos con menos bits para que el modelo ocupe menos y corra más rápido, a costa de algo de precisión. En la tabla de Hugging Face, el tipo Q4_K usa 4,5 bits por peso; un modelo en F16 usa 16. Por eso muchos modelos descargables vienen ya cuantizados.

Requisitos publicados por cada herramienta:

LM Studio: en Mac, Apple Silicon con macOS 14 o superior y 16 GB de RAM recomendados; en Windows, x64 con AVX2 o ARM, 16 GB de RAM y al menos 4 GB de VRAM recomendados; en Linux, Ubuntu 20.04 o superior.
Ollama en GPU: NVIDIA con capacidad de cómputo 5.0 o superior y controlador 550 o más reciente; AMD mediante ROCm v7; Apple mediante Metal; y Vulkan en Windows y Linux.
Ollama en Windows: Windows 10 22H2 o más reciente y al menos 4 GB de disco para el programa. Los modelos pueden sumar decenas o cientos de GB.

¿Por qué le importa a un diseñador?

Porque correr en local cambia las restricciones del producto:

Privacidad. Para datos sensibles, como notas clínicas o contratos, mantener la información en el equipo puede ser un requisito, no una preferencia.
Costo y disponibilidad. No hay tarifa por token ni dependencia de la red: LM Studio, por ejemplo, funciona sin conexión una vez descargados los modelos. A cambio, la velocidad depende de tu hardware (ver latencia en LLMs).
Calidad. Un modelo local pequeño rinde distinto que uno grande en la nube: la interfaz debe comunicar sus límites.
Instalación. Si le pides a la persona usuaria que instale algo, el onboarding cambia por completo: sistema operativo, espacio en disco y memoria pasan a ser parte de la experiencia.

Hay una trampa de nombres: Ollama también ofrece modelos en su propia nube, con etiquetas como gemma4:cloud. Requieren iniciar sesión y las peticiones se procesan en los servidores de Ollama, que según su documentación no las usa para entrenar modelos. Si necesitas que nada salga de tu equipo, usa solo etiquetas locales y desactiva las funciones en la nube.

¿Cuándo NO conviene?

Cuando el volumen es bajo y los datos no son sensibles: una API suele ser más barata y más simple. Tampoco cuando nadie mantendrá el sistema, actualizará los modelos y vigilará su seguridad. Y cuando el producto necesita la capacidad de un modelo grande, uno local pequeño puede no alcanzar.

¿Cómo decidir entre local y API?

Con una prueba corta:

Elige una tarea concreta y reúne 30 casos reales (anonimizados si es necesario).
Prueba dos o tres modelos locales de distintos tamaños, con su etiqueta cuantizada.
Mide calidad, tiempo de respuesta y memoria usada (ollama ps ayuda con esto último).
Ejecuta los mismos casos contra una API.
Decide con los datos: privacidad, costo total y calidad.

Si la calidad local alcanza, el resto del diseño puede seguir igual; solo cambia la infraestructura.

Ejemplo

Ejemplo ilustrativo: un estudio de diseño quiere resumir entrevistas de usuarios que contienen nombres y datos de salud. Por política interna, las transcripciones no pueden salir de la oficina. El equipo prueba un modelo local en un equipo con 32 GB de memoria: los resúmenes salen bien en entrevistas cortas y pierden detalle en las largas. Luego divide cada transcripción por tema antes de resumir y muestra al investigador la frase original junto a cada punto. La privacidad se cumple y la verificación queda en manos de una persona.

Errores comunes

Creer que local equivale a privado. Revisa registros, integraciones, etiquetas -cloud y quién accede al equipo.
Elegir un modelo que no cabe en memoria y culpar a la herramienta. Mira ollama ps: si el reparto es “CPU/GPU”, parte del modelo corre en la RAM y va más lento.
Olvidar el contexto: el archivo del modelo es un mínimo, no el consumo total.
Exponer el servidor en la red (OLLAMA_HOST=0.0.0.0) sin necesitarlo.
Pegar comandos de instalación sin leerlos. Prefiere el instalador de la página oficial.

Fuentes

Preguntas frecuentes

¿Qué significa correr IA localmente?

Ejecutar un modelo de lenguaje en tu propio equipo o servidor, con sus pesos descargados, en lugar de enviar cada petición a un proveedor externo por API.

¿Cómo pruebo un modelo local en cinco minutos?

Instala Ollama desde ollama.com/download y ejecuta, por ejemplo, ollama run gemma4:e2b. El comando descarga el modelo y abre un chat en tu terminal. Para salir escribe /bye.

¿Cuánta memoria necesito?

Como mínimo, la que ocupa el archivo del modelo, más el contexto. En la biblioteca de Ollama, gemma4:e2b pesa entre 4,6 y 7,5 GB y gemma4:31b entre 19 y 20 GB. La memoria es RAM si corre en CPU o VRAM si corre en GPU.

¿Un modelo local es más privado?

Puede serlo, porque los datos no salen de tu equipo. Pero las etiquetas -cloud de Ollama, como gemma4:cloud, se ejecutan en la nube de Ollama, y los registros e integraciones también cuentan.