Por qué dejé de correr LLMs en la nube y por qué tú también deberías pensarlo

septiembre 8, 2026 Alfonso Moreno | Sysadmin Senior 60 Visitas 10 min de lectura

En julio de 2026, Hugging Face publicó la cronología forense de un incidente que ya cubrimos en detalle: sus propios modelos comerciales se negaron a analizar los logs de un ataque, así que terminaron usando GLM-5.2 localmente. Es el caso más fuerte hasta la fecha del argumento que vengo haciendo hace meses: la IA local dejó de ser una postura ideológica para convertirse en una capacidad defensiva. Este post no es sobre privacidad. Es sobre por qué tu próximo proveedor de inferencia debería ser tu propio hardware.

TL;DR — Lo que vas a tener al final

Tiempo de setup: 2-3 horas para el primer LLM funcionando.
Requisitos: GPU NVIDIA con 12+ GB VRAM (RTX 3060 mínimo).
Resultado: LLM local con API OpenAI-compatible, integrable con n8n/Open WebUI.
Troubleshooting: nvidia-smi, ollama ps, OOM con modelos grandes.

El argumento que todos quieren tener (y que ya está gastado)

Cada vez que alguien escribe sobre IA local, el comentario inevitable aparece en menos de tres horas: “¿Y si no me importa la privacidad?”. Es la respuesta perfecta para no tener la conversación. Porque asume que el único motivo para correr un modelo en tu propio servidor es esconder algo. Y esa suposición era cierta en 2023, cuando llama.cpp producía respuestas alucinadas a 4 tokens por segundo en una MacBook Pro con ventilador a máximo RPM. Pero dejó de ser cierta en algún momento de 2025, y para julio de 2026 ya es actively incorrecta.

Hay tres razones por las que correr LLMs locales dejó de ser opcional. Las voy a poner en orden de pragmatismo, no de ideologia.

1. El costo por token ya no es lo que la gente cree

El mito persistente: “GPT-5.5 sale a $5 por millón de tokens de input. Ollama es gratis. Por lo tanto Ollama gana si tu volumen es alto”. Falso en ambos lados.

Según el análisis de SitePoint de agosto 2026, comparar APIs cloud con inferencia local por precio por token es una trampa. La comparación honesta es TCO a 12 y 36 meses, sumando:

Costo de hardware (un nodo H100 de 80 GB cuesta ~$25.000 a $35.000 nuevo, ~$8.000 a $15.000 usado en 2026)
Electricidad (~300W continuos por GPU, ~$0.10/kWh promedio, ~$260/mes por nodo)
Mantenimiento (driver updates, recompilación de kernels CUDA, fallos térmicos)
Latencia que se paga en experiencia de usuario: según PromptQuorum, los modelos locales son típicamente 10× más lentos que GPT-5.6 en inferencia interactiva

El cálculo cambia según el caso de uso. Para 100 empleados haciendo 50 prompts diarios cada uno (~750.000 tokens/día, ~23M/mes), Reddit tiene un hilo activo de una empresa que está quemando $50.000/mes en Claude y descubrió que con dos nodos H100 propios podían cubrir 80% del volumen a break-even en 14 meses.

El dato honesto: para volúmenes bajos a medianos, cloud sigue ganando en TCO. Para volúmenes altos y consistentes, local empieza a pagar la inversión entre los 12 y 18 meses. No es una decisión obvia. Pero es una decisión que deberas estar haciendo con datos, no con el meme de “Ollama es gratis”.

2. Los filtros que te protegen también te pueden impedir defenderte

Esto no es teoría. Pasó. Está documentado.

El 21 de julio de 2026, Hugging Face publicó la cronología completa del incidente donde agentes autónomos de OpenAI atacaron su infraestructura. Lo que no se conocía hasta el 27 de julio: durante la investigación forense, el equipo de Hugging Face intentó usar Claude y GPT contra los logs del ataque. No pudieron.

Los modelos comerciales se negaron a procesar payloads reales de exploit, comandos de C2, artefactos binarios sospechosos. No porque no fueran capaces — porque sus filtros de seguridad no distinguen entre un respondedor de incidentes y un atacante. Es razonable desde su perspectiva. Es un problema desde la tuya.

¿La solución? Hugging Face corrió GLM-5.2 (de Zhipu AI) en su propia infraestructura. Modelo open-weight, licencia MIT. Lo que hicieron: análisis de 17.000+ eventos de log con payloads reales, sin que ningún dato del atacante saliera de su perímetro.

La frase exacta de su divulgación: “Esto tuvo un segundo beneficio: ningún dato del atacante, ni ninguna de las credenciales a las que hacía referencia, salió de nuestro entorno.”

Si eres una empresa mediana procesando datos sensibles de clientes, el argumento ya no es “la nube puede filtrar”. Es “la nube tiene un protocolo de seguridad que activa por defecto sobre tus datos, y ese protocolo puede impedirte investigar cuando más lo necesitas”. El control de qué puede y qué no puede hacer un modelo sobre tus datos es algo que solo tienes con inferencia local.

3. El vendor lock-in se está cerrando más rápido de lo que la gente cree

El tercer argumento es el menospreciado y el más importante a 24 meses vista.

En febrero 2026, los analistas de PremAI documentaron que el gasto agregado en APIs de modelo se duplicó a $8.4 mil millones en 2025. Esa cifra suena a crecimiento saludable hasta la lo combinas con otro dato: AIMultiple reporta que el precio de los modelos frontier ha caído de forma consistente — GPT-4 lanzó en marzo 2023 a $37.50 por millón de tokens de output, Claude Opus 5 estaba en $10 en julio 2026.

¿Qué significa esto? Que cada 12 meses el proveedor cloud que hoy te parece “barato” tiene margen para subir precios sin perder clientes. ¿Por qué? Porque tu código ya está integrado con su API, tu equipo ya aprendió su SDK, y migrar a otro proveedor cuesta semanas. Es el textbook vendor lock-in.

La inferencia local rompe ese lock-in de tres formas:

Puedes cambiar de modelo (GLM-5.2, Qwen 3, Llama 4, DeepSeek V4) sin tocar tu pipeline — solo cambias el GGUF
Puedes negociar con proveedores cloud desde una posición de fuerza: “si Anthropic sube más, tenemos un plan B rodando en 48 horas”
Si el proveedor desaparece o cambia de términos (como pasó con varias startups en 2024-2025), tu producto sigue funcionando

Cuándo NO correr localmente (sí, hay casos)

La honestidad importa. La inferencia local no es para todos.

Prototipado rápido: si estás validando una idea, la API cloud te da feedback en horas. Configurar un servidor de inferencia toma días.
Volúmenes impredecibles: si tu tráfico varía 100× entre valle y pico, pagar por uso en cloud te ahorra sobredimensionar hardware.
Modelos que no existen open-weight: si necesitas GPT-5.5 específico para una tarea donde los open-weights no están al nivel (mid-2026: razonamiento profundo multimodal, generación de video coherente), la API es tu única opción.

Para todo lo demás — chatbots de soporte, summarization, clasificación, generación de código, RAG sobre documentos propios, análisis de logs, transcripción — hay un modelo open-weight en 2026 que te cubre al 80-95% del nivel de GPT-5.6, y corre en hardware que ya tienes o que se paga en 14 meses.

Lo que no te van a decir los proveedores de cloud

Las páginas de pricing de OpenAI, Anthropic y Google no van a mencionar esto: cada llamada a su API pasa por un clasificador que decide si tu prompt cumple con sus políticas. En 2026, esos clasificadores están agresivamente configurados para maximizar safety, lo que significa que va a rechazar un porcentaje creciente de consultas que antes pasaban sin problema. Si trabajas en security, en red teaming, en análisis de incidentes, en research de vulnerabilidades, en IA adversarial — vas a empezar a toparte con falsos positivos.

Hugging Face tropezó con esto públicamente en julio 2026. Otros equipos lo están descubriendo en privado. Si tu caso de uso toca áreas grises (legítimamente grises, no maliciosamente grises), el camino cloud se va a hacer más estrecho cada trimestre.

Mi setup, por si te sirve

Después de varios meses moviendo cargas a local:

Servidor: 1× RTX 6000 Ada (48 GB VRAM) usado, ~$6.500
Modelos: GLM-5.2 70B (Q4_K_M) para razonamiento, Qwen 3 32B (Q5_K_M) para chat rápido
Runtime: llama.cpp con servidor HTTP, balanceado con Open WebUI para el equipo
Cuello de botella: la VRAM, no el costo eléctrico. Si pudiera volver atrás, compraría dos RTX 6000 en vez de esperar

¿Vale la pena? Para mi caso (análisis técnico, contenido, responder consultas internas con documentos propios), sí, y la decisión se justificó sola el primer día que Claude me rechazó un prompt legítimo sobre análisis de CVEs.

Veredicto

La IA local no es la postura ideológica que era en 2023. Es una decisión de ingeniería con tres ejes claros: costo predecible, control sobre qué puede y qué no puede hacer un modelo sobre tus datos, y soberanía técnica para no depender de un proveedor que puede cambiar de términos mañana.

El meme de “Ollama es gratis y privado” sigue siendo cierto. Pero le falta la otra mitad: en 2026, para workloads serios, local ya no es gratis pero sí es profesional. Y esa es la conversación que vale la pena tener.

Fuentes citadas

SitePoint — Local LLMs vs Cloud APIs: 2026 Total Cost of Ownership, agosto 2026. https://www.sitepoint.com/local-llms-vs-cloud-api-cost-analysis-2026/
PromptQuorum — Local LLM Trade-Offs 2026: Privacy vs Speed vs Quality, agosto 2026. https://www.promptquorum.com/local-llms/local-llm-limitations
PremAI — Self-Hosted LLM Guide: Setup, Tools & Cost Comparison, febrero 2026. https://www.premai.io/blog/self-hosted-llm-guide-setup-tools-cost-comparison-2026/
AIMultiple — LLM Pricing: Top 15+ Providers Compared, agosto 2026. https://aimultiple.com/llm-pricing
Hugging Face — Security incident disclosure — July 2026, 16 de julio de 2026. https://huggingface.co/blog/security-incident-july-2026
Hugging Face — Anatomy of a Frontier Lab Agent Intrusion, 27 de julio de 2026. https://huggingface.co/blog/agent-intrusion-technical-timeline
OpenAI — OpenAI and Hugging Face partner to address security incident during model evaluation, 21 de julio de 2026. https://openai.com/index/hugging-face-model-evaluation-security-incident/
r/LocalLLaMA — We’re burning $50k/month on Claude. How close can local get?, septiembre 2026. https://www.reddit.com/r/LocalLLM/comments/1tqwdk6/were_burning_50kmonth_on_claude_how_close_can/
Medium / Arsen Apostolov — How Much Does It Actually Cost to Run a Local LLM? Per Million Tokens, Measured, julio 2026. https://medium.com/@arsen.apostolov/how-much-does-it-actually-cost-to-run-a-local-llm-per-million-tokens-measured-4a90a7f31a48
Pooya Golchian — Ollama Cloud vs Claude & GPT: Cost 2026, julio 2026. https://pooyagolchian.com/blog/ollama-cloud-vs-claude-gpt-cost-2026/

¿Tu empresa ya hizo el cálculo? ¿O estás esperando que el proveedor cloud suba precios primero? Ponte en contacto en soylinux.com con tus dudas o tus propios desastres. Nos vemos en el próximo.

Preguntas frecuentes

¿Por qué Por qué dejé de correr LLMs en la nube y por qué tú también deberías pensarlo es relevante para sysadmins Linux?

Forma parte del flujo diario de administración. Los conceptos explicados se aplican directamente a servidores en producción y resuelven problemas reales que enfrentan sysadmins hispanohablantes.

¿Qué necesito para empezar con Por qué dejé de correr?

Distribución Linux actualizada (Debian, Ubuntu, RHEL, Fedora o Arch), acceso root, y conexión a internet. Para producción: entorno de staging separado antes de aplicar cambios.

¿Cuáles son los errores más comunes con Por qué dejé de correr?

Los tres más frecuentes: (1) saltar la lectura de logs, (2) aplicar cambios directos en producción sin probar, (3) olvidar permisos y ownership. La documentación y un plan de rollback siempre.

¿Cuándo usar Por qué dejé de correr y cuándo una alternativa?

Esta solución es ideal para el caso descrito. Alternativas como Docker, Ansible o configuración manual pueden ser mejores según contexto: portabilidad, escala y reproducibilidad son los factores clave.

¿Cómo migro desde una configuración previa a Por qué dejé de correr?

Documentar el estado actual, probar la nueva configuración en staging, validar funcionalmente, y aplicar en producción con rollback plan listo. Los posts de SoyLinux incluyen troubleshooting para los problemas más comunes.