Ejecutar un LLM en local en tu empresa
Ejecutar un LLM en local ya no es un ejercicio de laboratorio. La pregunta ya no es si es posible, sino qué hardware hace falta, qué modelo elegir y cómo conectar todo eso a usos de negocio reales. Aquí están los elementos de decisión, sin jerga innecesaria.
Lo que lo determina todo: la memoria
La restricción dominante de un LLM local no es la potencia de cálculo, es la memoria. Para responder, un modelo debe caber entero en memoria accesible por el procesador gráfico. Si no cabe, no se ejecuta, o se ejecuta a una lentitud inservible.
El orden de magnitud es simple. Un modelo anunciado con 70 000 millones de parámetros ocupa unos 140 GB en precisión de 16 bits, unos 70 GB en 8 bits y unos 40 GB en 4 bits. A eso se añade la caché de atención, que crece con la longitud del contexto: analizar un contrato de cien páginas consume bastante más que una pregunta corta.
Por eso la memoria unificada cambia las cosas. Los 128 GB de memoria unificada del superchip NVIDIA GB10 Grace Blackwell se comparten entre el procesador y la parte gráfica, sin transferencias costosas entre dos espacios separados. Un modelo que ayer exigía varias tarjetas profesionales cabe en una caja de escritorio.
La cuantización, en claro
Cuantizar un modelo consiste en reducir la precisión numérica de sus pesos: pasar de 16 bits a 8, o incluso a 4. El modelo ocupa menos memoria y responde más rápido, a costa de algo de calidad.
En la práctica, en los usos profesionales habituales, pasar a 8 bits es casi indoloro. Pasar a 4 bits sigue siendo muy aprovechable para redacción, síntesis o extracción de información. Resulta más discutible en razonamiento largo o código complejo. Lo correcto es probar sobre tus propios documentos en lugar de fiarse de una clasificación genérica.
Qué modelo elegir
El reflejo natural es apuntar al modelo más grande posible. Rara vez es el cálculo correcto. Un modelo de tamaño medio, rápido y bien conectado a tus datos, produce mejores resultados de negocio que un modelo enorme y lento que ignora tu contexto.
Tres criterios cuentan más que el número de parámetros.
- La licencia: comprueba que autoriza el uso comercial y la ejecución en tu propio hardware, sin cláusula de envío de datos.
- La calidad en tu idioma de trabajo: muchos modelos se evalúan en inglés, y las diferencias en otros idiomas son a veces importantes.
- La longitud de contexto realmente útil: un contexto anunciado como muy amplio no siempre se aprovecha correctamente en toda su extensión.
Un modelo solo no sirve de nada
Es el error más frecuente de los primeros proyectos internos. Se instala un modelo, se obtiene una ventana de conversación y el entusiasmo se apaga en tres semanas. Un LLM sin acceso a tus documentos solo produce texto genérico.
Lo que crea valor es la capa que lo rodea: la indexación de tus documentos para que el modelo responda apoyándose en ellos, la gestión de permisos para que cada usuario vea solo lo que le corresponde, el historial, los espacios de trabajo por equipo y la integración con las herramientas existentes.
Es exactamente lo que Devana OS aporta a DIWY. La box no expone un modelo en bruto: ejecuta Suite 366, la suite de trabajo, y Devana, la plataforma de IA para empresas, ya conectadas al modelo y totalmente sin conexión.
Cuántos usuarios en una sola máquina
La pregunta aparece siempre. Una inferencia ocupa la máquina mientras produce su respuesta, pero el uso real es intermitente: alguien pregunta, lee la respuesta, trabaja y vuelve diez minutos después.
En DIWY, la configuración elegida soporta una veintena de usuarios simultáneos en los usos habituales. Para una pyme, un despacho o una dirección de negocio, eso cubre lo esencial sin sala de servidores ni climatización dedicada.
El coste real, comparado
El cálculo honesto no se limita al precio del hardware. Hay que contar la integración, el mantenimiento, las actualizaciones de modelos y el tiempo interno dedicado a todo ello. Es esa partida, y no el hardware, la que descarrila la mayoría de los proyectos hechos en casa.
El alquiler desplaza ese riesgo. DIWY se ofrece a 500 € al mes con un compromiso de doce meses, o 750 € al mes sin compromiso, con una fianza reembolsable de 750 € al hacer el pedido. El hardware, el sistema y las dos aplicaciones están incluidos, y la box se entrega en 72 h.
Para recordar
- La memoria disponible, y no la potencia bruta, determina qué modelos puedes ejecutar.
- La cuantización a 8 bits es casi indolora en los usos profesionales habituales.
- Un modelo sin indexación de tus documentos ni gestión de permisos no produce valor de negocio.
- El coste oculto de un LLM local es la integración y el mantenimiento, no la compra del hardware.
Preguntas frecuentes
¿Cuánta memoria hace falta para un LLM utilizable en la empresa?
Cuenta con al menos 48 GB para trabajar con comodidad con un modelo de tamaño medio y contextos largos. Los 128 GB de memoria unificada de DIWY dejan margen para modelos más grandes y varios usuarios simultáneos.
¿Funciona un LLM local sin conexión a internet?
Sí, ese es todo el interés. Una vez instalados los modelos, la inferencia no necesita ningún acceso de red saliente. En DIWY, Suite 366 y Devana funcionan totalmente sin conexión.
¿Se puede entrenar el propio modelo en local?
Un entrenamiento completo desde cero sigue fuera del alcance de una máquina de escritorio. En cambio, el ajuste fino de un modelo existente y sobre todo la indexación de tus documentos, que cubre la mayoría de las necesidades de negocio, son perfectamente realizables en local.
¿Hace falta un servidor en rack y una sala climatizada?
No. DIWY es una caja de escritorio que se conecta a un enchufe estándar y a tu red. No se necesita ninguna infraestructura específica.
Tu IA, dentro de tus paredes.
DIWY está disponible ya, con entrega en 72 h y preconfigurada con tus aplicaciones.
Pedir una DIWY