Servidor para modelos abiertos: los datos no salen de tu infraestructura

Los de 7B a 14B cuantizados van cómodos: Hermes 3 de 8B pesa 4,7 GB de descarga. Los de 70B no: hermes3:70b son 40 GB, y aunque entraran, sin GPU no darían una velocidad usable.

Unos pocos tokens por segundo con un modelo de 8B cuantizado, y menos todavía si atiende varios pedidos a la vez. Para tareas por lote alcanza; para alguien esperando la respuesta del otro lado, no. Conviene medirlo con tu propio caso antes de comprometerse.

No: la infraestructura es de CPU. Si tu caso necesita GPU, escribinos y lo cotizamos.

Los pesos de Hermes 4 están publicados en Hugging Face con licencia Apache 2.0. En la biblioteca oficial de Ollama lo que está es Hermes 3; para otros pesos, llama.cpp corre cualquier archivo GGUF que le des.

La inferencia es local: el texto que le mandás al modelo no sale del servidor. Lo único que sale a internet es la descarga del modelo, la primera vez, y las actualizaciones que decidas bajar.

Recomendamos el SH6: 8 núcleos y 32 GB, con RAID y disco de reserva. Si arrancás con uno más chico para probar, después se sube de plan sin migrar ni reinstalar.

No. Los VPS y los servidores cloud se entregan sin administración: damos el servidor con el sistema operativo limpio, la IP fija y el acceso root, y de ahí en adelante la instalación, la configuración, las actualizaciones, la seguridad y los backups corren por tu cuenta. Los comandos de esta página son los de la documentación oficial de la herramienta, verificados sobre Ubuntu 24.04, y alcanzan para dejarla funcionando; el soporte de la herramienta en sí es el de su propia documentación y su comunidad. Si te trabás con algo del servidor, escribinos y te damos una mano. Y si preferís no ocuparte, nuestra software factory trabaja a medida sobre la misma infraestructura. Distinto es el hosting con panel, que sí instalamos y mantenemos nosotros.