Liquid AI lanza MoE 8B-A1B entrenado con 38 billones de tokens

Liquid AI ha revelado su nuevo modelo de lenguaje 8B-A1B MoE, entrenado con nada menos que 38 billones de tokens, una cifra que lo coloca directamente en conversación con los modelos más ambiciosos del mercado. No es solo un número grande: es una señal de que esta startup está jugando en serio en la liga de los grandes modelos de lenguaje.

El contexto: una startup con ambiciones poco discretas

Liquid AI no es un nombre nuevo, pero tampoco es OpenAI. Fundada por ex investigadores del MIT, la compañía ha apostado desde el principio por arquitecturas alternativas a los transformers clásicos, con sus Liquid Neural Networks (LNNs). Sin embargo, este nuevo modelo marca un giro interesante: adoptan la arquitectura Mixture of Experts (MoE), la misma que usa Mistral con Mixtral o Google con Gemini, lo que indica una madurez estratégica notable.

Los detalles: qué es exactamente el 8B-A1B MoE

El modelo tiene 8 mil millones de parámetros totales, pero solo activa 1 mil millones (1B) por inferencia gracias a la arquitectura MoE, lo que lo hace significativamente más eficiente en cómputo que un modelo denso equivalente. El entrenamiento sobre 38 billones de tokens es un volumen de datos que supera lo que muchos modelos de mayor tamaño han visto. Los datos clave son:

• Parámetros totales: 8B
• Parámetros activos por inferencia: ~1B
• Tokens de entrenamiento: 38 billones
• Arquitectura: Mixture of Experts (MoE)

Esto sugiere que Liquid AI está optimizando agresivamente para la eficiencia en inferencia, no solo para los benchmarks de papel.

Análisis: ¿por qué importa este movimiento?

Un modelo MoE con solo 1B de parámetros activos entrenado con 38T de tokens es, básicamente, un experimento en escalado de datos sobre escalado de parámetros, una tendencia que ganó tracción tras las conclusiones de papers como Chinchilla. Si los resultados son competitivos, Liquid AI habrá demostrado que no necesitas un modelo masivo para obtener calidad masiva, lo que tiene implicaciones enormes para el despliegue en edge y dispositivos con recursos limitados. El movimiento también posiciona a Liquid AI como alternativa real para empresas que buscan modelos eficientes y desplegables, no solo impresionantes en papel.

Implicaciones: el mercado de modelos eficientes se calienta

Este lanzamiento llega en un momento en que la industria empieza a cuestionar si más parámetros siempre significa mejor modelo. Meta con Llama, Mistral y ahora Liquid AI están construyendo un ecosistema donde la eficiencia es la nueva ventaja competitiva. Si el 8B-A1B MoE demuestra rendimiento sólido en benchmarks reales, podría acelerar la adopción de MoE como arquitectura estándar para modelos open-weight de próxima generación, y presionar a los laboratorios más grandes a justificar mejor sus elecciones de diseño.

La pregunta que queda en el aire: ¿podrá Liquid AI monetizar esta eficiencia antes de que los grandes la copien?

Fuente: Hacker News