Mixture of Experts (MoE)

Mixture of Experts (MoE) es una arquitectura de inteligencia artificial diseñada para mejorar la eficiencia y escalabilidad de los modelos de gran tamaño. En lugar de activar todos los parámetros en cada operación, MoE divide el modelo en “expertos” especializados en diferentes tipos de datos o tareas. Un mecanismo de enrutamiento decide qué expertos se utilizan en cada inferencia, lo que permite manejar enormes redes neuronales sin aumentar proporcionalmente el coste computacional. Este enfoque se ha convertido en tendencia en modelos de lenguaje de gran escala, al equilibrar rendimiento, precisión y optimización de recursos.