Meta ha annunciato il lancio di Muse Spark Open, l'estensione a dimensioni complete della serie di modelli Muse. A differenza di Muse Glimmer, rilasciato ad agosto come modello denso e compatto per l'uso locale, questa nuova versione implementa l'architettura Mixture-of-Experts (MoE). In particolare, Muse Spark Open sostituisce la rete feed-forward densa con un blocco MoE composto da 256 esperti, di cui 8 vengono selezionati da un router per ogni singolo token. Entrambi i modelli condividono lo stesso vocabolario e lo stesso tokenizer, ma Spark Open introduce capacità multimodali avanzate. Il sistema dispone di 62 livelli e di una dimensione nascosta di 8192. Muse Spark Open è il modello a dimensioni complete della serie di modelli Muse. Questa innovazione segna un passo avanti per l'intelligenza artificiale aperta.