Apple ha recentemente pubblicato un documento tecnico dettagliato sui nuovi modelli linguistici presentati durante la WWDC25. Il report, intitolato "Apple Intelligence Foundation Language Models - Tech Report 2025", offre uno sguardo approfondito su architettura, ottimizzazioni e fonti di dati, rivelando alcune scelte tecniche davvero interessanti.
Il modello on-device, destinato a funzionare direttamente sui dispositivi, è stato diviso in due blocchi per migliorare prestazioni e gestione della memoria. Il primo blocco contiene il 62,5% dei layer transformer, mentre il secondo, privo di proiezioni key e value, richiede il 37,5% in meno di memoria per la cache e riduce il tempo di generazione del primo token della stessa percentuale, senza sacrificare la qualità dell'output
Capitolo Cloud
Sul versante cloud, Apple ha progettato un'architettura innovativa per il suo Private Cloud Compute: il Parallel-Track Mixture-of-Experts (PT-MoE). Questo approccio utilizza percorsi paralleli per elaborare i token e attiva solo "esperti" specifici per ogni compito. Così facendo, il modello guadagna in efficienza, evitando colli di bottiglia e migliorando la velocità di risposta, mantenendo al contempo una comprensione contestuale globale.
Un altro miglioramento rilevante riguarda il supporto multilingue, da sempre criticato come punto debole dell'offerta IA di Apple. L'azienda ha aumentato la quantità di dati multilingue dall'8% al 30% e ha ampliato il vocabolario dei token da 100.000 a 150.000, con significativi miglioramenti nei benchmark non in lingua inglese.
Ulteriori dettagli
Per quanto riguarda le fonti dei dati, Apple conferma l'utilizzo di contenuti web pubblici tramite Applebot (rispettando robots.txt), dati concessi in licenza da editori, dati sintetici generati internamente per compiti specifici (codice, matematica, visione), e oltre 10 miliardi di coppie immagine-didascalia per il training visivo.
Questo report mostra che, pur con ritardi rispetto alla concorrenza, Apple sta tentando di lavorare con un approccio tecnico, puntando su performance locali e modularità come base per la sua visione dell'intelligenza artificiale. Non sappiamo se questa strategia risulterà essere vincente a lungo andare, sicuramente alcuni prototipi IA dell'azienda di Cupertino - su tutti Siri - ha dimostrato di avere delle lacune rispetto ad altri, non a caso il suo hub smart home è stato nuovamente rinviato.
