Apple sviluppa un metodo innovativo per eseguire LLM su iPhone

Lo scorso maggio è stato rivelato che Apple sta già utilizzando internamente un proprio chatbot AI, chiamato “Ajax” (rinominato poi “Apple GPT”). Recentemente i ricercatori Apple hanno pubblicato un articolo intitolato “LLM in a flash: Efficient Large Language Model Inference with Limited Memory”, che sembra essere orientato a consentire l’esecuzione di un sistema in stile ChatGPT su iPhone. I chatbot basati su LLM come ChatGPT e Claude consumano molte risorse e, in genere, richiedono grandi quantità di memoria per funzionare. Ciò rappresenta una sfida per dispositivi come gli iPhone che hanno una capacità di memoria limitata. Per affrontare questo problema, i ricercatori Apple hanno sviluppato un nuovo metodo che utilizza la memoria flash – la stessa memoria in cui vengono salvate app e foto – per archiviare i dati del modello AI.

Apple: le due tecniche chiave per rendere più efficienti gli LLM su iPhone

I ricercatori hanno notano che la memoria flash nei dispositivi mobile è maggiore rispetto alla RAM tradizionalmente utilizzata per l’esecuzione dei LLM. Il loro metodo aggira tale limitazione utilizzando due tecniche chiave che riducono al minimo il trasferimento dei dati e massimizzano il throughput della memoria flash. La prima è il Windowing. Si tratta di un metodo di “riciclo” che riutilizza i dati già elaborati, invece di caricarne di nuovi. Ciò rende il processo più rapido e fluido. L’altra è il Row-Column Bundling. Questa raggruppa i dati in modo efficiente per essere per letti più velocemente dalla memoria flash. Ciò accelera la capacità dell’AI di comprendere e generare linguaggio. La combinazione di questi metodi consente ai modelli di gestire fino al doppio della memoria disponibile dell’iPhone. Ciò si traduce in un aumento della velocità di 4-5 volte sui processori standard (CPU) e di 20-25 volte sui processori grafici (GPU).

La svolta nell’efficienza dell’intelligenza artificiale apre nuove possibilità per i futuri iPhone. Ad esempio, potranno essere introdotte funzionalità Siri più avanzate, traduzione linguistica in tempo reale e sofisticate funzionalità AI nella fotocamera e nella realtà aumentata. La tecnologia pone inoltre le basi per consentire agli iPhone di eseguire complessi assistenti AI e chatbot sul dispositivo, come ad esempio una nuova versione di Siri più intelligenti. Secondo quanto riferito da The Information e dall’analista Jeff Pu, Apple introdurrà una sorta di funzionalità di intelligenza artificiale generativa su ‌iPhone‌ e iPad verso la fine del 2024, in concomitanza con l’uscita di iOS 18. Lo scorso ottobre, Pu ha dichiarato che Apple nel 2023 ha costruito alcune centinaia di server AI, con altri in arrivo nel 2024. Secondo quanto riferito, Apple offrirà una combinazione di AI basata su cloud e AI con elaborazione sul dispositivo.