Intel velocizza i modelli AI con le sue GPU Arc, grazie a IPEX-LLM

L’innovazione tecnologica nel campo dell’intelligenza artificiale (AI) è alimentata da Large Language Models (LLM) che necessitano di potenti risorse computazionali per essere eseguiti. Questi modelli avanzati, come Llama, sono generalmente eseguiti su GPU di alta gamma, costose e complesse. Intel ha voluto introdurre una soluzione che democratizza l’accesso ai modelli AI, rendendo possibile il loro funzionamento su hardware Intel grazie a un’apposita estensione.

Cos’è Intel IPEX-LLM e come funziona?

IPEX-LLM è un’estensione sviluppata da Intel per PyTorch, una delle librerie di deep learning più popolari. L’estensione consente ai modelli AI di funzionare su piattaforme equipaggiate con processori e GPU Intel, sfruttando le potenzialità dell’hardware senza necessitare di costosi acceleratori di terze parti.

Con IPEX-LLM, Intel ha reso possibile l’esecuzione di modelli come Llama direttamente su GPU Intel Arc, innovazione significativa per gli sviluppatori che desiderano utilizzare modelli AI all’avanguardia senza dover ricorrere a soluzioni hardware esclusive.

Compatibilità con DeepSeek R1

Intel ha annunciato che l’estensione IPEX-LLM è ora compatibile con il modello DeepSeek R1, utilizzando la versione Portable Zip di llama.cpp, una libreria open source che facilita l’esecuzione di Llama su varie piattaforme.

La nuova integrazione consente agli sviluppatori di eseguire DeepSeek-R1-671B-Q4_K_M su GPU Intel Arc, con prestazioni ottimizzate grazie alla compatibilità tra IPEX-LLM e il sistema llama.cpp Portable Zip.

La disponibilità del pacchetto Portable Zip, disponibile in questo repository GitHub, permette agli sviluppatori di configurare e far girare modelli AI su diverse piattaforme, incluse quelle basate su sistemi operativi come Windows e Linux.

Requisiti di sistema e configurazioni consigliate

Con la versione aggiornata e migliorata dell’estensione IPEX-LLM, Intel vuole iniziare a “marcare il territorio” in ambito AI dimostrando come gli utenti possano servirsi di configurazioni economiche per eseguire i modelli più recenti.

A supporto di IPEX-LLM e DeepSeek-R1-671B-Q4_K_M, Intel ha delineato i seguenti requisiti hardware e software:

• Processori: Intel Core Ultra, Intel Core di 11a-14a generazione o Intel Xeon.
• GPU: Intel Arc A Series e B Series, con supporto per il modello Arc A770.
• Sistema operativo: compatibilità con le versioni più recenti di Windows e Linux.

L’architettura Intel Arc è progettata per gestire carichi di lavoro AI avanzati; l’integrazione con PyTorch tramite IPEX-LLM rappresenta un vantaggio significativo per chi sviluppa applicazioni AI su piattaforme Intel.

Considerazioni e limitazioni

Sebbene l’implementazione di IPEX-LLM su Intel Arc offra prestazioni elevate, al momento sembrano essere presenti alcune limitazioni quando si lavora con finestre di contesto di grandi dimensioni in input. L’esecuzione di prompt con qualche decina di token non presenta problemi significativi; l’utilizzo di contesti più complessi può però al momento generare colli di bottiglia.

In ogni caso, lo sviluppo dell’estensione IPEX-LLM da parte di Intel e la sua compatibilità con piattaforme come llama.cpp, segna un passo importante verso la democratizzazione delle risorse AI, riducendo la necessità di hardware costoso e rendendo l’AI di ultima generazione più accessibile a una gamma più ampia di sviluppatori.