Un recente documento di ricerca di Apple rivela un innovativo metodo per eseguire l’IA generativa su iPhone con RAM limitata, aprendo la strada a funzionalità avanzate di intelligenza artificiale su dispositivi con specifiche più contenute.
Mentre molti telefoni Android di fascia alta si preparano a offrire funzionalità di intelligenza artificiale (IA) generativa nel 2024, Apple è stata relativamente silenziosa su questo fronte. Tuttavia, un recente documento di ricerca pubblicato dall’azienda ha gettato luce su come potrebbe implementare l’IA a livello locale sui suoi iPhone.
Il Financial Times ha scoperto un documento di ricerca di Apple che delinea una soluzione per l’esecuzione di modelli linguistici di grandi dimensioni (LLM) su dispositivi con RAM limitata. Il documento descrive come Apple intende gestire i “parametri del modello” in memoria, spostando pezzi di essi nella RAM del dispositivo all’occorrenza, piuttosto che caricare l’intero modello nella RAM.
Secondo l’estratto del documento, questi metodi permettono di eseguire modelli fino al doppio della dimensione della DRAM disponibile, con un miglioramento della velocità di inferenza di 4-5 volte e di 20-25 volte rispetto ai tradizionali metodi di caricamento su CPU e GPU. Questo sviluppo potrebbe rivoluzionare il modo in cui l’IA generativa opera sui dispositivi, rendendo possibile un assistente AI on-device che funziona a velocità di conversazione e permettendo generazioni di immagini/testi e riassunti di articoli molto più rapidi.
La velocità è un fattore cruciale per l’IA on-device. Avere una grande quantità di RAM offre velocità di lettura/scrittura superiori, essenziali per ridurre i tempi di attesa per una risposta o un risultato finito. Tuttavia, la soluzione proposta da Apple suggerisce che non è necessario disporre di molta RAM per garantire un’esperienza reattiva di intelligenza artificiale sul dispositivo.
Questa innovazione potrebbe permettere sia ai vecchi che ai nuovi modelli di iPhone di offrire funzioni di IA generativa on-device. Ad esempio, mentre la serie iPhone 11 offre solo 4 GB di RAM e l’iPhone 15 ne offre 6 GB, entrambi potrebbero beneficiare di queste funzionalità avanzate grazie all’approccio proposto da Apple.
Apple non è l’unico produttore a lavorare per ottimizzare l’ingombro degli LLM. Anche i recenti processori di punta di Qualcomm e MediaTek supportano la precisione INT4 per ridurre le dimensioni di questi modelli. Ciò indica che l’intero settore è sulla strada verso l’innovazione, cercando continuamente modi per diminuire i requisiti di sistema per l’IA on-device. Questo potrebbe alla fine permettere anche ai telefoni di fascia più bassa di offrire queste capacità avanzate.
