A Meta servirà una potenza di calcolo dieci volte superiore a quella utilizzata per Llama 3 per addestrare Llama 4, la nuova versione del modello di linguaggio di grandi dimensioni (Llm) di Meta. E quelli che verranno in futuro, ne richiederanno ancora di più. Lo ha affermato nella call dedicata ai guadagni del secondo trimestre Mark Zuckerberg, le cui parole sono state riportate da TechCrunch.
Per l’ad resta “difficile prevedere come la situazione si evolverà in futuro. Ma a questo punto, preferirei rischiare di sviluppare la capacità prima che sia necessaria piuttosto che troppo tardi, dati i lunghi tempi di consegna per l’avvio di nuovi progetti di inferenza“.
Meta ha rilasciato Llama 3 con 80 miliardi di parametri ad aprile, per poi lanciare a fine luglio Llama 3.1 405B, una versione aggiornata del modello con 405 miliardi di parametri. Quantità che di fatto ne fa il più grande modello open source del gigante di Menlo Park. La direttrice finanziaria Susan Li ha già anticipato la futura realizzazione di progetti di data center e la creazione di capacità per addestrare nuovi modelli di intelligenza artificiale. Investimenti che in prospettiva aumenteranno le spese in conto capitale del 2025.
In questo senso, anche i dati pregressi indicano quanto sia costoso addestrare i grandi modelli linguistici. Le spese in conto capitale di Meta sono infatti aumentate di quasi il 33%, toccando quota 8,5 miliardi di dollari nel secondo trimestre del 2024, oltre due in più dei 6,4 miliardi di dollari dello stesso periodo dell’anno precedente. Risorse spese soprattutto per investire in server, data center e infrastrutture di rete.
“Mentre espandiamo la capacità di addestramento dell’intelligenza artificiale generativa per far progredire i nostri modelli di base – ha affermato Li – continueremo a costruire la nostra infrastruttura in un modo che ci offra flessibilità rispetto modo in cui la utilizzeremo nel tempo”.
Fonte : Wired
