Il modello S1, disponibile in open source su GitHub, è stato addestrato in soli 26 minuti sempre attraverso la distillazione. Per addestrarlo sono state utilizzate le risposte del modello Gemini 2.0 Flash Thinking Experimental di Google (che però nei termini di servizio vieta di utilizzarlo per sviluppare sistemi concorrenti) e impiegando per l’addestramento soltanto 16 GPU H100 di Nvidia.
Nel paper in cui hanno presentato il loro modello, i ricercatori affermano che S1 ha raggiunto in alcuni benchmark (i test con cui si misurano le prestazioni delle intelligenze artificiali) di matematica e programmazione livelli simili a quelli di OpenAI o1 e di DeepSeek R1. Come questi ultimi, anche S1 è un modello che “ragiona” (o meglio, che sfrutta il calcolo per inferenza, anche detto sistema chain-of-thought, per suddividere la generazione di risposte in passi logici successivi).
E quindi, stiamo entrando in una fase in cui chiunque, con poche decine di dollari, può crearsi il suo modello linguistico avanzato? Per certi versi, la risposta è sì. Attraverso la distillazione dell’intelligenza artificiale è però possibile soltanto ricreare le capacità di modelli già esistenti (e al massimo fornirli di nuove capacità), mentre per sviluppare nuovi e più avanzati sistemi di intelligenza artificiale sono comunque necessarie le enormi risorse a disposizione soltanto dei protagonisti del settore.
I limiti della distillazione
Ciononostante, l’avvento dei modelli addestrati tramite la distillazione rende sempre più difficile giustificare investimenti dell’entità di Stargate, il colossale progetto da 500 miliardi di dollari per fornire gli Stati Uniti – come ha detto Trump – “dell’infrastruttura cloud più grande della storia”, o i 200 miliardi promessi da Ursula von der Leyen per consentire all’Unione Europea di tenere testa alle superpotenze dell’intelligenza artificiale.
A che servono investimenti di tale entità se poi qualunque startup – cinese o meno, in modo legale o illecito, con metodi facilmente riconoscibili o impossibili da identificare – è in grado di replicare gli ultimi e costosissimi breakthrough tecnologici con una frazione dei costi, del tempo e dei consumi? “Le aziende americane devono rendere sempre più difficile poter sfruttare la tecnica della distillazione”, ha spiegato, parlando con Fox News, David Sacks, il socio di Elon Musk incaricato da Trump di delineare le politiche statunitensi in materia tecnologica (senza però spiegare se e come sia possibile farlo).
Fonte : Wired
