Modelli AI serviti in proprio
Modelli linguistici e generativi fatti girare su schede grafiche affittate al secondo, con il conto sotto controllo e i dati che non escono.
Far girare un modello AI in proprio conviene in due casi: quando il conto a consumo comincia a salire, e quando i dati non devono uscire. Fuori da questi due casi, l’abbonamento a un servizio è la scelta giusta e va detto.
Il conto vero
Le schede grafiche si affittano al secondo. Un video che sul portatile richiedeva due ore e quaranta si risolve in otto minuti per undici centesimi, e lo stesso lavoro comprato a servizio ne costava quasi sei euro. Ma il risparmio esiste solo se la scheda si spegne: dimenticarla accesa una notte azzera il vantaggio di un mese.
Le tre reti che evitano il disastro
Spegnimento automatico dopo pochi minuti di inattività. Una scadenza condivisa fra tutti i processi, con un battito che la rinnova finché qualcuno sta davvero lavorando. E un limite rigido a un contenitore per volta. Servono tutte e tre: è già successo che una guardia scritta male provocasse dieci schede accese insieme, e che l’interfaccia di un modello lasciata aperta in una scheda del browser continuasse a risvegliare la macchina da sola.
Scegliere la scheda con i numeri
La memoria che serve non si indovina: si calcola dal contesto richiesto. Con una cifra alla mano si sa in anticipo se un lavoro sta nella scheda economica o richiede quella grande, e la scelta si può automatizzare. Lo stesso vale per il confronto: la scheda che costa il doppio rende il venti per cento in più, quindi per quasi tutti i lavori non conviene — ma bisogna averlo misurato, non supposto.
Track record
- Modello linguistico da 27 miliardi di parametri servito con interfaccia compatibile con quella standard, 27 parole al secondo a 1,95 dollari l'ora
- Confronto misurato fra schede: il doppio del prezzo per il venti per cento di velocità in più, quindi la scheda costosa non conviene
- Scelta automatica della scheda in base alla memoria richiesta dal contesto, calcolata e non indovinata
- Tre reti di sicurezza contro la scheda dimenticata accesa: spegnimento automatico, scadenza condivisa, un solo contenitore per volta
- Instradamento su scheda già calda solo quando conviene davvero: avvio da 33 secondi a zero, un minuto di lavoro risolto con sette secondi di scheda
- Modello di stile addestrato in proprio in un'ora e venti per circa un euro e mezzo
- Produzione di immagini passata da 48 secondi sul portatile a 1,79 secondi sulla scheda affittata
Tool
Modalllama.cppComfyUILoRAFLUXWanLTX