Salta al contenuto
Alessandro Manzullo Communication Contattaci
Contattaci

Skill

Modelli AI serviti in proprio

Modelli linguistici e generativi fatti girare su schede grafiche affittate al secondo, con il conto sotto controllo e i dati che non escono.

Far girare un modello AI in proprio conviene in due casi: quando il conto a consumo comincia a salire, e quando i dati non devono uscire. Fuori da questi due casi, l’abbonamento a un servizio è la scelta giusta e va detto.

Il conto vero

Le schede grafiche si affittano al secondo. Un video che sul portatile richiedeva due ore e quaranta si risolve in otto minuti per undici centesimi, e lo stesso lavoro comprato a servizio ne costava quasi sei euro. Ma il risparmio esiste solo se la scheda si spegne: dimenticarla accesa una notte azzera il vantaggio di un mese.

Le tre reti che evitano il disastro

Spegnimento automatico dopo pochi minuti di inattività. Una scadenza condivisa fra tutti i processi, con un battito che la rinnova finché qualcuno sta davvero lavorando. E un limite rigido a un contenitore per volta. Servono tutte e tre: è già successo che una guardia scritta male provocasse dieci schede accese insieme, e che l’interfaccia di un modello lasciata aperta in una scheda del browser continuasse a risvegliare la macchina da sola.

Scegliere la scheda con i numeri

La memoria che serve non si indovina: si calcola dal contesto richiesto. Con una cifra alla mano si sa in anticipo se un lavoro sta nella scheda economica o richiede quella grande, e la scelta si può automatizzare. Lo stesso vale per il confronto: la scheda che costa il doppio rende il venti per cento in più, quindi per quasi tutti i lavori non conviene — ma bisogna averlo misurato, non supposto.

Track record

  • Modello linguistico da 27 miliardi di parametri servito con interfaccia compatibile con quella standard, 27 parole al secondo a 1,95 dollari l'ora
  • Confronto misurato fra schede: il doppio del prezzo per il venti per cento di velocità in più, quindi la scheda costosa non conviene
  • Scelta automatica della scheda in base alla memoria richiesta dal contesto, calcolata e non indovinata
  • Tre reti di sicurezza contro la scheda dimenticata accesa: spegnimento automatico, scadenza condivisa, un solo contenitore per volta
  • Instradamento su scheda già calda solo quando conviene davvero: avvio da 33 secondi a zero, un minuto di lavoro risolto con sette secondi di scheda
  • Modello di stile addestrato in proprio in un'ora e venti per circa un euro e mezzo
  • Produzione di immagini passata da 48 secondi sul portatile a 1,79 secondi sulla scheda affittata

Tool

Modalllama.cppComfyUILoRAFLUXWanLTX

Alessandro Manzullo Communication
Passo 1Di cosa vi occupate?