Il meglio dei due mondi: on-premise per i dati sensibili, frontier LLM per tutto il resto.
Non devi scegliere tra ChatGPT (dati fuori dal perimetro) e un LLM da 70 miliardi di parametri on-premise (hardware enterprise da decine di migliaia di euro). C’è una terza via, oggi la più sostenibile per le PMI italiane: un modello locale leggero per i dati sensibili + routing intelligente verso i frontier LLM per tutto il resto.
Tre motivi per cui l’ibrido è la scelta più sensata oggi
L’AI aziendale nel 2026 non è più un “o ChatGPT o on-premise”. La tecnologia è maturata abbastanza da permettere un modello intermedio che risolve i problemi di entrambi gli estremi. Tre ragioni concrete:
- Hardware consumer basta davvero. Una workstation con una singola GPU consumer di fascia alta — costo nell’ordine delle migliaia di euro, non delle decine di migliaia — oggi fa girare LLM open-source da 7-13 miliardi di parametri (Llama, Mistral, Qwen) con qualità più che sufficiente per il 70-80% dei casi d’uso aziendali. Dimentica H100 e A100.
- Il costo cloud non esplode. Solo le query non-sensibili (riassunti pubblici, traduzioni, brainstorm, generazione codice generico) vanno al frontier LLM via API. Il volume effettivo che paghi è una frazione di quello che avresti con un approccio 100% cloud. La fattura mensile diventa prevedibile.
- Compliance dove serve, performance dove serve. Contratti, dati clienti, documenti interni, codice proprietario restano sui tuoi server. Traduzioni di documentazione pubblica, prime bozze commerciali, ricerche su fonti aperte escono verso i frontier LLM. Il meglio dei due mondi, senza dover scegliere.
In altre parole: la stessa logica del framework decisionale cloud/on-premise per gli ERP, applicata all’intelligenza artificiale.
Confronto 3-way: cloud puro, on-premise puro, ibrido
Scenario di riferimento: PMI italiana di 30-70 dipendenti, 3.000-7.000 query AI al mese, circa un terzo delle query su dati sensibili (contratti, clienti, dati fiscali, codice proprietario).
Letture chiave: l’ibrido costa circa come il 100% cloud, ma con compliance assicurata. L’on-premise puro costa 2-3 volte l’ibrido e richiede competenze di gestione hardware che molte PMI non hanno in casa. I range tengono conto di scenari diversi — la discovery serve a posizionare il tuo caso specifico dentro la forchetta.
Come funziona il routing, in pratica
Non è una scatola nera. L’architettura di un’AI ibrida aziendale è un pattern stabile e documentato che si ripete nei progetti.
Le tecnologie che compongono questo stack sono mature: Ollama o LM Studio come runtime locale, LiteLLM o un gateway custom come router, un policy engine basato su classificatori semantici più regole esplicite, uno storage di audit log conforme alle policy aziendali. Niente di esotico: tutte componenti usate in produzione da migliaia di aziende.
Qui va al locale, qui al cloud
Sette scenari tipici da un’implementazione reale. La differenza non è ideologica: è operativa.
Analisi contratto
Testo di un accordo clienti: controparti, clausole, obbligazioni. I dati non devono mai lasciare il perimetro aziendale.
Draft offerta commerciale
Prima bozza di una proposta a cliente nuovo: contesto generico, nessun dato sensibile ancora in ballo.
Estrazione dati fatture
Fatture passive in PDF: partite IVA, importi, codici cliente. Dati fiscali che non possono circolare fuori.
Traduzione documentazione pubblica
Manuale tecnico pubblico da tradurre in inglese. Nessun dato aziendale coinvolto: il frontier LLM è imbattibile.
Chatbot knowledge base interna
Domande dei dipendenti su procedure interne, policy, documentazione tecnica aziendale. RAG sui tuoi documenti.
Generazione codice boilerplate
Scaffolding di una classe Java, snippet SQL, regex. Pattern comuni, niente di proprietario in gioco.
Risposta email cliente
Il classifier decide per ogni email: se c’è un’informazione del cliente va al locale, se è una risposta generica va al frontier.
Analisi codice proprietario
Code review assistita, refactoring suggerito, bug hunting sul tuo software. Il codice non esce mai.
Cinque domande per capire se l’ibrido fa per te
- Il dato della query esce dal perimetro aziendale? Se la query contiene informazioni che non possono uscire (contratti, clienti, dati fiscali, codice proprietario, documenti riservati), serve un canale locale. Non c’è negoziazione possibile su questo punto.
- Che qualità di risposta serve davvero? I frontier LLM (Claude, GPT-5, Gemini) sono oggettivamente superiori su ragionamento complesso multi-step, scrittura creativa, analisi profonda. Un LLM locale 7-13B copre bene l’80% dei casi aziendali ma non è imbattibile. Se il tuo use case richiede sempre il meglio del meglio, considera routing cloud più aggressivo.
- Il volume di query è prevedibile e stabile? Se il volume è altamente variabile (picchi stagionali, campagne una tantum) la bolletta API cloud può esplodere in modo difficile da controllare. L’ibrido assorbe il volume prevedibile sul locale e gestisce i picchi sul cloud.
- Hai budget per hardware dedicato oltre i €15.000? Se no, la strada dell’on-premise puro non è aperta. L’ibrido con GPU consumer resta praticabile e ti dà comunque compliance e indipendenza dal cloud sulla parte sensibile.
- Il tuo settore ha vincoli normativi stringenti? Sanità, finanza, pubblica amministrazione, infrastrutture critiche. In questi casi il bias deve essere forte verso il locale: l’ibrido è possibile, ma con policy di routing più conservative e audit più profondo.
Non c’è una risposta universalmente giusta: dipende dal mix fra queste cinque variabili. La discovery gratuita serve esattamente a questo — mappare il tuo caso e dire se e come l’ibrido conviene davvero.
Come lo costruiamo noi, concretamente
Stack collaudato, tempi prevedibili. Partiamo sempre da un progetto pilota su un singolo use case, misuriamo i risultati, poi estendiamo.
Componenti
Ollama o LM Studio come runtime locale, LiteLLM come gateway di routing, policy engine con classificatori semantici, storage audit log conforme policy. Tutto open-source o di tua proprietà.
Dal kick-off al pilota
6-10 settimane per un progetto pilota su un singolo use case in produzione. Primo output visibile dopo 3 settimane. Estensione a use case successivi: 2-4 settimane ciascuno.
Controllo e audit
Dashboard dedicata: query al locale vs cloud, decisioni del router, costi API in tempo reale, anomalie. Log pronti per audit GDPR, AI Act e revisione interna.
Le risposte alle domande più ricorrenti sull’AI ibrida
Quanto costa iniziare con un’AI ibrida aziendale?
Il TCO su 3 anni per una PMI di 30-70 dipendenti con 3-7 mila query al mese sta tipicamente in una forchetta €20-45k, inclusa parte hardware, setup, API cloud e manutenzione. L’investimento iniziale è dominato da hardware consumer (RTX di fascia alta) e setup. Il costo esatto dipende dal mix di query sensibili vs generiche e dal volume mensile reale. La discovery serve esattamente a dare una lettura realistica sul tuo caso.
Come decide il sistema se usare il locale o il cloud?
Attraverso un classifier semantico combinato con regole esplicite. Il classifier analizza il prompt in tempo reale per capire se contiene PII, dati fiscali, nomi di clienti, codice proprietario. Le regole esplicite coprono i casi evidenti: certi endpoint vanno sempre al locale per policy, altri sempre al cloud. Ogni decisione viene loggata, è ispezionabile, è aggiustabile mentre il sistema impara dai casi reali.
L’AI ibrida è GDPR e AI Act compliant?
Si’, a patto che l’architettura sia costruita correttamente. I dati sensibili restano on-premise, il consenso al trattamento su cloud è esplicito dove serve, il log di audit copre ogni decisione di routing e ogni singola query. Per settori regolamentati (sanità, finanza, PA) i criteri di routing devono essere piu’ conservativi e l’audit più dettagliato — ma lo schema funziona. Siamo noi i primi a imparare a progettarla in modo compliant: la discovery parte sempre da una mappatura delle policy aziendali esistenti.
Che hardware consumer basta davvero per un LLM aziendale?
Dipende dal modello. Per un Llama 3 da 8 miliardi di parametri o un Mistral 7B, una singola GPU RTX della serie 4000 o 5000 di fascia alta (24GB di VRAM) è sufficiente — costo nell’ordine dei 2-3k euro. Per modelli da 13B serve una GPU con più VRAM o un setup multi-GPU, costo sui 5-8k. Per 70B si entra nel territorio enterprise. L’ibrido ti permette di stare nella fascia 7-13B per il locale, lasciando al frontier LLM i casi in cui serve un 70B+.
E se il frontier LLM cambia prezzi, condizioni o viene ritirato?
Il router è disaccoppiato dai provider: funziona oggi con Claude, domani con GPT, dopodomani con un modello europeo quando sarà pronto. Il cambio di provider è una questione di configurazione, non di riscrittura del sistema. L’esposizione al rischio di lock-in è bassa: il grosso del valore è nel locale, il frontier è un servizio intercambiabile. Questa è una delle ragioni per cui l’ibrido è più robusto del 100% cloud nel lungo periodo.
Posso partire ibrido e migrare a 100% locale quando il business lo richiede?
Si’, è anzi un pattern frequente. Si parte con un setup ibrido su hardware consumer, si collauda l’architettura, si identificano i casi d’uso che effettivamente valgono il salto a modelli più grandi. A quel punto si aggiorna l’hardware in casa e si sposta progressivamente volume dal cloud al locale. Il router e l’audit restano gli stessi: cambia solo dove il routing manda le query. Nessuna riscrittura.
La prima call di discovery è gratuita
30 minuti con un senior tecnico: mappiamo i tuoi use case, calcoliamo la fattibilità, ti diamo una lettura realistica su costi e tempi. Nessun commerciale, nessun impegno.
Fai il calcolo per il tuo caso
Quattro parametri. I numeri si ricalcolano in tempo reale. Nessun form, nessuna email: solo stime orientative basate sui range mostrati nella tabella sopra.
- Hardware iniziale: —
- Setup e integrazione: —
- API frontier LLM 3 anni: —
- Manutenzione 3 anni: —
Stime orientative basate su progetti italiani 2025-2026. Valori reali variano in base a vincoli settoriali, tecnologie già in casa, qualità dei dati sorgente. La discovery serve esattamente a rendere questi numeri specifici per il tuo caso.
Guida completa in 20 pagine: scaricala gratis
Il framework in 20 domande, caso tipo di una PMI manifatturiera italiana, tabella TCO 3 anni, framework decisionale in 5 passaggi, 4 errori ricorrenti. Scritta per decision maker che vogliono numeri concreti, non retorica.