Basta cloud: l'AI torna a casa tua

Siamo abituati a pensare che l'Intelligenza Artificiale viva in qualche server remoto, in qualche data center gigante dall'altra parte dell'oceano. Paghiamo abbonamenti mensili, accettiamo termini di servizio infiniti e, soprattutto, inviamo i nostri dati a terzi ogni volta che scriviamo un prompt.

Poi arriva Ollama e cambia completamente le carte in tavola. Proprio così.

Chi cerca www.ollama non sta cercando l'ennesimo chatbot online, ma uno strumento per riprendere il controllo. Ollama permette di scaricare ed eseguire modelli linguistici di grandi dimensioni (LLM) direttamente sul proprio hardware. Niente canoni mensili, niente censura esterna e, soprattutto, una privacy totale perché i dati non lasciano mai il tuo disco rigido.

Un dettaglio non da poco: non serve più essere un ingegnere della NASA per farlo. Un tempo installare un modello locale significava combattere con dipendenze Python rotte e configurazioni di ambiente infernali. Oggi basta un comando.

Perché scegliere la strada del locale?

La prima risposta è ovvia: la privacy. Se lavori con documenti aziendali sensibili, codici proprietari o appunti personali, l'idea di inviare tutto a un server esterno può fare paura. Con Ollama, il modello gira nella tua RAM e sulla tua GPU.

Poi c'è la questione della velocità e dell'indipendenza. Se internet cade, l'AI continua a funzionare. Se il provider decide di cambiare le regole del gioco o di limitare le tue risposte, a te non importa nulla.

Certo, c'è un prezzo da pagare: l'hardware. Non possiamo illuderci che un vecchio laptop del 2015 possa far girare Llama 3 o Mistral con la fluidità di GPT-4. Serve memoria, e tanta. Ma se hai una scheda video decente (specialmente NVIDIA con CUDA) o un Mac con chip Apple Silicon, l'esperienza è sorprendente.

Installazione: meno di due minuti

La bellezza di questo progetto sta nella semplicità. Vai sul sito ufficiale, scarichi l'installer per il tuo sistema operativo e lo avvii. Fine della storia.

Una volta installato, non troverai un'icona colorata o un menu complesso. Ollama lavora principalmente tramite terminale. Sembra spaventoso? Non lo è affatto.

Per far partire il tuo primo modello, ad esempio Llama 3, ti basta digitare nel prompt: ollama run llama3. Il software scarica i pesi del modello (che possono variare da pochi gigabyte a decine di GB) e, in pochi istanti, sei pronto a chattare.

Se invece preferisci qualcosa di più leggero per testare le prestazioni, puoi provare modelli come Phi-3 di Microsoft o Mistral. Ognuno ha la sua personalità, i suoi punti di forza e, ovviamente, il suo appetito in termini di risorse hardware.

Quale modello scegliere? Non tutti sono uguali

Qui entriamo nel vivo della strategia. Scegliere il modello giusto è come scegliere l'auto adatta al viaggio: non useresti un camion per andare a fare la spesa, giusto?

  • Llama 3: Il tuttofare di Meta. Eccellente per ragionamenti complessi e scrittura creativa.
  • Mistral / Mixtral: Spesso più efficienti e precisi in compiti specifici, molto apprezzati dalla community open source.
  • Phi-3: Piccolissimo ma potentissimo. Ideale se non hai una GPU mostruosa ma vuoi comunque risposte intelligenti.
  • CodeLlama: Se il tuo obiettivo è scrivere codice Python o JavaScript senza l'aiuto di Copilot.

Il punto è che puoi saltare da un modello all'altro in pochi secondi. Vuoi testare se Mistral scrive email migliori di Llama? Basta un comando e sei passato al modello successivo.

Oltre il terminale: interfacce grafiche

Ammettiamolo: scrivere in una finestra nera con i caratteri bianchi è affascinante per i primi dieci minuti, poi diventa stancante. Fortunatamente, l'ecosistema attorno a Ollama è esploso.

Esistono diverse interfacce web (WebUI) che rendono l'esperienza identica a quella di ChatGPT. La più famosa è probabilmente Open WebUI. Una volta configurata, hai una dashboard completa: puoi gestire i modelli, creare librerie di prompt e persino caricare documenti PDF per fare RAG (Retrieval-Augmented Generation), ovvero permettere all'AI di rispondere basandosi sui tuoi file.

Questo trasforma il tuo PC in un vero e proprio archivio di conoscenza intelligente. Immagina di poter chiedere: "Cosa diceva quel contratto che ho salvato tre mesi fa?" e ricevere la risposta in due secondi, senza che nessun dato sia mai uscito dalla tua rete locale.

Ottimizzare le prestazioni per non far esplodere il PC

Se noti che l'AI risponde a rilento (il cosiddetto token per second basso), ci sono alcune cose che puoi fare. La prima è controllare la quantizzazione del modello.

La quantizzazione è, in parole povere, una compressione della precisione dei pesi del modello. Un modello a 4-bit occupa molta meno memoria di uno a 16-bit, ma mantiene quasi la stessa intelligenza. Ollama gestisce gran parte di questo automaticamente, ma sapere cosa succede "sotto il cofano" aiuta a capire perché un modello da 70 miliardi di parametri non girerà mai su un PC con 8GB di RAM.

Un altro consiglio? Chiudi Chrome. Sembra un cliché, ma i browser moderni divorano RAM che in questo caso sarebbe vitale per l'inferenza del modello.

Il futuro è locale

Stiamo assistendo a un cambio di paradigma. Per anni ci hanno detto che la potenza era solo nel cloud, che l'utente finale doveva limitarsi a consumare servizi in abbonamento. Ollama dimostra il contrario.

La democratizzazione dei pesi dei modelli (Open Weights) sta permettendo a chiunque di costruire il proprio assistente personale su misura. Non è più solo una questione di hobby per nerd, ma una necessità strategica per professionisti che vogliono proteggere la propria proprietà intellettuale.

Il viaggio verso l'AI locale è appena iniziato. Tra qualche mese avremo hardware ancora più ottimizzato e modelli ancora più efficienti. Chi inizia oggi a sperimentare con www.ollama non sta solo installando un software, ma sta imparando a gestire la tecnologia che definirà il prossimo decennio.

Quindi, perché continuare a dipendere da un server remoto quando puoi avere tutto, letteralmente, sotto i tuoi occhi?