[AI] - Come installare Lmstudio

Di seguito come installare sul proprio Pc una AI da utilizzare in locale senza accedere al web.

Come prima cosa occorre utilizzare un software che permetta di scaricare e far girare modelli linguistici denominati LLM direttamente sul proprio PC, senza bisogno di Internet.

Il software di cui parliamo si chiama lmstudio.

 A cosa serve

1. Chat locale: 
• Puoi chattare con modelli come Llama o Mistral offline, senza mandare dati a server esterni.
2. Sviluppo: 
• Se sei un dev, puoi usare l'API di LM Studio per integrare LLM in app locali (tipo VSCode, Discord, ecc.).
3. Testare modelli: 
• Scarichi modelli da Hugging Face e li provi in locale. Vedi quanto sono veloci, quanto consumano RAM/GPU...

Punti forti

• Facile: Interfaccia grafica, non serve usare il terminale.
• Privacy: Tutto offline. Perfetto per dati sensibili.
• Compatibile: Gira su Windows, Mac, Linux.
• Modelli: Supporta GGUF (formato più usato per LLM locali).

Esempi pratici

1. Sviluppo: 
• "Aiutami a scrivere codice Python per analizzare un CSV"
2. Traduzioni: 
• "Traduci 'C'è un gatto sul tavolo' in 5 lingue"
3. Scuola: 
• "Crea 10 domande di grammatica per un bambino di 8 anni"

Come funziona

1. Scarichi LM Studio
2. Cerchi un modello (es. Llama-3.1-8B)
3. Lo scarichi 
4. Lo carichi e chatti/offline

È come avere un ChatGPT locale ma con modelli che puoi scegliere tu. E se il PC è potente, gira veloce. Vediamo come installarlo su Windows, per altri sistemi opeartivi magari chiediamo alla nostra AI in locale.

Come installarlo su Windows:

• Vai su lmstudio.ai → Download → Windows
• Scarica l’Installer .exe 
• Doppio click → Avanti → Avanti → Fine. Zero sbatti.

Supporta Windows 10 e Windows 11, sia x64 che ARM.

Requisiti WindowsRAM: 

• Minimo 16Gb consigliati per modelli 7B-8B Q4. Con 8GB parte ma swappa e diventa lento.
• GPU Nvidia: 
• Se hai una RTX/GTX con 6GB+ VRAM, abilita “GPU Offload” e vola. 40-70 token/s su un 7B.
• GPU AMD/Intel: 
• Supportate via Vulkan. Prestazioni buone ma Nvidia resta più veloce.
• Solo CPU: 
• Funziona su qualsiasi PC recente. Ryzen/i7 fa 4-10 token/s con un 7B Q4.

Check GPU: LM Studio → Settings → ti dice subito se vede la GPU e quanta VRAM puoi usare.

Trucchi per Windows:

• Windows Defender: 
• Al primo avvio può rallentare perché scansiona i modelli. 
• Aggiungi la cartella %USERPROFILE%\.cache\lm-studio alle esclusioni.
• Percorso modelli: 
• Li salva in C:\Users\TuoNome\.cache\lm-studio\models. 
• Se hai SSD piccolo su C:, sposta la cartella e crea un link simbolico.
• Server mode: 
• Puoi far girare LM Studio in background e usarlo con VSCode + estensione “Continue” per avere Copilot locale.

Nel momento in cui lo fate partire potete scaricare fino a 2 modelli, vi appare una schermata in cui scegliere e l'indicazione anche in base alla RAM in Vs possesso.

Se trovi l'indicazione "Likely too large" in LM Studio significa che il modello che hai scelto è troppo grosso per la tua RAM/GPU.

Cosa vuol dire

• RAM piena: 
• Il modello + il sistema operativo + le app aperte stanno saturando la RAM. 
• Serve spazio per funzionare.
• GPU VRAM insufficiente: 
• Se hai attivato “Use GPU”, la scheda video non ha abbastanza memoria per caricare il modello.

Cosa fare

• Scegliere un modello più piccolo tra quelli indicati.

Trucchi per il buon funzionamento di qualsiasi AI.

• Scrivi "in italiano facile"
• inizialmente scrivi come se parlassi ad un bambino con parole semplici e non ambigue
• Specifica sempre il livello
• specifica sempre qual e' il tuo target
• Se ti occorre un output
• chiedi sempre se sia possibile averlo e magari in quali formati
• Armarsi di santa pazienza... almeno all'inizio e verificare sempre mai dare per certo quello che viene risposto.
• Alcuni modelli di Ai rispondo meglio a comandi secchi, semplici e concisi.