Chatbot IA NSFW in locale: roleplay senza censure sul tuo PC

• Privacy. I messaggi passano da SillyTavern a un programma sullo stesso computer, e da nessun'altra parte, a meno che tu non colleghi un servizio cloud.
• Nessun filtro della piattaforma. Le piattaforme online stabiliscono e cambiano le proprie regole sui contenuti. In locale, gli unici limiti sono quelli che il modello scelto ha appreso durante l'addestramento.
• Nessun abbonamento né limite di messaggi. Software e modelli sono gratuiti; paghi l'hardware e la corrente.
• Uso offline, una volta scaricato tutto.

Gli svantaggi:

• Costo dell'hardware. Per un'esperienza buona servono 12 GB di VRAM o più, oppure un Mac da 32 GB per i modelli di taglia media; comprarli costa più di molti mesi di abbonamento a una piattaforma online.
• Tempo di configurazione. Due programmi, un download di diversi gigabyte e una manciata di impostazioni che contano, più gli aggiornamenti.
• I modelli più piccoli scrivono peggio. Un modello che entra in una GPU da gaming è molto più piccolo dei modelli più grandi disponibili online: aspettati più ripetizioni, una memoria più debole e più interventi da parte tua per guidarlo.
• Niente immagini né voce già pronte. KoboldCpp può caricare modelli per immagini e voce e SillyTavern ha estensioni per entrambi, ma ognuno richiede i suoi download e la sua memoria.

Il modello deve stare nella memoria veloce: la VRAM della scheda grafica o la memoria unificata di un Mac con Apple Silicon. La tabella riporta stime approssimative, non misurazioni, per Q4_K_M (la comune quantizzazione a 4 bit, spiegata più avanti) con una dimensione del contesto che ci stia comodamente; l'uso reale varia a seconda del modello e del backend.

Un controllo rapido per qualsiasi modello: la dimensione del file GGUF più da 2 a 5 GB per il contesto e lo spazio di lavoro deve stare nella tua VRAM. Come riferimento, tra le schede da 12 GB ci sono la RTX 3060 12 GB, la 4070 e la 5070; da 16 GB, la RTX 4060 Ti 16 GB, la 4080 e la 5080; da 24 GB, la RTX 3090 e la 4090. Le GPU dei portatili hanno spesso meno VRAM della scheda desktop con lo stesso nome; la tua la trovi in Gestione attività, sotto Prestazioni, GPU.

Le schede NVIDIA sono le più semplici, perché tutti gli strumenti supportano CUDA. Le schede AMD e Intel funzionano tramite Vulkan (e ROCm su AMD), con più configurazione e spesso velocità inferiori.

VRAM, RAM di sistema e offloading

Se un modello non entra nella VRAM, KoboldCpp, Ollama e LM Studio possono tenerne una parte nella RAM di sistema e farla girare sulla CPU. Funziona, ma la RAM di sistema è molto più lenta: qualche layer lì costa un po' di velocità, metà modello può rendere le risposte parecchie volte più lente. Se pensi di fare offloading, procurati 32 GB di RAM.

I modelli mixture-of-experts (MoE) se la cavano meglio. Un nome come 35B-A3B indica 35 miliardi di parametri in totale, di cui circa 3 miliardi attivi per token: la memoria dipende dal totale, la velocità dalla parte attiva, quindi questi modelli restano usabili anche quando stanno in parte nella RAM di sistema.

Apple Silicon e memoria unificata

Sui Mac con chip della serie M, CPU e GPU condividono un unico bacino di memoria, quindi un Mac da 32 o 64 GB può caricare modelli che su un PC richiederebbero una scheda grafica costosa. macOS se ne tiene una parte: calcola che al modello resti disponibile più o meno tra i due terzi e i tre quarti. La velocità dipende dalla larghezza di banda della memoria, più alta sui chip Pro, Max e Ultra, e i prompt lunghi vengono elaborati più lentamente che su una configurazione NVIDIA simile. I Mac con processore Intel sono per lo più limitati alla CPU.

Il backend carica il modello e genera il testo. Il frontend è l'app di chat che usi: conserva i personaggi, costruisce ogni prompt e lo invia al backend. SillyTavern è il frontend standard per il roleplay e funziona con tutti i backend qui sotto.

TextGen è il nuovo nome di text-generation-webui, spesso chiamato oobabooga dal nome del suo autore. LM Studio è gratuito per uso domestico e lavorativo ma è closed source; gli altri sono open source. La libreria di Ollama contiene soprattutto modelli generalisti, ma può scaricare fine-tune da roleplay da Hugging Face.

Fonti ufficiali: KoboldCpp su github.com/LostRuins/koboldcpp, SillyTavern su github.com/SillyTavern/SillyTavern, Ollama su ollama.com, LM Studio su lmstudio.ai, TextGen su github.com/oobabooga/textgen, llama.cpp su github.com/ggml-org/llama.cpp e i modelli su huggingface.co.

GGUF e quantizzazione

Tutti i backend elencati sopra caricano i GGUF, il formato di file di llama.cpp: un unico file con i pesi più i metadati, come il template della chat. I modelli grandi possono essere divisi in parti numerate; carica la prima.

La quantizzazione memorizza ogni peso con meno bit dei 16 originali, riducendo l'uso di memoria a costo di un po' di qualità:

• Q8_0: circa 8.5 bit per peso, praticamente indistinguibile dall'originale.
• Q6_K: circa 6.6 bit, molto vicino all'originale.
• Q5_K_M: circa 5.7 bit, un piccolo passo indietro.
• Q4_K_M: circa 4.8 bit, all'incirca 0.6 GB per miliardo di parametri. La scelta predefinita più comune: una modesta perdita di qualità in cambio di un grande risparmio.
• Sotto Q4 (Q3_K_M, Q2_K e simili): danni evidenti, peggiori sui modelli piccoli.

Un modello più grande in Q4_K_M di solito scrive meglio di uno più piccolo della stessa famiglia in Q8_0, quindi investi la memoria prima di tutto nella dimensione. I nomi che iniziano con IQ, come IQ4_XS, usano un metodo diverso: file più piccoli a parità di qualità, a volte più lenti.

Famiglie di base e fine-tune della community

La maggior parte dei modelli da roleplay in locale sono fine-tune della community: modelli di base aperti dei grandi laboratori, addestrati ulteriormente su narrativa e roleplay. Tra le famiglie di base che compaiono nei nomi dei modelli ci sono Llama (Meta), Mistral e Mistral Nemo (Mistral AI), Qwen (Alibaba) e Gemma (Google); molti modelli popolari sono merge di diversi fine-tune. L'etichetta "uncensored" è una promessa vaga che il modello non rifiuta le richieste; "abliterated" significa che i rifiuti sono stati rimossi modificando direttamente i pesi.

Non indichiamo di proposito un modello migliore: i fine-tune vanno e vengono nel giro di settimane. Cerca su Hugging Face una famiglia e una dimensione che puoi far girare, più GGUF, ordina per tendenza o per aggiornamento più recente, e guarda cosa dicono delle ultime uscite i subreddit di SillyTavern e LocalLLaMA.

Come leggere una model card

• Modello di base, indicato nella card o nel pannello Model tree di Hugging Face. Determina in buona parte il template instruct.
• Dimensione. Il numero di parametri ti dice quale riga della tabella dell'hardware vale per te; per i modelli MoE, usa il totale.
• Lunghezza del contesto. Molti fine-tune peggiorano ben prima del massimo del modello di base; le card fatte bene dicono dove.
• Licenza. Controlla la sua e quella del modello di base. Le recenti uscite aperte di Qwen, Mistral e Gemma usano Apache 2.0; Llama usa la licenza community di Meta, con una politica di utilizzo accettabile.
• Uso previsto e impostazioni consigliate, compresi il template instruct e i valori dei sampler che l'autore ha testato.
• Link ai GGUF. I file quantizzati di solito stanno in un repository separato con GGUF nel nome, collegato dal Model tree.

Come mettere alla prova un modello

1. Usa la stessa scheda del personaggio, lo stesso messaggio d'apertura e le stesse impostazioni per ogni modello, cambiando solo il template instruct.
2. Genera da tre a cinque risposte allo stesso messaggio (gli swipe, in SillyTavern) e confrontale.
3. Controlla che il personaggio mantenga la sua voce e i fatti, non scriva le tue battute, vari il modo di esprimersi e non scivoli mai nel linguaggio da assistente.
4. Continua per un numero di messaggi tra 30 e 50, poi chiedi qualcosa che è successo all'inizio della chat.
5. Tieni il modello che sbaglia di meno.

I nomi dei menu corrispondono alle versioni attuali; se uno è stato spostato, controlla la documentazione del progetto.

Percorso 1: KoboldCpp e SillyTavern su Windows

1. Scarica KoboldCpp dalla sua pagina delle release su GitHub: koboldcpp.exe per le schede NVIDIA, koboldcpp-nocuda.exe per la grafica AMD o Intel.
2. Scarica un fine-tune da roleplay come file GGUF Q4_K_M, in una dimensione che la tua VRAM possa reggere. Anche il pulsante HF Search del launcher può trovare modelli.
3. Avvia koboldcpp.exe. Windows potrebbe avvisarti che si tratta di un'app non riconosciuta, cosa comune con i programmi open source non firmati.
4. Nella sezione Quick Launch, controlla che Backend indichi Use CUDA (NVIDIA) o Use Vulkan (AMD, Intel), poi clicca Browse accanto a GGUF Text Model e scegli il tuo file.
5. All'inizio lascia GPU Layers a -1 (automatico). Se il file entra nella VRAM con margine, inserisci il numero totale di layer indicato lì accanto, così tutti i layer finiscono sulla GPU.
6. Imposta Context Size a 8192 o 16384 e clicca Launch. Al termine del caricamento, la pagina di chat di KoboldCpp si apre su http://localhost:5001.
7. Installa Node.js (LTS) e Git. In una cartella di tua proprietà (non in Program Files), esegui git clone https://github.com/SillyTavern/SillyTavern -b release in un terminale, poi fai doppio clic su Start.bat nella nuova cartella. SillyTavern si apre su http://127.0.0.1:8000.
8. Apri API Connections (l'icona della spina), imposta API su Text Completion e API Type su KoboldCpp, inserisci http://localhost:5001 come API URL, spunta Derive context size from backend e clicca Connect.
9. Apri AI Response Formatting (l'icona con la A), attiva Instruct Mode e accendi le opzioni che ricavano dal modello i template di contesto e instruct. Se il template non viene riconosciuto, scegli quello indicato nella model card.

Percorso 2: Ollama e SillyTavern su macOS o Linux

1. Installa Ollama: su macOS l'app da ollama.com (versione 14 o successiva, Apple Silicon per usare la GPU), su Linux il comando curl -fsSL https://ollama.com/install.sh | sh.
2. Scarica un fine-tune da roleplay da Hugging Face con ollama pull hf.co/user/repository:Q4_K_M, usando il percorso del modello; il tag dopo i due punti sceglie la quantizzazione.
3. Lascia Ollama in esecuzione (l'app, il servizio Linux oppure ollama serve); resta in ascolto su http://127.0.0.1:11434.
4. Installa Node.js e Git (su Mac la via più semplice è Homebrew), poi esegui git clone https://github.com/SillyTavern/SillyTavern -b release, cd SillyTavern e ./start.sh.
5. In API Connections scegli Text Completion, API Type Ollama e API URL http://127.0.0.1:11434, clicca Connect e seleziona il tuo modello sotto Ollama Model.
6. In AI Response Formatting attiva Instruct Mode e seleziona il template indicato nella model card; con Ollama il rilevamento automatico non funziona.
7. In AI Response Configuration (l'icona dei cursori) imposta Context (tokens), spuntando Unlocked per andare oltre 8K. SillyTavern lo passa a Ollama a ogni richiesta.

Percorso 3: LM Studio, un'unica app

1. Installa LM Studio da lmstudio.ai. Funziona sui Mac con Apple Silicon (macOS 14 o successivo), sui PC Windows (x64 con AVX2, oppure ARM) e su Linux.
2. Nella sezione Discover cerca un fine-tune da roleplay e scarica un file Q4_K_M; LM Studio segnala quali file probabilmente ci stanno.
3. Nella sezione Chat apri il caricatore dei modelli, scegli il modello e imposta la lunghezza del contesto e l'offload sulla GPU.
4. Descrivi il personaggio e lo scenario nel system prompt e salvalo come preset. I Mac possono anche far girare modelli MLX, un formato specifico di Apple che può essere più veloce.
5. Per usare le schede dei personaggi, avvia il server nella sezione Developer, collega SillyTavern tramite Text Completion con API Type Generic (OpenAI-compatible) e l'URL http://127.0.0.1:1234, e imposta il template instruct come nel Percorso 2.

Lunghezza del contesto

Il contesto è la memoria di lavoro del modello, misurata in token; un token corrisponde più o meno a tre quarti di una parola inglese, quindi 8K token contengono circa 6000 parole. Lo condividono il system prompt, la scheda del personaggio, le voci del lorebook e la chat recente, e quando si riempie SillyTavern scarta i messaggi più vecchi. Più contesto costa memoria e tempo, quindi l'intervallo pratico va da 8K a 16K; usa lo stesso valore nel backend e in SillyTavern.

Temperatura, min-p e top-p

La temperatura regola la casualità: più alta dà testi più vari e più errori, più bassa dà testi più sicuri e piatti. Min-p scarta le parole poco probabili rispetto alla scelta migliore (a 0.05, tutto ciò che ha meno del 5 per cento della sua probabilità), e così mantiene il testo coerente anche a temperature più alte. Top-p e top-k sono filtri più vecchi e grossolani; con min-p, imposta top-p a 1 e top-k a 0 per disattivarli.

Penalità di ripetizione

La penalità di ripetizione rende meno probabili le parole usate di recente. Tienila bassa, tra 1.05 e 1.1 su una finestra degli ultimi 1000-2000 token (Rep. Pen. Range in SillyTavern); valori più alti spingono il modello a evitare i nomi e le parole comuni. Con KoboldCpp, llama.cpp e TextGen, SillyTavern offre anche DRY, che prende di mira le frasi ripetute: imposta il suo moltiplicatore a circa 0.8, lascia i valori predefiniti per il resto e abbassa la penalità normale a 1.0.

Template instruct

I modelli addestrati a seguire istruzioni si aspettano conversazioni racchiuse tra marcatori specifici, come ChatML o i formati Llama 3, Mistral e Gemma. SillyTavern formatta il prompt con il template che selezioni, e se non corrisponde si vede: il modello scrive le tue battute, stampa tag vaganti, continua senza fermarsi o perde la voce del personaggio. La model card indica quello giusto. Alcuni modelli più recenti scrivono un blocco di ragionamento prima di rispondere, che costa tempo e token; disattivalo dove il modello lo consente.

Un preset di partenza sensato

In AI Response Configuration premi Neutralize Samplers, poi imposta Temperature tra 0.8 e 1.0, Min P tra 0.05 e 0.1, Top P a 1, Top K a 0 e Repetition Penalty a 1.05 su 2048 token (oppure DRY a 0.8 con la penalità a 1.0). Imposta Response (tokens) tra 250 e 400. Se le risposte diventano incoerenti, abbassa la temperatura di 0.1; se ti sembrano piatte, alzala. Cambia una cosa alla volta, e parti dai valori della model card quando li indica.

Una scheda del personaggio (character card) è un piccolo file che definisce una persona. Il diffuso formato Chara Card V2 contiene nome, descrizione, personalità, scenario, primo messaggio, dialoghi di esempio, saluti alternativi, tag e un eventuale lorebook incorporato. Le schede si trovano come JSON o come immagini PNG con il JSON salvato all'interno, così immagine e definizione viaggiano insieme. Un formato V3 più recente estende il V2, e SillyTavern li legge entrambi. La nostra guida alle character card spiega come leggerne una.

In SillyTavern apri Character Management (l'icona della scheda) e usa Import Character from File per un PNG o un JSON, oppure Import content from external URL per un link da un sito supportato come Chub. Prima controlla il numero di token: una scheda oltre i 2000 token circa affolla un contesto piccolo. Chub AI è una delle più grandi librerie pubbliche di schede e lorebook, e i suoi download funzionano in SillyTavern.

I lorebook, chiamati World Info in SillyTavern, contengono informazioni di sfondo come luoghi, personaggi secondari e regole. Una voce entra nel prompt quando una delle sue parole chiave compare nei messaggi recenti, quindi un'ambientazione ampia consuma contesto soprattutto quando serve.

Le regole sui contenuti valgono anche a casa. La nostra directory esclude le schede che suggeriscono minori (compresi personaggi dall'aspetto giovane o inseriti in contesti scolastici), persone reali e assenza di consenso, come stabilisce la nostra politica sui contenuti. Applica lo stesso filtro a ciò che scarichi: un modello in locale scrive qualunque cosa la scheda gli chieda, e la responsabilità è tua.

Se due programmi ti sembrano troppi, HammerAI ha un'app desktop per Windows, macOS e Linux che fa girare modelli aperti in locale tramite una copia integrata di Ollama, con un'interfaccia di chat con i personaggi e senza bisogno di un account per la chat in locale. Rinunci a un po' di controllo in cambio di una configurazione quasi nulla.

Senza l'hardware adatto, una piattaforma online è la scelta pratica: diverse hanno piani gratuiti generosi e spesso fanno girare modelli più grandi di quelli che un PC di casa può gestire, a scapito della privacy e con limiti giornalieri. Guarda gli attuali limiti gratuiti nella nostra classifica delle chat IA NSFW gratuite, oppure confronta tutti i servizi nell'elenco delle piattaforme.

• Le tue chat sono file. SillyTavern salva chat e personaggi nella sua cartella dei dati, leggibile da chiunque usi il tuo account. Usa una password, la crittografia del disco (BitLocker o Crittografia dispositivo su Windows, FileVault su Mac) e un account tutto tuo sui computer condivisi.
• Tieni i server in locale. Per impostazione predefinita SillyTavern accetta connessioni solo dal tuo computer. Se lo apri alla rete di casa, tieni attiva la whitelist e non esporlo mai su internet. Lascia disattivato il Remote Tunnel di KoboldCpp e non cambiare l'indirizzo di bind di Ollama se non sai perché lo fai: chiunque riesca a raggiungere questi server può usarli.
• Sappi dove vanno i messaggi. Se SillyTavern è collegato a un'API cloud, le tue chat vanno a quel fornitore.
• Scarica da fonti ufficiali. Prendi i modelli da autori conosciuti su Hugging Face e preferisci i file GGUF o safetensors; i vecchi formati pickle (.bin, .pt, .pth) possono eseguire codice quando vengono caricati. Non avviare mai un installer che dice di essere un modello, e tieni aggiornato il backend, perché in passato sono già stati trovati bug di sicurezza nella lettura dei file dei modelli.
• Solo adulti e solo finzione. Non creare né condividere mai contenuti sessuali su persone reali, e non coinvolgere mai minori in nessuna forma.

Le piattaforme online sollevano questioni diverse; le affronta la nostra checklist sulla privacy.

Posso far girare un chatbot IA NSFW sul mio PC?

Sì. Con una scheda grafica da almeno 8 GB di VRAM, o un Mac con Apple Silicon e almeno 16 GB di memoria, puoi far girare un modello aperto con software gratuiti come KoboldCpp e SillyTavern. Non ci sono filtri della piattaforma né account, e le tue chat restano sul tuo computer.

Quanta VRAM mi serve?

All'incirca 8 GB per i modelli da 7 a 9B, 12 GB per quelli da 12 a 14B, 24 GB per quelli da 22 a 32B e 48 GB per i 70B, con la comune quantizzazione a 4 bit e da 8K a 16K token di contesto. Con meno VRAM, una parte del modello può girare dalla RAM di sistema: funziona, ma rallenta parecchio le risposte.

Il roleplay con l'IA in locale è gratis?

Il software è gratuito, i modelli si scaricano gratis e non ci sono abbonamenti né limiti di messaggi. Paghi l'hardware, la corrente e il tuo tempo.

Qual è il modo più semplice per iniziare?

Per una configurazione quasi nulla, installa l'app desktop di HammerAI, che fa girare modelli in locale con un'interfaccia per i personaggi. Per avere più controllo, usa KoboldCpp con SillyTavern su Windows oppure Ollama con SillyTavern su Mac, cominciando con un modello da roleplay della classe 12B se la memoria lo consente.

Un Mac può far girare il roleplay con l'IA in locale?

Sì, con un chip Apple Silicon (M1 o successivo). Un Mac con 16 GB di memoria gestisce i modelli piccoli, con 32 GB quelli di taglia media e con 64 GB o più i modelli da 70B. Ollama, LM Studio, KoboldCpp e SillyTavern funzionano tutti su Apple Silicon; i Mac con processore Intel sono per lo più limitati alla CPU, che è lenta.

È legale?

Far girare modelli aperti sul proprio computer è legale nella maggior parte dei paesi, ma ciò che generi è soggetto alle leggi locali, e la licenza di un modello può limitarne alcuni usi. I contenuti sessuali che coinvolgono minori sono illegali in molti paesi anche quando sono di fantasia o generati dall'IA, e i contenuti sessuali che ritraggono persone reali senza il loro consenso sono illegali o perseguibili in un numero crescente di paesi. Queste sono informazioni generali, non una consulenza legale.