AI locale vs AI remota per l'organizzazione dei documenti

Quando AI File Sorter analizza il contenuto dei documenti, la domanda importante non è solo cosa può dedurre l'AI, ma dove avviene quell'analisi.

In pratica, puoi utilizzare sia un fornitore AI remoto sia un modello locale in esecuzione sul tuo computer.

AI remota

Un modello remoto generalmente funziona così:

documento
   ↓
contenuto rilevante
   ↓
internet
   ↓
fornitore AI
   ↓
suggerimento

I modelli AI remoti possono essere potenti e comodi, ma il contenuto dei documenti deve essere inviato al servizio remoto selezionato per l'analisi. Questo può essere perfettamente accettabile per alcuni file. Per altri, potrebbe non esserlo.

I documenti possono contenere:

• informazioni finanziarie
• contratti
• informazioni sul lavoro
• indirizzi
• corrispondenza
• materiale di lavoro interno
• note personali
• informazioni sull'account
• altri dati privati

Questo rende l'organizzazione dei documenti un caso d'uso particolarmente rilevante per l'AI locale.

AI locale

Con un modello locale, il flusso di lavoro invece assomiglia approssimativamente a questo:

documento
   ↓
estrazione locale del testo
   ↓
modello AI locale
   ↓
suggerimento

L'analisi rimane sul computer.

AI File Sorter include il supporto per modelli locali come Gemma 3 4B IT, Gemma 1.1 7B e Mistral 7B, e può funzionare senza connessione a Internet quando è selezionata l'elaborazione locale. È inoltre possibile utilizzare modelli locali personalizzati e endpoint locali compatibili.

I modelli remoti restano opzionali se li preferisci. Questo significa che puoi scegliere il compromesso più adatto a una specifica raccolta piuttosto che essere obbligato a caricare ogni documento su un servizio AI esterno.

Cosa significa esattamente "locale"?

Selezionare un modello locale significa che l'inferenza AI viene eseguita sulla tua macchina anziché inviare i documenti e i relativi metadati a un fornitore AI remoto. Il modello analizza localmente il testo disponibile nei documenti e restituisce i suggerimenti ad AI File Sorter.

Il modello AI in sé non sposta né rinomina i tuoi documenti. Viene utilizzato per l'analisi. L'applicazione gestisce le effettive operazioni sui file dopo che approvi le modifiche proposte.

L'AI locale comporta però un costo in termini di hardware

Mantenere l'AI sul proprio computer non è magia.

Il lavoro che altrimenti avverrebbe su un server remoto deve invece avvenire sulla tua CPU o GPU.

Questo significa che la velocità di elaborazione locale dipende da fattori quali:

• RAM disponibile
• GPU e VRAM
• modello selezionato
• numero di documenti
• dimensione e complessità dei documenti

Un modello locale più piccolo può essere più veloce e richiedere meno memoria, mentre un modello più grande può fornire risultati differenti a costo di risorse aggiuntive.

AI File Sorter include un controllo di compatibilità per aiutare a determinare le opzioni di modello adatte all'hardware disponibile.

Se hai una raccolta di documenti molto grande, può avere senso iniziare con un sottoinsieme rappresentativo prima di elaborare tutto.

Scegliere l'opzione giusta

L'AI remota riguarda spesso la comodità e l'accesso alla capacità dei modelli ospitati. L'AI locale riguarda la privacy, il funzionamento offline e il controllo, con il compromesso che è il tuo hardware a dover svolgere il lavoro.

La parte utile è che questa non deve essere una scelta permanente. Puoi scegliere l'approccio che si adatta alla sensibilità e alla dimensione della raccolta di documenti che stai organizzando.