Lokale AI vs Externe AI voor het ordenen van documenten

Wanneer AI File Sorter documentinhoud analyseert, is de belangrijke vraag niet alleen wat de AI kan afleiden, maar ook waar die analyse plaatsvindt.

In de praktijk kun je ofwel een externe AI-aanbieder gebruiken of een lokaal model dat op je eigen computer draait.

Externe AI

Een extern model werkt over het algemeen als volgt:

document
   ↓
relevante inhoud
   ↓
internet
   ↓
AI-aanbieder
   ↓
suggestie

Externe AI-modellen kunnen krachtig en handig zijn, maar de documentinhoud moet naar de gekozen externe dienst worden gestuurd voor analyse. Dat kan voor sommige bestanden volkomen acceptabel zijn. Voor andere mogelijk niet.

Documenten kunnen bevatten:

• financiële informatie
• contracten
• informatie over dienstverband
• adressen
• correspondentie
• intern werkmateriaal
• persoonlijke aantekeningen
• accountgegevens
• andere privégegevens

Dat maakt documentorganisatie een bijzonder relevante toepassing voor lokale AI.

Lokale AI

Bij een lokaal model ziet de workflow er daarentegen ongeveer zo uit:

document
   ↓
lokale tekstextractie
   ↓
lokaal AI-model
   ↓
suggestie

De analyse blijft op de computer.

AI File Sorter ondersteunt lokale modellen zoals Gemma 3 4B IT, Gemma 1.1 7B en Mistral 7B, en kan zonder internetverbinding werken wanneer lokale verwerking is geselecteerd. Aangepaste lokale modellen en compatibele lokale endpoints kunnen ook worden gebruikt.

Externe modellen blijven optioneel als je die de voorkeur geeft. Dit betekent dat je de afweging kunt maken die logisch is voor een bepaalde collectie, in plaats van verplicht te worden elk document naar een externe AI-service te uploaden.

Wat betekent 'lokaal' eigenlijk?

Het selecteren van een lokaal model betekent dat de AI-inferentie op je eigen machine draait in plaats van documenten en gerelateerde meta-inhoud naar een externe AI-aanbieder te sturen. Het model analyseert de beschikbare documenttekst lokaal en geeft zijn suggesties terug aan AI File Sorter.

Het AI-model zelf verplaatst of hernoemt je documenten niet. Het wordt gebruikt voor analyse. De applicatie voert de daadwerkelijke bestandsbewerkingen uit nadat je de voorgestelde wijzigingen hebt goedgekeurd.

Lokale AI brengt wel hardwarekosten met zich mee.

AI op je eigen computer houden is geen magie.

Het werk dat anders op een externe server zou plaatsvinden, moet op je CPU of GPU gebeuren.

Dat betekent dat de snelheid van lokale verwerking afhangt van factoren zoals:

• beschikbaar RAM
• GPU en VRAM
• geselecteerd model
• aantal documenten
• grootte en complexiteit van de documenten

Een kleiner lokaal model kan sneller zijn en minder geheugen vereisen, terwijl een groter model mogelijk andere resultaten oplevert ten koste van extra middelen.

AI File Sorter bevat een compatibiliteitscontrole om te helpen geschikte modelopties voor de beschikbare hardware te bepalen.

Als je een zeer grote documentcollectie hebt, kan het ook verstandig zijn om te beginnen met een representatieve subset voordat je alles verwerkt.

De juiste optie kiezen

Externe AI draait vaak om gemak en toegang tot gehoste modelcapaciteit. Lokale AI gaat over privacy, offline werking en controle, met als afweging dat je eigen hardware het werk moet doen.

Het nuttige is dat dit geen permanente keuze hoeft te zijn. Je kunt de aanpak kiezen die past bij de gevoeligheid en omvang van de documentcollectie die je aan het organiseren bent.