Lokal AI vs Fjern-AI til organisering af dokumenter

Når AI File Sorter analyserer dokumentindhold, er det vigtige ikke kun, hvad AI'en kan udlede, men hvor analysen foregår.

I praksis kan du bruge enten en fjern-AI-udbyder eller en lokal model, der kører på din egen computer.

Fjern-AI

En fjern-AI-model fungerer generelt sådan:

dokument
   ↓
relevant indhold
   ↓
internet
   ↓
AI-udbyder
   ↓
forslag

Fjern-AI-modeller kan være kraftfulde og praktiske, men dokumentindholdet skal sendes til den valgte fjernservice for analyse. Det kan være helt acceptabelt for nogle filer. For andre er det måske ikke.

Dokumenter kan indeholde:

• finansielle oplysninger
• kontrakter
• ansættelsesoplysninger
• adresser
• korrespondance
• internt arbejdsmateriale
• personlige noter
• kontooplysninger
• andre private oplysninger

Det gør dokumentorganisering til et særligt relevant brugstilfælde for lokal AI.

Lokal AI

Med en lokal model ser arbejdsgangen i stedet cirka sådan ud:

dokument
   ↓
lokal tekstudtrækning
   ↓
lokal AI-model
   ↓
forslag

Analysen forbliver på computeren.

AI File Sorter inkluderer understøttelse af lokale modeller såsom Gemma 3 4B IT, Gemma 1.1 7B og Mistral 7B, og den kan køre uden internetforbindelse, når lokal behandling er valgt. Brugerdefinerede lokale modeller og kompatible lokale endpoints kan også bruges.

Fjernmodeller forbliver valgfrie, hvis du foretrækker dem. Det betyder, at du kan vælge det kompromis, der giver mening for en given samling, i stedet for at være nødt til at uploade hvert dokument til en ekstern AI-tjeneste.

Hvad betyder lokal egentlig?

Når du vælger en lokal model, betyder det, at AI-inferensen kører på din maskine i stedet for at sende dokument- og relateret metadata til en fjern AI-udbyder. Modellen analyserer den tilgængelige dokumenttekst lokalt og returnerer sine forslag til AI File Sorter.

AI-modellen flytter eller omdøber ikke dine dokumenter. Den bruges til analyse. Applikationen håndterer de faktiske filoperationer, efter at du har godkendt de foreslåede ændringer.

Lokal AI medfører dog en hardwareomkostning

At have AI på din egen computer er ikke magi.

Det arbejde, der ellers ville foregå på en fjernserver, må foregå på din CPU eller GPU.

Det betyder, at lokal behandlingshastighed afhænger af faktorer som:

• tilgængelig RAM
• GPU og VRAM
• valgt model
• antal dokumenter
• dokumenternes størrelse og kompleksitet

En mindre lokal model kan være hurtigere og kræve mindre hukommelse, mens en større model kan give andre resultater på bekostning af flere ressourcer.

AI File Sorter indeholder en kompatibilitetskontrol, der hjælper med at bestemme egnede modelmuligheder for den tilgængelige hardware.

Hvis du har en meget stor samling dokumenter, kan det også give mening at starte med et repræsentativt udsnit, før du behandler det hele.

At vælge den rigtige mulighed

Fjern-AI handler ofte om bekvemmelighed og adgang til hostet modelkapacitet. Lokal AI handler om privatliv, offline-drift og kontrol, med det kompromis, at din egen hardware må udføre arbejdet.

Det nyttige er, at dette ikke behøver at være et permanent valg. Du kan vælge den tilgang, der passer til følsomheden og størrelsen af den samling dokumenter, du organiserer.