本地 AI 与远程 AI 在文档整理中的比较

当 AI File Sorter 分析文档内容时，重要的问题不仅是 AI 能推断出什么，还包括这些分析在哪里进行。

实际上，你可以使用远程 AI 服务提供商，或在你自己的计算机上运行本地模型。

远程 AI

远程模型通常的工作流程如下：

文档
   ↓
相关内容
   ↓
互联网
   ↓
AI 提供商
   ↓
建议

远程 AI 模型可能功能强大且使用方便，但文档内容必须发送到所选的远程服务进行分析。对于某些文件这完全可以接受，而对于另一些则可能不行。

文档可能包含：

• 财务信息
• 合同
• 雇佣信息
• 地址
• 往来信件
• 内部工作资料
• 个人笔记
• 账户信息
• 其他私人数据

因此，文档整理尤其适合使用本地 AI。

本地 AI

使用本地模型时，工作流程大致如下：

文档
   ↓
本地文本提取
   ↓
本地 AI 模型
   ↓
建议

分析保留在计算机上。

AI File Sorter 包含对本地模型的支持，例如 Gemma 3 4B IT、Gemma 1.1 7B 和 Mistral 7B，并且在选择本地处理时无需网络连接即可运行。也可以使用自定义本地模型和兼容的本地端点。

如果你更倾向于远程模型，它们仍然是可选的。这意味着你可以为特定集合选择最合适的权衡，而不必将每个文档都上传到外部 AI 服务。

“本地”究竟意味着什么？

选择本地模型意味着 AI 推理在你的机器上运行，而不是将文档及相关元内容发送到远程 AI 提供者。模型在本地分析可用的文档文本，并将其建议返回给 AI File Sorter。

AI 模型本身不会移动或重命名你的文档。它仅用于分析。应用程序会在你批准建议的更改后处理实际的文件操作。

本地 AI 确实有硬件成本

将 AI 保留在你自己的计算机上并不是魔法。

本来在远程服务器上完成的工作必须在你的 CPU 或 GPU 上完成。

这意味着本地处理速度取决于诸如：

• 可用内存（RAM）
• GPU 和显存（VRAM）
• 所选模型
• 文档数量
• 文档的大小和复杂性

较小的本地模型可能更快并且需要更少的内存，而较大的模型可能在消耗更多资源的代价下提供不同的结果。

AI File Sorter 包含兼容性检查，以帮助确定可用硬件的合适模型选项。

如果你有非常大的文档集合，先对具有代表性的小部分进行处理再处理全部内容也是合理的做法。

选择合适的选项

远程 AI 通常侧重于便利性和对托管模型计算能力的访问。本地 AI 则侧重于隐私、离线操作和可控性，但代价是这些工作需要由你自己的硬件来完成。

有用的是，这不必是一个永久的选择。你可以根据正在整理的文档集合的敏感性和规模选择合适的方法。