OmniBot

什么是 OmniBot？

OmniBot 是一款私有 AI 助手，旨在利用 WebGPU 在浏览器中原生运行大型语言模型 (LLM)。这实现了浏览器内和离线 AI 体验。它通过在您的设备上本地处理数据来优先考虑用户隐私。

主要特点：

• 离线聊天： 首次下载模型后，无需互联网连接即可使用 OmniBot。
• 浏览器内隐私： 所有 AI 模型都在本地运行，确保您的数据保留在您的计算机上。
• 自定义内存支持： 添加自定义指令以个性化 AI 响应。

如何使用 OmniBot？

1. 确保您的 GPU 满足内存要求（7B 模型需要 6GB，3B 模型需要 3GB）。
2. 如果您使用的是支持 WebGL 的移动设备，则可以像在 PC 上一样使用 OmniBot。
3. 您可以生成聊天消息并将其保存为 JSON 或 Markdown 格式。

为什么 OmniBot 很重要？

OmniBot 很重要，因为它允许您在浏览器中私密且安全地使用 AI，而无需依赖外部服务器。 它使用户能够控制自己的数据，即使没有互联网连接也可以访问 AI。