KoboldCpp

KoboldCpp：您的一站式 AI 文本和图像生成解决方案

什么是 KoboldCpp？KoboldCpp 是一款多功能、用户友好的 AI 软件，专为文本和图像生成而设计。它受到原始 KoboldAI 的启发，简化了运行 GGML 和 GGUF 模型的过程，提供了一个独立的、无需安装的可执行文件。

主要特点

• 单文件可执行程序： 无需安装或外部依赖。
• CPU 和 GPU 支持： 在 CPU 和 GPU 上高效运行，可以选择完全或部分卸载。
• LLM 文本生成： 与所有 GGML 和 GGUF 模型兼容，确保向后兼容性。
• 图像生成： 支持 Stable Diffusion 1.5、SDXL、SD3 和 Flux，用于生成高质量图像。
• 语音转文本： 集成 Whisper 用于语音识别。
• 文本转语音： 支持 OuteTTS、Kokoro、Parler 和 Dia 用于语音生成。
• API 终结点： 为流行的 Web 服务（如 KoboldCppApi、OpenAiApi、OllamaApi 等）提供兼容的 API 终结点。
• 捆绑 UI： 包括 KoboldAI Lite UI，具有编辑工具、保存格式、内存、世界信息、作者注释、角色和场景。
• 多种模式和主题： 提供聊天、冒险、指导和故事编写器模式，以及各种 UI 主题。
• 数据格式支持： 支持 Tavern 角色卡、JSON 保存文件和持久故事。
• 附加功能： 包括新的采样器、正则表达式支持、Web 搜索、通过 TextDB 实现 RAG 以及图像识别/视觉。
• 跨平台： 适用于 Windows、MacOS 和 Linux 的即用型二进制文件，并支持 Colab、Docker、Android（通过 Termux）和 Raspberry Pi。

KoboldCpp 如何工作？

KoboldCpp 利用 llama.cpp 和 stable-diffusion.cpp 的强大功能，提供无缝的 AI 体验。它的工作原理是：

1. 加载 GGML 或 GGUF 模型以进行文本生成。
2. 利用 Stable Diffusion 模型进行图像生成。
3. 采用 Whisper 进行语音识别，并采用各种 TTS 引擎进行语音生成。
4. 提供 API 终结点以与其他服务集成。

如何使用 KoboldCpp

1. 下载： 从 官方发布页面 获取适用于您操作系统的最新 Koboldcpp 可执行文件。
2. 运行： 只需执行下载的文件。无需安装。
3. 加载模型： 从 Hugging Face 等来源获取 GGUF 模型。初学者可能会发现 L3-8B-Stheno-v3.2、Tiefighter 13B 或 Gemma-3-27B Abliterated 适合。
4. 连接： 默认情况下，您可以通过 http://localhost:5001 访问 KoboldCpp。

Windows 用法

• 下载 koboldcpp.exe 文件。
• 运行可执行文件以启动 GUI。
• 加载 GGUF 模型并连接到本地服务器。

Linux 用法

• 下载 koboldcpp-linux-x64 二进制文件。
• 使用 chmod +x koboldcpp-linux-x64 使该文件可执行。
• 使用 ./koboldcpp-linux-x64 运行该二进制文件。

MacOS 用法

• 下载 MacOS 二进制文件。
• 使用 chmod +x koboldcpp-mac-arm64 将该文件设置为可执行。
• 使用 ./koboldcpp-mac-arm64 运行该二进制文件。

在 Colab 上运行

KoboldCpp 提供了一个官方 Colab GPU Notebook，方便设置和使用。

在 RunPod 上运行

KoboldCpp 可以部署在 RunPod 云 GPU 上，以实现可扩展的性能。

优化性能

• GPU 加速： 使用 --usecuda (Nvidia) 或 --usevulkan (任何 GPU) 标志。
• GPU 层卸载： 使用 --gpulayers 将模型层卸载到 VRAM。
• 上下文大小： 使用 --contextsize 增加上下文大小。
• CPU 兼容性： 对于较旧的 CPU，使用 --noavx2。

KoboldCpp 适合哪些人？

KoboldCpp 非常适合：

• 希望获得简单、一体化文本和图像生成解决方案的 AI 爱好者。
• 寻求 API 终结点以将 AI 功能集成到其应用程序中的开发人员。
• 寻求增强其故事讲述、角色扮演和内容创作过程的工具的创意人员。

为什么选择 KoboldCpp？

KoboldCpp 的突出之处在于：

• 易于使用
• 全面的功能集
• 跨平台兼容性
• 性能优化选项

附加资源

• 模型： 在 Hugging Face 上查找 GGUF 文本模型，在 CivitAI 上查找图像模型。
• 文档： 请参阅 KoboldAI API 文档 了解终结点详细信息。
• 社区： 加入 KoboldAI Discord 服务器以获得支持和讨论。

KoboldCpp 简化了 AI 驱动的文本和图像生成，使其可供广泛的用户使用。无论您是生成故事、创建图像还是将 AI 集成到您的项目中，KoboldCpp 都能提供强大且用户友好的解决方案。通过支持各种平台并提供优化选项，它确保了流畅高效的 AI 体验。考虑探索 KoboldCpp 以进行您的下一个 AI 项目。