llama.cpp 与 ggml 发布 v1.0.0，确立语义化版本规则

llama.cpp 使跨多种硬件运行多模态 LLM 成为可能 - 从消费级本地机器到高端企业服务器。通过量化、优化后端和便携式 C/C++ 实现，我们使 AI 推理在软件堆栈的每个层级都易于访问。我们相信这是构建跨平台和私有 AI 产品的最轻量级、多功能和明智的平台。

在其 inception 以来 3.5 年的时间里，该项目已经发展了很多，许多下游应用已经依赖于我们的工作。我们预计这一趋势将继续，因为本地 AI 和隐私在我们的日常生活中变得越来越重要。每一次新的集成都意味着更多开发者依赖于我们的库接口，因此拥有一个灵活但稳定的 API 至关重要。

今天我们发布库 v1.0.0，突显了我们对这些开发者的责任感。向前看，llama.cpp 和 ggml 都将在主要版本升级时反映 API 和 ABI 不兼容性。随着采用率的增长，我们将更加严格地确保下游消费者能够看到这些界限。

发布

语义版本更新规则

以下规则适用于所有使用 ggml-org 项目和 语义版本控制 的项目：

分发

我们期待ggml-org软件的分发方式以及它如何到达开发者和最终用户将得到扩展。有关如何将ggml-org项目添加到您的打包和发布管道中的更多信息，请查看以下 讨论。

开发

该项目培养了一个令人惊叹的开源社区，拥有高技能和才华横溢的贡献者。随着软件工程领域 AI 能力的快速发展，我们继续以周到和合理的方式在我们的开发周期中整合 LLM。保持高质量的代码库、控制架构和理解实现细节将仍然是我们最重要的优先事项。

为了加快开发速度，我们继续在项目背后投资更多资源来改进 CI 基础设施。得益于 HF 技术，如 HF Buckets 和 HF Jobs，我们能够扩展必要的容量，以确保master分支上每个变更的正确性。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下，我们继续在所有主要硬件平台上招募更多自托管运行器。

后端和模型覆盖范围

llama.cpp - ggml 的底层机器学习引擎设计为可以在几乎存在的任何硬件上运行。这是通过实现专用的 ggml 后端来实现的。每个后端可以作为动态库编译，并在运行时选择性地加载。

当前实现的完整后端列表可以 在这里 找到。

我们致力于为所有模型架构提供持续的支持。目前，llama.cpp 支持超过 150 种架构变体，以及所有主流的推测性解码方法。

谢谢

Hugging Face 的 llama.cpp 团队感谢社区提供的巨大支持。特别感谢项目的 长期维护者 和所有 贡献者。这是一个重要的里程碑，没有我们的共同努力是不可能的！

额外资源

• llama.cpp 示例
• ggml-org at Hugging Face
• ggml-org at Github
• 查看由 llama.cpp 和 Hugging Face 背后的团队充满爱意提供的 Llama 桌面应用程序，适用于 MacOS 和 Windows。