llama.cpp 项目要点：C/C++ 本地推理与多后端支持

用途与定位

根据项目 README，llama.cpp 的目标是在本地与云端多种硬件上，以尽量少的配置进行 LLM（及 VLM）推理，并保持较高性能。项目基于 ggml 库实现，采用纯 C/C++ 编写。

主要能力

• 针对 Apple Silicon 使用 ARM NEON、Accelerate 与 Metal 优化；x86 支持 AVX、AVX2、AVX512、AMX；RISC-V 支持 RVV 等指令集特性。
• 提供 1.5 位至 8 位整数量化选项，用于降低内存占用、加快推理。
• 针对 NVIDIA GPU 提供 CUDA 内核，并通过 HIP 支持 AMD GPU、通过 MUSA 支持摩尔线程 GPU。
• 支持 CPU+GPU 混合推理，可在显存不足时部分加速较大的模型。
• 后端列表覆盖 BLAS、CUDA、HIP、Metal、Vulkan、SYCL、WebGPU、CANN、OpenCL 等，其中 OpenVINO 标注为进行中。

使用入口

README 给出脚本安装、Docker、预编译二进制与源码构建等安装方式，并示例以 llama cli 从 Hugging Face 直接下载运行模型、以 llama serve 启动 OpenAI 兼容 API 服务。工具文档包括 cli、completion、server 与 GBNF 语法。

限制与待核实

以上为 README 的功能与安装途径说明，未在本环境中验证安装命令、模型示例或各后端实际性能；具体平台支持与构建细节需查阅对应文档确认。