提交智能体收藏0
技术动态

Ollama v0.40.4 发布:决策模型支持命令行直接调用

Ollama v0.40.4 新增决策模型命令行用法,支持在终端执行是非判断、文本分类与按评分标准打分,并带来 MLX 运行器、多模态嵌入与推理性能方面的一系列更新。

用途与变化

据发布说明,v0.40.4 支持在终端通过 ollama run 直接使用决策模型,可提出是非问题、把文本归类到标签,或按评分标准打分。示例用法是将文本通过标准输入传入并携带问题。

其他变更包括:

  • 决策模型现可在 Apple 芯片上由 MLX 运行器支持。
  • ollama launch 可在未升级付费计划的情况下使用使用额度(usage credits)。
  • ollama launch codex 的模型选择器中会包含本地已安装的 Ollama 模型,并可在 Codex CLI 内通过 /model 切换。
  • 通过复用已验证的清单和已加载模型改进推理性能。
  • 新增经 llama-server 实现的多模态嵌入支持。
  • 修复小上下文窗口下多模态嵌入模型的加载问题。
  • 改进 NVIDIA GPU 上 Gemma 4 的预填充(prefill)性能(经 MLX 运行器)。
  • MLX 运行器改为裁剪过长的 Laya 状态,而非直接拒绝。
  • 改进 MLX 运行器的推测解码可靠性,包括回滚后的循环状态处理。
  • 更新 llama.cpp,加入原生决策模型支持。
  • 更新 README 与文档,澄清隐私与云服务相关表述。

适用场景

适合希望在命令行中快速完成简单判断、分类或按标准评分任务的用户,以及使用 Apple 芯片 MLX 运行器或在 Codex CLI 中切换本地模型的开发者。

限制与待核实

以上内容均为发布说明转述,未进行运行验证;具体决策模型的可用范围、命令参数细节与各运行器的实际表现需以官方文档和实测为准。发布说明未提及价格与完整兼容性信息。

来源与核对说明

  1. Ollama ↗https://github.com/ollama/ollama/releases/tag/v0.40.4

本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。

这篇内容对你有帮助吗?

点赞与收藏保存在当前浏览器。

继续阅读

NVIDIA 将 Run:ai 平台开源并纳入 DSX AI Factory →

NVIDIA cuOpt 推出 mPDLP 多 GPU 线性规划求解器 →

NVIDIA 在 CUDA 13.1 中通过 Runtime API 开放 Green Contexts →

NVIDIA 发布 AICR v1.0:为 GPU 集群配置提供开放、稳定、可验证的契约 →