AnythingLLM v1.16.1 发布:代理活动与思维链界面整合,新增 Foundry Local 与 GenieX 支持
AnythingLLM v1.16.1 重构了长任务代理的思维链与工具调用展示,将多次思考折叠为单一可折叠组件;新增 Windows 内置 Foundry Local 运行时、Snapdragon 平台 GenieX 运行时、Bedrock 跨区域推理配置、LocalAI 图像生成与上下文窗口自动检测,并修复多项崩溃、内存泄漏与推理中断问题。
本次变化
根据来源说明,AnythingLLM v1.16.1 的主要更新集中在代理交互界面和本地推理支持上。
思维链与代理活动 长任务代理的多次思考与工具调用原先分散显示,现整合为单个可折叠组件:折叠时仅占一行,展开后每次思考为一步并以连接线贯穿,流式输出时顶部显示当前思考。该展示同步应用到 Assistant Panel,Beacon 也能正确渲染思考块与 Markdown 格式。
导航中断提示 此前加入的中断信号会在离开聊天页面时取消推理以节省算力,但也导致无法后台完成。现在离开线程或导航前会先警告。来源将其列为后续路线图项,计划改为用户可配置。
新增推理后端
- Foundry Local(桌面版,仅 Windows):微软的推理引擎,预装于 Windows 11 24H2(build 26100 及以上),通过 WinML 在 CPU/GPU/NPU 上加载模型;内置 SDK 后不再需要单独安装,模型目录提供 GPU/NPU 优化变体。来源明确提示模型可用性仍在铺开,且当前不支持视觉模型。
- GenieX for Snapdragon(桌面版):高通的推理引擎,替代此前的 Snapdragon NPU 引擎;升级会删除旧引擎模型,需重新下载。来源建议该引擎仅使用 GGUF 模型,因为仅限 NPU 的模型上下文窗口为 4K。
其他新功能 AWS Bedrock 跨区域推理配置支持(us./eu./global. 前缀的 profile ID 可正确路由,并支持手动填写预设列表之外的区域);LocalAI 可作为图像生成提供方并只列出服务端支持图像的模型;LocalAI 上下文窗口按模型自动检测,手动设置变为可选覆盖;Windows 安装程序支持静默/无界面安装与卸载参数。
修复 包括 Gemini 因 undici 版本导致的崩溃、Anthropic 与 Bedrock Anthropic 流式中断后继续发送消息的崩溃、中断流监听器泄漏引发的内存泄漏、新建工作区崩溃、OCR 处理 1 位扫描 PDF 时丢页、思考标签未闭合时界面卡在 thinking,以及代理 WebSocket 在连接建立中发送数据等问题。
适用场景
- 需要 Agent 长流程推理、希望界面更清爽的用户;
- Windows 11 24H2 及以上、希望利用 NPU/GPU 本地推理的用户;
- 使用 Snapdragon X/X2 Elite 设备并希望获得 NPU 加速的用户;
- 使用 AWS Bedrock 跨区域推理或 LocalAI 服务的用户。
限制与待核实
- 来源未给出各平台最低硬件要求、具体性能提升数值,也未进行运行验证。
- Foundry Local 模型可用性仍在铺开,视觉模型暂不可用。
- GenieX 实际性能提升幅度与兼容性未在来源中给出量化数据。
- 后台推理可配置化的时间点未确定,来源仅标注为路线图项。
来源与核对说明
- AnythingLLM ↗https://github.com/Mintplex-Labs/anything-llm/releases/tag/v1.16.1
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞与收藏保存在当前浏览器。
继续阅读
Dify 1.17.1 版本更新:知识库错误修复、工作流交互与权限改进 →
NVIDIA 将 Run:ai 平台开源并纳入 DSX AI Factory →