Ragas：面向 LLM 应用评测的开源工具

用途与定位

Ragas 是面向大语言模型（LLM）应用的评测工具包，目标是用数据驱动的流程替代耗时且主观的人工评估。来源提到，它可用于评测与优化 LLM 应用；如果没有现成的测试集，也支持生成与生产场景对齐的测试数据。

主要特性

• 客观指标：同时提供基于 LLM 的指标和传统指标。
• 测试数据生成：自动生成覆盖多场景的测试数据集。
• 集成：与 LangChain 等常见 LLM 框架及可观测性工具配合使用。
• 构建反馈回路：利用生产数据持续改进应用。

使用方式

来源提供 PyPI 与源码安装两种方式，并给出 ragas quickstart 命令：可列出模板或生成 RAG 评测项目；目前提供的模板为 rag_eval，其余模板标注为即将推出。快速上手示例使用 DiscreteMetric 自定义评估维度，对输出打分并返回理由，示例依赖 OpenAI 客户端与 API Key。

限制与待核实事项

来源未给出具体指标定义、各框架集成细节与版本兼容范围；模板功能以来源描述为准，实际可用性需自行核实。来源还说明工具会收集最小化、匿名的使用数据，可通过设置 RAGAS_DO_NOT_TRACK 环境变量退出。