MoonBit 开源评测库 / native CLI

检测与实例分割评测

输入真值和模型预测,计算 COCO AP / AR,检查匹配错误,比较不同模型。支持检测框、RLE 掩码和 COCO 多边形。

Mooncakes 0.2.0 已发布:bbox、mask、多边形与指标门禁。0.1.0 保持原版本。

报告示例

从输入到评测结果

以下合成样例在网站构建时由 MoonBit CLI 运行。可以下载 JSON,也可以在查看器中检查详情。

BBOX

—

—

—

查看完整报告 ↗查看器使用中文;本地文件只在浏览器中读取。
AP50MoonBit CLI 输出
基线—
候选—
差值—
PR 曲线
基线候选

这三个样例使用合成数据,不是模型精度基准。 复现命令与文件哈希

支持范围

输入、指标与输出

用于评测已经生成的预测结果,运行时不依赖训练框架。

评测指标
12 项 COCO AP / AR、逐类指标、crowd、面积区间与 maxDets。
错误诊断
逐图结果、101 点 PR 曲线,以及重复、错类、定位和背景误报的匹配记录。
接入方式
MoonBit 内存 API、native CLI、双模型比较、批量 bbox / segm 和总体/逐类 AP、AR 门禁。

查看一批模型的结果

运行 batch_eval.py 后,在查看器中选择输出文件夹。可切换模型查看详情,并核对报告与索引的 SHA-256。

打开批量查看器
开始使用

安装包,或运行源码

安装 0.2.0 评测库,或克隆源码运行 CLI、批量工具和查看器示例。

0.2.0Mooncakes 已发布

安装 bbox / mask 评测库

在 MoonBit 项目中评测检测框与实例掩码。API 以版本包页为准。

moon add python123-ops/moondeteval@0.2.0
0.2.0 API 文档
0.2.0源码与完整示例

运行 mask 评测示例

需要 MoonBit 0.10.15 兼容工具链。下面的命令比较两份合成 mask 预测。

git clone https://github.com/python123-ops/moondeteval.git
cd moondeteval
moon update
moon run cli --target native -- examples/mask-ground-truth.json examples/mask-baseline.json --iou-type segm --compare examples/mask-candidate.json --diagnostics --pr-curves
源码使用说明

当前不包含

训练、图像解码、模型推理、关键点、旋转框,以及任意历史报告的合并。

验证记录

测试与参考对照

查看 CI 运行记录
四后端测试
Wasm、Wasm GC、JavaScript、native:核心各 99 项,源码消费者各 112 项。
参考实现对照
178 组多边形像素检查、42 组多边形 AP 场景及 44 组 RLE mask AP 场景。
真实分割输出回放
64 图 COCO 子集,三组 YOLO11n-seg 预测与参考结果核对。复用已保存输出,不是重新推理。

参考实现:pycocotools 2.0.7 · 指标容差:1e-9 · 覆盖范围与命令见 README

相关项目

几何与跟踪库

可通过消费者示例接入坐标变换和跟踪输出。各库保持独立依赖。