通过直方图展示置信度的分布情况,辅助分析模型对不同场景的置信度表现。
ECE 值:0.05
用于评估置信度与准确率之间的关系。
描述: 置信度评估页面:显示置信度直方图
页面: 置信度评估
元素: 置信度直方图
数据: 详见代码
预期结果: 显示置信度直方图,横坐标为置信度范围,纵坐标为样本数量。直方图分布应大致呈正态分布。
优先级: 高
描述: 筛选器:选择置信度范围为 [0, 0.5]
页面: 置信度评估
元素: 置信度范围选择器
数据: 置信度范围为 [0, 0.5]
预期结果: 置信度直方图只显示置信度范围在 [0, 0.5] 之间的样本数量。其他图表和数据也应相应更新。
优先级: 中
描述: 告警:ECE 值超过阈值 0.1
页面: 置信度评估
元素: ECE 值卡片
数据: ECE 值为 0.12
预期结果: ECE 值卡片以醒目的颜色显示,并触发告警通知。告警信息应包含 ECE 值和阈值。
优先级: 高
描述: 筛选器:按照场景类型 (雨天) 筛选
页面: 置信度评估
元素: 场景类型选择器
数据: 场景类型为 雨天
预期结果: 页面上的所有数据 (包括置信度直方图、校准曲线、ECE 值) 都应更新为雨天场景的数据。
优先级: 中
描述: 置信度评估页面:显示校准曲线
页面: 置信度评估
元素: 校准曲线图
数据: 校准曲线数据,详见JS代码
预期结果: 显示校准曲线,横坐标为置信度,纵坐标为准确率。同时显示 ECE 值,并与理想校准线进行对比分析。
优先级: 高