AI·技术
该追踪器的目标是检测Codex在SWE任务上使用gpt-5.6-sol性能时出现的统计显著退化。摘要显示：退化状态为标称，即没有时间段出现统计显著的性能下降（p<0.05）。基线通过率为83%，作为检测性能变化的参考。今日通过率为86%，运行了50个评估测试用例。过去7天通过率为85%，运行了350个评估测试用例。过去30天通过率为85%，运行了1500个评估测试用例。每日趋势展示过去30天的每日基准通过率，可切换95%置信区间查看每个点的不确定性。基线为83%的历史平均通过率，阈值是基线周围±11.2%的阴影区域，该范围内的变化不具统计显著性。7天滚动聚合通过率提供更平滑的趋势视图，阈值范围为±3.6%。此外还追踪每日基准资源与执行趋势，包括输入token、输出token、平均运行时间和工具调用。
来源：原文链接 (新窗口)
本页由搜罗吧(Solo8.cn)信息精选服务自动生成，内容仅供参考，不构成任何建议。