AI·技术
作者此前训练的AI注释分类器使用了部分个人私有数据，基础不牢，无法分享代码或数据，现基于公开数据和更好基础重建。新分类器平衡准确率为77%，输出经过校准的预测百分比，可读作判定正确的概率。校准曲线显示各点接近参考对角线，说明概率大致准确。混淆矩阵显示，已知人类输入正确判为人类73%，已知机器人输入正确判为机器人80%，总体错误率约25%，但分类器高置信时假阳性风险降至5%。作者还手动测试了非合成的真实评论，表现更好。数据集构建方法是：找宽松许可或著佐权仓库，检出2021年最新提交，随机取文件获得人类注释，剥离注释后让LLM生成新注释。作者犯过多次错误，数据被判定为垃圾并重新收集两次，成本远超理论上的30美元。特征评估方面，作者用单特征分类器准确率指导特征选择，比较了bigwords、wordlen、freqrank、wordfreq、word2gram、charfreq、词性标注n-gram等特征。分类器训练为七分类，但Kimi K2.7和glm风格与其他模型重叠，作者在分类时将分配给这两个模型的概率质量按比例摊回其他模型。最终在分类阶段重新归一化为人类/机器人50/50先验。模型经量化和词表缩减后为355kB。作者坦言不会继续开发，因为sourcehut新条款禁止托管LLM生成代码。
来源：原文链接 (新窗口)
本页由搜罗吧(Solo8.cn)信息精选服务自动生成，内容仅供参考，不构成任何建议。