一、开源里程碑:Skywork-Reward-V2横扫七大榜单
2025年7月,昆仑万维再度向全球开发者开源其最新成果——Skywork-Reward-V2系列奖励模型,包含8种不同规模的模型(参数从6亿到80亿),在RewardBench v1/v2、PPE Preference & Correctness、RMB、RM-Bench、JudgeBench等七大主流评测基准中全线登顶,刷新多项记录。这一突破标志着开源社区在AI对齐技术上的重大进展。

昆仑万维开源新一代奖励模型Skywork-Reward-V2:以小博大,重塑AI评价体系
性能碾压:小模型逆袭大模型
- 参数规模优势:即便最小的6亿参数模型Skywork-Reward-V2-Qwen3-0.6B,性能也接近上一代27亿参数模型的水平;
- SOTA统治力:80亿参数的Skywork-Reward-V2-Llama3.1-8B在全部评测中位列第一,超越包括Inflection-70B在内的所有开源竞品;
- 跨任务泛化:在Best-of-N(BoN)任务中,模型能精准识别用户需求排序;在隐私安全测试中,可自动判定违规内容并降分。
二、技术内核:数据质量驱动的“人机协同革命”
Skywork-Reward-V2的核心竞争力源于Skywork-SynPref-40M——全球首个规模达4000万对的人类偏好混合数据集,其构建过程创新性地融合了人机协作与自动化筛选:
双阶段数据炼金术
- 第一阶段:人工精标+模型扩增
- 专家团队构建高质量“金标准”数据,LLM辅助生成“银标准”数据,通过多轮迭代优化模型短板;
- 引入任务类型、争议性等多维度标签,覆盖复杂场景下的真实人类偏好。
- 第二阶段:全自动筛选闭环
- 训练后的模型自动过滤低质样本,结合LLM重标注与“金模型”一致性校验,从4000万样本中精选2600万高质量数据;
- 实验显示:仅用29万条精选数据(占总数据1.8%),8B模型性能即超越70B级开源模型。
三、突破性优势:超越规模的神话
四大核心能力
- 通用对齐能力:在RewardBench v2中,模型能精准解析指令层级关系,拒绝模糊指令;
- 安全抗偏能力:识别隐私泄露、偏见表述等风险,RM-Bench评测中风格抗偏表现全球第一;
- 事实验证能力:结合知识图谱技术,在PPE Correctness测试中暴露文本事实性错误;
- 可扩展性:通过“数据质量优先”策略,证明小模型可通过优质数据匹敌大模型性能。
行业启示录
- 数据质量>规模:传统“数据越多越好”观念被颠覆,Skywork-SynPref的高效筛选机制使小模型也能突破性能天花板;
- 开源生态赋能:Hugging Face下载量超75万次的Skywork-Reward系列,正推动全球开发者共建AI对齐技术标准。
四、未来蓝图:从评测工具到AI“指南针”
昆仑万维首席科学家表示,Skywork-Reward-V2不仅是评测标杆,更是构建通用AI智能体的关键组件:
- 短期目标:拓展多模态偏好对齐、长文本评估等新场景;
- 长期愿景:将奖励模型升级为AI系统的“价值中枢”,实现从被动评分到主动决策的跨越。
此次开源标志着中国企业在AI核心技术领域的话语权进一步提升。随着奖励模型与RLHF/RLVR技术的深度融合,一个更安全、可控、人性化的AGI时代正在加速到来。
Skywork-Reward-V2下载地址
HuggingFace地址:
https://huggingface.co/collections/Skywork/skywork-reward-v2-685cc86ce5d9c9e4be500c84
GitHub地址:
https://github.com/SkyworkAI/Skywork-Reward-V2
技术报告:
https://arxiv.org/abs/2507.01352
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...