​​昆仑万维开源新一代奖励模型Skywork-Reward-V2:以小博大,重塑AI评价体系​​

AI新闻资讯7天前发布 小蓝灯
1,015 00

​一、开源里程碑:Skywork-Reward-V2横扫七大榜单​

2025年7月,昆仑万维再度向全球开发者开源其最新成果——​​Skywork-Reward-V2系列奖励模型​,包含8种不同规模的模型(参数从6亿到80亿),在​​RewardBench v1/v2、PPE Preference & Correctness、RMB、RM-Bench、JudgeBench​​等七大主流评测基准中全线登顶,刷新多项记录。这一突破标志着开源社区在AI对齐技术上的重大进展。

​​昆仑万维开源新一代奖励模型Skywork-Reward-V2:以小博大,重塑AI评价体系​​

​​昆仑万维开源新一代奖励模型Skywork-Reward-V2:以小博大,重塑AI评价体系​​

​性能碾压:小模型逆袭大模型​

  • ​参数规模优势​​:即便最小的6亿参数模型Skywork-Reward-V2-Qwen3-0.6B,性能也接近上一代27亿参数模型的水平;
  • ​SOTA统治力​​:80亿参数的Skywork-Reward-V2-Llama3.1-8B在全部评测中位列第一,超越包括Inflection-70B在内的所有开源竞品;
  • ​跨任务泛化​​:在Best-of-N(BoN)任务中,模型能精准识别用户需求排序;在隐私安全测试中,可自动判定违规内容并降分。

​二、技术内核:数据质量驱动的“人机协同革命”​

Skywork-Reward-V2的核心竞争力源于​​Skywork-SynPref-40M​​——全球首个规模达4000万对的人类偏好混合数据集,其构建过程创新性地融合了人机协作与自动化筛选:

​双阶段数据炼金术​

  1. ​第一阶段:人工精标+模型扩增​
    • 专家团队构建高质量“金标准”数据,LLM辅助生成“银标准”数据,通过多轮迭代优化模型短板;
    • 引入任务类型、争议性等多维度标签,覆盖复杂场景下的真实人类偏好。
  2. ​第二阶段:全自动筛选闭环​
    • 训练后的模型自动过滤低质样本,结合LLM重标注与“金模型”一致性校验,从4000万样本中精选2600万高质量数据;
    • 实验显示:仅用29万条精选数据(占总数据1.8%),8B模型性能即超越70B级开源模型。

​三、突破性优势:超越规模的神话​

​四大核心能力​

  1. 通用对齐能力​:在RewardBench v2中,模型能精准解析指令层级关系,拒绝模糊指令;
  2. 安全抗偏能力​:识别隐私泄露、偏见表述等风险,RM-Bench评测中风格抗偏表现全球第一;
  3. 事实验证能力​:结合知识图谱技术,在PPE Correctness测试中暴露文本事实性错误;
  4. ​可扩展性​​:通过“数据质量优先”策略,证明小模型可通过优质数据匹敌大模型性能。

​行业启示录​

  • ​数据质量>规模​​:传统“数据越多越好”观念被颠覆,Skywork-SynPref的高效筛选机制使小模型也能突破性能天花板;
  • ​开源生态赋能​​:Hugging Face下载量超75万次的Skywork-Reward系列,正推动全球开发者共建AI对齐技术标准。

​四、未来蓝图:从评测工具到AI“指南针”​

昆仑万维首席科学家表示,Skywork-Reward-V2不仅是评测标杆,更是构建​​通用AI智能体​​的关键组件:

  • ​短期目标​​:拓展多模态偏好对齐、长文本评估等新场景;
  • ​长期愿景​​:将奖励模型升级为AI系统的“价值中枢”,实现从被动评分到主动决策的跨越。

此次开源标志着中国企业在AI核心技术领域的话语权进一步提升。随着奖励模型RLHF/RLVR技术的深度融合,一个更安全、可控、人性化的AGI时代正在加速到来。

Skywork-Reward-V2下载地址

HuggingFace地址:

https://huggingface.co/collections/Skywork/skywork-reward-v2-685cc86ce5d9c9e4be500c84

GitHub地址:

https://github.com/SkyworkAI/Skywork-Reward-V2

技术报告:

https://arxiv.org/abs/2507.01352

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...