1
热点精选
Apple Machine Learning Research论文
数据约束下混合预训练的缩放定律
本文研究了在目标数据稀缺时，如何将目标数据与通用数据混合进行预训练。通过超过2000次语言模型训练实验，发现重复使用目标数据15-20次仍可提升性能，并提出了考虑重复效应的混合缩放定律，为数据受限下的预训练提供了实用的混合配置建议。
2
热点
arXiv cs.CLby Maha Shahid · 论文
计算东方主义：使用中东文化敏感度评分（MECSS）衡量大语言模型中的结构性话语偏见
该论文提出中东文化敏感度评分（MECSS），将萨义德的七种东方主义操作转化为可量化维度，并引入“萨义德洗白”概念。通过对GPT-4和Falcon3-7B-Instruct的280次对话（1120次交流）分析，发现两者均系统性再现东方主义模式，且Falcon3-7B-Instruct得分更高，表明区域训练并不能自动减少偏见。
3
热点arXiv cs.CLby Zijuan Zhao, Zheren Fu, Hou Xia, Licheng Zhang, Yi Liu, Zhendong Mao · 论文
MAVEN：多模态内容宏观社会价值评估框架
本文提出MAVEN，一个基于国际人权文书和文化价值理论的多模态内容宏观社会价值评估框架，将价值分为6个主维度和72个二级指标，支持多级量化评分。作者构建了人工验证的基准MacroValue-Bench和软匹配指标，并提出跨度自适应多级偏好优化（SA-MDPO）和免训练多角色共识策略来优化评估器。实验表明，2B的紧凑评估器性能与同系列8B相当，接近前沿闭源VLM，为可扩展的宏观社会价值评估提供了实用路径。
4
热点精选Apple Machine Learning Research论文
数据约束下的多语言知识迁移：通过词汇干预实现
本文提出LINK方法，在预训练阶段对高资源语言（英语）数据进行词汇级替换，利用双语词典将随机词替换为低资源语言的翻译，以提升低资源语言的知识迁移效果。该方法无需额外训练或翻译系统，仅需近零成本的双语词典。在8种语言、5种模型规模上验证，下游任务性能显著提升，达到同等性能的训练速度最高可提升2倍。
5
热点arXiv cs.AIby Namya Bhatnagar · 论文
安全对齐的幻觉：大语言模型中的跨语言安全差距
该研究指出当前大语言模型的安全对齐训练以英语为中心，导致非英语语言存在安全漏洞。作者提出了INCLUDE基准，包含2604个提示，覆盖六种印度语言，评估十个开源和闭源模型，发现孟加拉语在开源模型中偏见得分最高，而英语在闭源模型中偏见最高，揭示了跨语言安全对齐的不足。