中科大认知智能全国重点实验室陈恩红团队联合华为诺亚方舟实验室推出推荐模型性能定律，首次对模型的性能与模型、数据的规模和质量进行了定量分析。

针对现有工作只能对推荐大模型Scaling Law（扩展定律）做定性分析的局限性，论文首次尝试对推荐大模型性能扩展定律给出明确的定量预测。

具体地，相较于传统大模型扩展定律里的数据量指标，考虑推荐领域的数据特性提出了序列数据的质量衡量指标，并从模型性能预测角度出发避免传统扩展定律带来参数增大导致的模型过拟合问题。

最终基于论文发现的推荐大模型性能预测定律，能够在给定的数据集和模型配置下，有效预测模型的扩展潜力，同时实现模型参数的最优性能配置。

序列推荐系统旨在根据用户过去的交互记录预测下一个推荐给用户的物品，以此来捕捉用户的动态偏好。

近年来，随着商业和互联网场景中用户数据量的急剧增长，推荐系统受到了越来越多的关注。然而，为了处理这些庞大的数据集，商用与学术领域均开始采用更为复杂和庞大的推荐模型。

这些模型的高计算要求不仅带来了巨大的开发成本，而且还使得开发过程中的资源分配和GPU使用变得充满挑战。

如上图所示，为了更好地预测推荐模型在不同情况下的性能，研究者们开发了一系列的扩展定律，用于在无需进行大规模实验的情况下评估和预测模型效果。

扩展定律最初在大型语言模型中进行探索。例如Chinchilla扩展定律的通过模型参数数量和训练样本的数量来预测预训练损失。

(1) 与扩展定律中通常考察的模型损失指标相比，推荐模型中性能指标（如命中率）更为重要，由扩展定律导向的增大模型规模虽然能使模型损失降低，却会由于模型过拟合问题导致性能出现衰减。

(2) 除了数据的规模之外，推荐系统的数据集通常具有结构和协作特性，同时重复序列片段和冗余度较高，这使得数据质量成为影响结果的核心因素，但在现有的推荐模型扩展定律中尚未被充分讨论。

这些挑战使得现有的推荐系统扩展定律工作仅仅给出了一些定性的分析，并不能对模型的精度进行定量预测。

为应对这些挑战，研究人员提出了推荐大模型性能预测定律，首次对模型的性能与模型、数据的规模和质量进行了定量分析。

通过拟合推荐模型的关键性能指标，包括命中率（HR）和归一化折扣累积增益（NDCG），可以定量预测模型的层数和物品嵌入维度对其性能的影响。

此外，为了应对数据质量研究因素匮乏的挑战，引入了近似熵（ApEn）作为评价数据质量的创新性指标，将原有扩展定律中的数据规模替换为数据规模与近似熵之比，并通过理论和实验验证了这一替代的合理性。

研究人员也对提出的大模型性能预测定律进行了应用实验，有效地预测了模型的最优性能参数配置和扩展潜力。

如前所述，研究人员引入了近似熵因子，以进一步增强序列推荐系统中的扩展定律。

具体来说，近似熵是一种用于量化时间序列数据的规律性和不可预测性的统计测度，其计算方法如下：

首先，对于一个长度为N的时间序列{ }以及参数m（嵌入维度）和r（容差），构造m维向量=[，+1，…，+m-1 ] ，其中=1，…，N-m+1 。然后，定义两个向量和之间的距离为：

在后续对近似熵的计算中，研究人员将容差设定为r = 0 。这一决定是基于推荐物品的独特特性，其中具有相似ID的产品可能传达完全不同的意义。

然而，传统熵通常与数据复制率呈现负相关性。因此，尽管ApEn被冠以”熵”的称谓，但其变化趋势与传统熵指标具有相反特性。

为避免概念混淆，本研究采用 ApEn′=1/ApEn作为近似熵的最终测度。研究人员进一步引入数据平均最小编码长度作为最终的数据质量衡量指标。

由于重复的序列模式均可用相似的编码表征，从而降低平均最小编码长度，该指标将保障数据的最小可学知识量、有效防止重复与无效数据导致的数据量虚高问题。

假设用户序列可以被建模为一阶非周期性平稳马尔可夫链。如果用户序列为S={S，∈U } ，那么所有序列的最小编码长度之和|U|L(C)由以下公式给出：

这个下界表达了在给定的用户序列情况下，最小编码长度应该至少等于序列元素长度总和除以序列的近似熵。这个不等式利用了近似熵的概念来提供编码效率的下界。

于是研究人员将D′=∑∈U|S| · ApEn′(S)代入了原有的扩展定律公式D。

研究人员进一步证明能将每一项参数用1/x+log(x）的形式以加入衰减项，从而优化性能拟合。他们拟合模型的最终形式为：

其中N为模型层数，demb为嵌入维度，D′=∑∈U|S| · ApEn′(S)为数据质量衡量指标，其余均为拟合参数。

研究人员的验证实验目标是验证理论的准确性，主要从两个方面进行：一是其模型是否符合扩展法则，二是使用近似熵（ApEn）和标记数量来评估数据规模的方式是否合适。

他们首先检查模型损失曲线与扩展法则的一致性，从图像上可看出实际模型性能非常贴合其表现定律。

然后，数据参数D’加入参数进行一并拟合，以研究其影响因素。在下图中他们拟合的数据参数与ApEn的组合呈现出明确的线性关系，这证明了理论的有效性。

由于性能法则中包含衰减项，使得实现全局最优解成为可能。

在前述拟合分析的基础上，研究人员在下表从全局和给定参数规模篇两个方面利用Performance Law给出了两个参数最优拟合，均获得了较好的结果。

同时研究人员也可以在小规模实验上分析拟合参数对模型增大时的提升潜力与全局最优性能进行预测。

他们在下表验证了这个应用，在更小的衰减项参数上模型的扩展潜力更大，最优结果更强。

美媒曝美财长受不了荒谬的对等关税

「活动」NRM2Ka4hbxvy

9.71MB

版本V3.315.38

下载APK 高速下载

下载艺校女被高官玩弄黄文安装你想要的应用更方便更快捷发现更多

51%好评(65人)

详细信息

软件大小: 12.0MB
最后更新: 2025/04/06 14:16:33
最新版本: V6.0.7
文件格式: apk
应用分类:ios-Android 中国男Gay🔞没戴套视频
使用语言: 中文
: 需要联网
系统要求: 5.11以上

应用介绍

一，神奇宝贝小智和莎莉娜的结局，少妇婬荡高潮呻吟无码芒果
二，白丝貂蝉被❌吸乳羞羞网站，乳荡护士肉欲1～8集动漫
三，疯狂❌自慰爽www看片动漫女同，91成人APP看片破解版
四，久久亚洲精品无码系列蜜臀多少钱，17禁🍆🍑🔞❌❌❌
五，无码免费婬A片自慰麻豆下载，成人扒开🍑伸出🍌❌游戏
六，涩多多成人版app♥,麻豆精品㊙️网站免费，狼天影魔卡少女樱
七，心海被❌吸乳羞羞漫画A片
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

91全国楼凤论坛在线

被撕开内衣👙吸奶头的古風小說

鸣人XX❌XX佐良娜网站

8.27MB

104好评

airflyer87黄小鬼画片
主人的任务(调教、1v1)

女人扒开腿㊙️打扑克视频

592.52MB

6655好评

男仆扒开腿㊙️让人桶爽的作文
artist:tomet呜人和小樱

琳娜贝尔挂件多少钱

13.43MB

312好评

欧美⭕⭕⭕⭕XX高清国视频
二次元圈内术语

小学女生的jojo图片

53.65MB

276好评

袁一琦被c到尖叫高潮
惩罚女仆扒开🍑打屁股动漫

1314个爱心复制粘贴

71.57MB

708好评

敖丙被绑在木桩上两腿打开
51在线无码精品㊙️人口

lol贝蕾亚狱卒的脚丫

83.29MB

333好评

人妖撒尿
18禁大乳裸体喷水免费视频

水咲萝拉无码精品AV

23.78MB

107好评

❤️爱情岛永久免费线路高清
男男自慰play震动椅

女的下面不长毛什么原因

50.24MB

924好评

18🈲️脱内衣👙漫画网站鉴黄师
小舞🌸扒腿让我c的小黄书

鳝鱼鳗鱼

83.45MB

563好评

老熟女乱婬XXOO视频
美女裸露100%奶头无遮挡免费

音乐在线听歌曲

83.12MB

751好评

鸣人❌佐助
卓依婷一级A片在线

从小就和青梅做了h

32.97MB

621好评

❤️两男生吃我胸❤️
女人露出光屁屁抽打

加载页代码

26.48MB

275好评

大慈树王裸体被❌涩涩动漫
我的AI女友裸身版下载

人丁图片100张

65.13MB

745好评

白丝jk暴❌❌乳❌❌❌视频
👙🈲㊙️免费网站软件

撕开衣服强摸双乳学生小说

54.24MB

755好评

18看免费大全哔哩哔哩
jmcomic官网下载

粉嫩玉足夹精脚交榨精

57.90MB

684好评

原神座脸放屁
奇优手机版❤️伦理91社

少萝裸体🔞🔞🔞视频春水在线观看

24.31MB

359好评

91为国争光大战洋妞系列
徐明浩被肉干高H潮文all

台湾三级艳史理伦三级

13.48MB

312好评

99久久夜色精品国产亚洲
女女c🔞黄㊙️❌A站下载

美女脱👙露出🐻自己爽网站

84.53MB

213好评

绝版火箭少女101多少钱一套
《纲手的呐喊》动漫免费观看

سىكىشىش18

45.64MB

732好评

18种禁用APP软件下载安装
吸金聚财的名字

斗破苍穹双女主百合推荐小说

10.19MB

188好评

亚洲美女XXXXX极品
国产在线㊙️麻豆苏畅

啊哈～尾巴钟离达达利亚

44.69MB

361好评

杨紫的造梦mv免费播放
国产油车排行榜前十名

整蛊美女的单机小游戏

91.39MB

205好评

HDⅩXXX女同AV性恋
老师让我揉她内裤越快越好

sm大量甘油浣肠调教视频

30.33MB

907好评

荧裸体被❌涩涩在线观看
美女裙底㊙️视频看

成人深夜app

30.16MB

546好评

老师的惩罚真人妲己尤老师
com,WWW

松岛枫侵犯美人女教师

29.03MB

121好评

男男开趴啪肉尿在里面互c
小鲜肉GayGays✅自慰

趴着打光屁股sp抽打

70.53MB

451好评

羞羞漫画在线成人漫画而生下载
国产AI换脸一区二区三区 title="麻豆国产女�1�3黄A片在" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

周边卫生间公厕在哪里

美女裸体触手3d

详情
又粗又深又猛又爽的视频A片 title="芒果成人免费视频网站" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

小受被扒开腿震蛋H男男动漫

女忍3D动漫无删减在线观看第5季

详情
拍击调教美女屁股 title="宅男噜噜66在线AV" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

巴巴塔肉浪大屁股泄精求饶

男同桌含着我的奶边摸边做小说

详情