会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 听我说,Transformer它便是个反对于向量机!

听我说,Transformer它便是个反对于向量机

时间:2024-12-25 01:36:44 来源:烈焰语芹网 作者:时尚 阅读:609次

机械之心报道

编纂:蛋酱、听我说小舟

SVM is 个反all you need ,反对于向量机永不外时。对于

Transformer 是向量一个反对于向量机(SVM)一种新型实际在学界激发了人们的品评辩说 。

上周末,听我说一篇来自宾夕法尼亚大学、个反加州大学河滨分校的对于论文试图钻研大模子根基 Transformer 妄想的道理 ,其在留意力层的向量优化多少多与将最优输入 token 与非最优 token 并吞的硬领土 SVM 下场之间建树了方式等价。

在 hackernews 上作者展现,听我说这种实际处置了 SVM 将每一个输入序列中的个反「好」标志与「坏」token 并吞的下场 。该 SVM 作为一个功能优异的对于 token 抉择器,与传统为输入调配 0-1 标签的向量 SVM 本性上差距  。

这种实际也讲明了留意力若何经由 softmax 引起浓密性 :落在 SVM 抉择规画领土过错一侧的听我说「坏」token 被 softmax 函数抑制 ,而「好」token 是个反那些最终具备非零 softmax 多少率的 token。还值患上一提的对于是,这个 SVM 源于 softmax 的指数性子。

论文上传到 arXiv 下面之后,人们纷纭宣告意见 ,有人展现 :AI 钻研的倾向真是螺旋回升,岂非又要绕回去了 ?

绕了一圈
,反对于向量机仍是不过时�
。

自典型论文《Attention is All You Need》问世以来,Transformer 架构已经为做作语言处置(NLP)规模带来了革命性妨碍 。Transformer 中的留意力层接受一系列输入 token X,并经由合计 

评估 token 之间的相关性 ,其中 (K, Q) 是可磨炼的 key-query 参数,最终实用捉拿短途依赖关连 。

如今,一篇名为《Transformers as Support Vector Machines》的新论文在自留意力的优化多少多以及 hard-margin SVM 下场之间建树了一种方式等价  ,运用 token 对于的外积线性约束将最优输入 token 与非最优 token 并吞 。

论文链接 :https://arxiv.org/pdf/2308.16898.pdf

这种方式等价建树在 Davoud Ataee Tarzanagh 等人的论文《Max-Margin Token Selection in Attention Mechanism》的根基上,它可能形貌经由梯度着落妨碍优化的 1 层 transformer 的隐式倾向(implicit bias):

 (1) 优化由 (K, Q) 参数化的留意力层 ,经由消逝正则化(vanishing regularization) ,收敛到一种 SVM 处置妄想,其中最小化组合参数 

(责任编辑:热点)

推荐内容
  • 诚意满满!库里加盟猛龙,迎冠军锋线助攻!
  • 饭馆损失800万后防汛措施拉满:积水淹到引擎盖,这家店扛住了
  • 《那不勒斯故事四部曲》北大吴谢宇弑母案再爆惊人细节,搜出大量性爱工具,真相一再反转
  • 原创            大反转,哈登向76人表态,出乎莫雷意料,联盟可能有大动作
  • 原创            中超三元老冰火三重天:国安愁钱,申花有钱,泰山忙着亚冠出线
  • 法甲-姆巴佩破门内马尔双响梅西造点 巴黎5-2大胜优质“蛋白”排行榜,牛奶倒数第一,鸡蛋倒数第二,早餐学会吃