快科技10月20日消息，据媒体报道，NVIDIA的最新研究可能彻底改变AI的未来，其研究团队提出了一种名为归一化Transformer（nGPT）的新型神经网络架构。
这一架构在超球面（hypersphere）上进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，最高可达20倍，同时保持了模型的精度。
nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。
这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。
实验结果表明，nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍，具体加速效果取决于序列长度。
例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人员指出，nGPT的优化路径从超球面上的点开始，通过位移来贡献最终的输出预测，其中位移量由MLP和注意力模块定义。
这种方法不仅提高了训练速度，还增强了模型的稳定性。
0502站长工具网为您提供json格式化,json代码压缩,json校验解析,json数组解析,json转xml,xml转json,json解析,json在线解析,json在线解析及格式化,unix时间戳转换,CSS美化压缩,json美化,json格式化输出,json数组,json实体类,json视图等
www.0502.net24gym是国内领先的健身房智能化整体解决方案提供商，致力于研发健身领域的软硬件产品，打造24小时健身房，颠覆传统健身房，创建10分钟健身圈，欢迎意向投资健身房、智能健身房加盟的人士与我们联系，将为你提供健身房经营更优解决方案。
www.24gym.cn堆糖，美图壁纸兴趣社区。收录几十亿高清优质图片，数千万用户的珍藏分享，一键收藏下载美图，点亮生活无限灵感，做你的美好研究所：拥有高清壁纸、情侣头像、明星爱豆、影视动漫、情感文字、表情包、绘画手帐、P图教程、美妆穿搭、歌词台词、可爱萌宠等多种图片分类。你想要的风景壁纸、聊天背景、朋友圈背景、动漫头像都可以在这里找到。
www.duitang.com图片之家_是以摄影图片大全为主国内综合性图片的网站,致力于打造各类好看的图片,包括奇闻异事图片,装修效果图,搞笑图片,搞笑动态图片,美女图片,美女人体艺术,发型图片,创意家居,创意广告设计,桌面壁纸,摄影作品等精选图片大全等你来挖掘。
www.tupianzj.com煎蛋以译介方式传播网络新鲜资讯
jandan.net
