第157章 迎敌陷马(第2/2 页)

方面，这些模型表现非常可观。在语言大模型方面，我们去年已经多次获得了权威榜单的第一名。

五、云天励飞是怎么取得可观成绩的？背后有4项关键技术

我们如何实现这些可观的成绩？尽管我们面临了诸多挑战，但我们总结归纳后认为有四个关键点值得分享：

第一，解决成本的问题。精度可以通过数据堆积解决，在真正落地的时候，推理的成本是绕不过去的，我们的核心要义是解决高效的推理引擎问题。

为此，我们自主研发了Space推理引擎，它与算子层高效融合，实现了无损的推理，并将推理速度提升了50%以上。具体来说，像生成式大模型，通常是进行单字符的向前预测，但我们想办法一次性预测多个字符，同时保持无损、精度不变。在这种情况下，我们通过对算法结构进行改进，实现了一次性预测多个词条，从而提升了推理效率。

第二，降低核心成本。我们致力于提高效率和减少GPU存储需求，通过研究分布式切块，包括自适应的稀疏缓存解码等技术，我们成功将GPU需求降低了50%。

第三，优化训练技术。优化训练是大模型落地的根基，所有的应用都在这个根基上长起来。我们研发了一套可伸缩的大模型训练技术，简单来说，训练一个大模型，这个大模型要考虑如果扩展它的参数或者说扩展它的规模、优化它的结构，能不能复用原有的大模型？

答案是肯定的，这种方法也节省了训练成本。从深度和广度的角度来看，通过复用已训练的参数，达到深度扩展和宽度扩展，使训练效率翻倍，同时降低了达50%的训练成本。

第四，神经网络处理器和推理芯片是我们近十年来的重点。如今已经历了四代迭代，从第一代NNP100到目前的NNP400T，我们已经完全灵活适配多种深度学习架构，特别是在Transformer架构下，我们进行了指令集优化、算子的协同设计以及高效的联合设计，支撑了Transformer结构的高效推理。此外，我们还是最早一批使用Chiplet结构适配大模型的公司之一。

利用这四项核心技术，我们构建了支持边缘大模型的算法芯片化系统。我们的底层技术支持了神经网络处理器和自主研发的推理芯片，促进了国产化进程，避免了对供应链的依赖，并在此基础上实现了多模态大模型的运行。从行业应用的角度来看，我们有基于行业到边缘的场景大模型。更重要的是，我们

本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！