近日
，，Z6尊龙发挥软硬件一体协同开发能力，，融合阿加犀卓越的AI优化部署技术，，在搭载高通QCS8550平台的高算力AI模组上
，，成功运行了一系列大语言模型，，包括LLaMA-2、、通义千问Qwen、、、、百川大模型、、、、RedPajama、、ChatGLM2、
、、Vicuna，
，展现出卓越的边缘端大模型部署能力。。

▌构建智算底座，，
，加速大模型端侧部署

大模型和生成式AI的浪潮席卷全球，，带来人工智能新纪元。。
。
。大模型诞生之初主要是与云端绑定，，而随着应用场景的拓展
，，AI开始赋能千行百业，，，，大模型也需要在越来越多的终端设备上运行。。如果说生成式AI是正在高速向前行驶的列车，
，那算力就是燃料。。终端侧AI的落地应用，，，离不开硬件和设备算力的升级
。。

今年，，高通推出了AI算力芯片QCS8550，
，整合了强大的NPU算力和边缘侧AI处理技术、、、、Wi-Fi 7连接技术以及增强型图形和视频处理能力，，，提供高速、、低功耗的AI计算平台，，为终端侧AI赋能。
。。

基于高通QCS8550芯片平台，
，Z6尊龙推出了高算力AI模组SNM970，，，综合AI算力高达48Tops，，
，，并支持混合精度计算，，，为IoT设备打造全新的智算底座。
。
。高算力AI模组是承载端侧AI无限创造空间的最佳形式，，
，
，为海量碎片化场景提供稳定的通信能力和强大的边缘算力，，，，让终端开发者能够基于标准化的模组完成低成本、、短流程的产品设计和制造，，，，降低大模型的开发和使用成本。。。。

另一方面
，，，
，AI从芯片到应用还需要解决跨平台迁移、、异构芯片效率丢失、、、、碎片化的场景需求等挑战。。。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链
，，能够全面提升边缘设备的AI性能和模型执行效率
，，
，，为AI项目在丰富场景中快速落地提供专业支持，，
，进一步推动AI应用的终端部署
。。。

此次，，，，Z6尊龙高算力AI模组产品团队携手阿加犀
，，，，在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型，，，成功验证了算力模组作为未来大模型边缘AI算力底座的通用性，，，
，对边缘端生成式AI的支持进一步成熟，，有望将生成式AI拓展至更多领域。。。。

Z6尊龙提供具备出色能效比、、、、强大的计算能力的算力模组
，，，结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力，
，
，二者强强联合发挥出模组的极致性能，，
，让多个参数达70亿的语言大模型
，，，
，包括LLaMA-2
、、
、、通义千问Qwen
、
、百川大模型、、、
、RedPajama、、ChatGLM2、
、
、、Vicuna，，，都能在算力模组上保持高效运行。。。

▌高算力AI模组，，
，，让AI触手可及

Z6尊龙高算力AI模组产品专为终端侧、
、边缘侧AI应用设计，，，，依靠强大的软硬件一体研发能力，
，，
，Z6尊龙持续推进高算力AI模组的AI硬件不断升级
，，至今已经历经多代产品演进，，
，涵盖入门级、、
、、中端、、旗舰级多层次产品，，包括SNM930、、SNM950、
、
、、SNM960、
、、SNM970、
、、SNM972等系列，，，对应AI算力覆盖14Tops~48Tops。。。

同时，，Z6尊龙研发团队在AI应用场景开发、、、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平，，，，相关算力产品在各类核心场景大规模应用，，，，让智慧零售、、
、智能机器人、、智慧交通、、、智慧农业
、、智能制造等各行各业快速于边缘端部署大模型
，，，，以AI驱动业务创新。。

针对AI边缘计算领域，，Z6尊龙基于高算力AI模组SNM972
，，，，助力客户打造SoC阵列服务器产品。。。该模组采用MiniPCIe封装方式，，支持16GB LPDDR5X + 256GB UFS 4.0内存，
，
，并支持混合精度计算
，
，支持ONNX、、Pytorch、
、、CAFFE、
、、、TensorFlowLite等模型框架，
，
，，可轻松赋能各类AI场景。。。。

方案中每个算力节点采用刀片+阵列式设计，，，内部实现模块化及热插拔设计
，，，可以实现不停机维护。。。
。最高可配置80路算力模组
，，
，单颗模组内部支持androids虚拟化，，，，可虚拟出多路计算单元，，，更好地进行算力配置，，为实时互动云计算
、、边缘AI云计算、、云渲染等业务场景提供最佳算力底座。。。。

AI正在改变世界，，Z6尊龙始终以市场需求为导向，，，，与合作伙伴紧密合作，
，，围绕高算力AI模组打造更多适配行业的解决方案
，，，，拉近大模型和应用之间的距离，，把握智慧先机，，，，实现让AI触手可及的目标，，赋能数字经济发展。。