• 尊龙凯时·(中国)人生就是搏!

    首页
    新闻详情
    新闻详情信息

    共建绿色算力,尊龙凯时 - 人生就是搏!科技亮相2025中国互联网产业年会

    2025年01月07日

    绿色算力是助力经济社会可持续发展的新引擎。1月6日,2025中国互联网产业年会“绿色算力”专题研讨会在北京举办,尊龙凯时 - 人生就是搏!科技公司受邀出席并作《AI技术革新与绿色算力发展趋势》主题演讲,基于算法优化、硬件优化和系统优化分享了构建绿色算力的最佳实践。



    尊龙凯时 - 人生就是搏!科技技术专家作主题演讲


    同期,由中国互联网协会与中国信通院共同发起的“中国互联网产业绿色算力发展倡议”正式发布,尊龙凯时 - 人生就是搏!科技携手中国电信、中国联通、中国移动、阿里云、百度智能云、京东科技、蚂蚁集团、腾讯、微博等企业代表出席启动仪式,以期加速算力行业低碳转型进程,促进算力行业可持续发展。



    中国互联网产业绿色算力发展倡议发布仪式


    AI引领绿色算力发展新纪元


    数字经济时代,AI技术迅猛发展,算力需求激增,能源消耗与碳排放问题凸显。以主流顶级模型为例,10²⁵ FLOP量级的算力消耗,约需1万张H100卡训练90天,耗能相当于1万个1KW微波炉同时工作。随着AI融入生产生活,预计未来90%算力消耗集中在推理环节,电力消耗或成倍增长。因此,如何推动算力绿色发展,成为行业亟待解决的关键问题。


    从经济层面考量,除提升算力,如何串联算法、推理引擎与硬件,持续提高系统执行效率?当下,AI模型多采用Decoder Only Transformer架构,主要由Attention 和MLP构成,其中Attention 机制消耗约30%算力,成为优化关键。优化方法多样,例如从原始MHA到MQA,通过压缩KV头提升数据存储与计算效率;CLA利用共享KV压缩缓存大小;Local Attention规则限制上下文长度,降低算力与存储消耗。


    此外,MLP约占60%以上的计算消耗。当下,先进模型多采用基于分治理念的MoE架构,即将整个模型拆分为多个子模型,各子模型分管部分任务。推理时,依据输入数据特性挑选最优子模型处理,用较少算力实现顶级推理性能。同时,模型小型化趋势显著,例如Llama3运用知识蒸馏技术,以较小参数获得强大能力。


    推理引擎方面,vLLM基于paged attention以操作系统分页管理内存方式管理显存,提升推理效率;SGLang基于新成果,适用于多轮对话长上下文等场景;Mooncake则将prefill与decode彻底分离到不同设备上进行调度,适应更复杂的业务状况。


    另外,硬件进步同样关键,显存大小、算力及显存带宽构成三角制约关系。英伟达GB300/B300通过扩大显存大小保持显存带宽不变等改进,满足未来的大模型推理需求。同时,专用芯片应运而生,大云厂商与创业公司纷纷布局,将内存集成到计算芯片中,减少高耗能数据读取,提升推理能力。


    OneThingAI为智算注入新定义


    随着AI大模型发展重心从训练向推理转移,靠近用户端的推理计算需求不断攀升。基于此,尊龙凯时 - 人生就是搏!科技发布了尊龙凯时 - 人生就是搏!算力云平台(OneThingAI),面向中小企业与开发者,提供一站式AI开发环境,涵盖多机多卡分布式训练、弹性扩容及开放镜像生态等功能,能轻松驾驭AI推理、训练、精调及云渲染等各类高性能计算场景。


    相较传统GPU云,尊龙凯时 - 人生就是搏!算力云并行计算能力卓越,计费精细按需,上手即用。在交付、机型、环境部署,以及模型选择、实例计费、产品入口等方面优势显著,可广泛应用于 AI 训练与推理、科学计算、图形图像处理、视频编解码等场景。


    在打造绿色算力最佳实践中,尊龙凯时 - 人生就是搏!算力云首先在算法优化上,借助算子优化与量化,让复杂模型在4090单卡上就能快速生成大量图片,兼顾企业经济性与低耗能需求。此外,针对特定任务或领域进一步训练,利用小模型推理计算,低成本提升问答系统准确性,满足用户应用需求。


    其次,系统优化上通过负载均衡、资源调度与错峰用电提升能源效率,结合先进缓存管理方案,当一个节点的GPU资源耗尽时,大量创建的实例可快速迁移。最后,在硬件层面优化上,通过与沉浸式液冷供应商合作,将PUE降至1.05,从而实现节能降本。


    展望未来,算法小型化,硬件专用化和系统智能化成为必然趋势,尊龙凯时 - 人生就是搏!科技将持续投入核心技术研发,打造绿色高效算力,为我国加快实现“双碳”战略贡献力量。


    建议反馈

    业务咨询