CNTXJ.NET | 通信界-中国通信门户 | 通信圈 | 通信家 | 下载吧 | 说吧 | 人物 | 前瞻 | 智慧(区块链 | AI
 国际新闻 | 国内新闻 | 运营动态 | 市场动态 | 信息安全 | 通信电源 | 网络融合 | 通信测试 | 通信终端 | 通信政策
 专网通信 | 交换技术 | 视频通信 | 接入技术 | 无线通信 | 通信线缆 | 互联网络 | 数据通信 | 通信视界 | 通信前沿
 智能电网 | 虚拟现实 | 人工智能 | 自动化 | 光通信 | IT | 6G | 烽火 | FTTH | IPTV | NGN | 知本院 | 通信会展
您现在的位置: 通信界 >> 市场动态 >> 对话正文
 
AI大模型带动存储变革 业界呼吁重视存力建设
[ 通信界 | 孙乐 | www.cntxj.net | 2023/8/2 9:39:44 ]
 

眼下,AI大模型正重塑着千行百业,也包括与之息息相关的算力产业链。

在AI芯片屹立风口之时,业内对存储芯片、存储设备的关注度也直线上升,HBM(高带宽存储)、近存计算等概念大热。

大模型建立在数据和算力之上,而海量数据(20.080, 0.12, 0.60%)(维权)需要更强悍的存储性能,从而更好地释放算力,因此在大模型的推动下,存储产业正在新需求下升级变革。

近日,华为数据存储产品线总裁周跃峰就向记者谈到了存力的重要性:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。”

一直以来,计算、存储和网络被视为数据中心三大件,它们是关系紧密的有机体系,分别对应着算力、存力和运力。如今在算力蓬勃发展的同时,存力正越来越受到重视。近年来国内建设了诸多算力中心,现在的新趋势是开始建设大量的存力中心。

打造AI大模型是一个复杂的系统过程,其间面临着不少挑战。在华为看来,企业在开发及实施大模型应用过程中存在四大挑战。

首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右,这不利于系统的高效利用。

其次,如今大模型的规模越来越大,达到千亿甚至万亿的参数级,训练需要海量的计算资源和存储空间。比如多模态大模型以海量文本、图片为训练集,但是当前海量小文件的加载速度不足100MB/s,训练集加载效率低。

其三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天。

最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。比如,它需要非常专业的软件、硬件甚至是维护工程师来进行实施并进行后续的维护。

可以看到,大模型的到来,给数据和存储提出了新的要求。华为分布式存储领域副总裁韩振兴向21世纪经济报道记者表示:“在AI刚兴起的时候,针对小模型,很多客户会找一些服务器的本地盘来解决。但是随着大模型的兴起,需要一个外置的非常灵活扩展的存储。如果数据量载入过慢,会造成建设的算力都在闲置,所以需要一个不仅是外置的存储,而是一个极高性能的新品类和解决方案。”

为了解决这些瓶颈,头部的企业们已经开始牵头进行产业界合作。近期,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

其中,前者是面向基础/行业大模型场景,支持96闪存盘,带宽可达400GB/s,IOPS达到1200万;后者面向行业大模型的训练、推理一体化的场景,集成了存储、网络、多样性的计算,降低企业使用AI大模型的门槛。目前,华为的存储产品已在国内的十大模型厂商得到部署,包括科大讯飞(60.850, -2.03, -3.23%)、中国科学院等。

据悉,目前全球高端的存储设备厂商主要有三家,分别是华为、戴尔EMC和日立。随着AI大模型日新月异,企业对于高端存储的需求也将更进一步,华为、戴尔、日立等也将在存储的顶级战场上展开新一轮竞争。

周跃峰向21世纪经济报道记者算了一笔成本账单:在AI的大模型训练过程里,包括数据准备、接入实施等整体成本中,算力的成本占25%左右,即买服务器和GPU;数据准备、清洗与处理这些工作(包括人工)的成本大概占22%。

同时,周跃峰还举了一个例子来说明存储的重要性,由于英文的数字化记录资料远远多于中文,ChatGPT训练英文的效率比中文高很多。他表示,中国如果不重视存力,对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。

数据显示,预计2025年中国数据量将从7.6ZB增至48.6ZB,超过美国成为全球第一。当前,全球各国都在加快制定国家数据战略,其中,存储技术和产业成为共同关注的战略重点。

虽然AI算力中心不断兴起,但是中国工程院院士、中国科学院计算技术研究所研究员倪光南指出,目前普遍对算力的理解有片面性,广义算力不仅包括算力,还包括存力、运力。当前中国算力中心的存力相对不足,存在重算力轻存力的倾向。

韩振兴也表达了类似观点,他谈道,在算力和存力的建设有一个最佳的算存比,并不是靠推算力就能把AI做好。算力建设过多、存力建设过少,这会导致算力闲置,造成资源的浪费。所以一定要去重视存力,达到一个最佳的整体算存比。

当前国内的存储发展还跟不上数据量的增长。根据倪光南提及的一组数据,中国单位GDP的数据存储量只有美国70%左右,而人均数据存储量,美国是中国的9倍。美国为212GB/人,中国约为25GB/人,说明中国数据存储产业大有可为、前景广阔。

在业界呼吁关注存力建设的同时,国内在政策面也有了更多支持计划。为进一步加快推动我国算力高质量发展,日前工信部新闻发言人赵志国表示,将出台指导算力基础设施高质量发展的政策文件,加大高性能智算供给,加强先进存储产品部署,开展算力网络优化行动,加快构建云边端协同、算存运融合的一体化、多层次的算力基础设施体系。

 

1作者:孙乐 来源:21世纪经济报道 编辑:顾北

 

声明:①凡本网注明“来源:通信界”的内容,版权均属于通信界,未经允许禁止转载、摘编,违者必究。经授权可转载,须保持转载文章、图像、音视频的完整性,并完整标注作者信息并注明“来源:通信界”。②凡本网注明“来源:XXX(非通信界)”的内容,均转载自其它媒体,转载目的在于传递更多行业信息,仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。③如因内容涉及版权和其它问题,请自发布之日起30日内与本网联系,我们将在第一时间删除内容。 
热点动态
普通新闻 2026中国信息通信业发展高层论坛在京举办
普通新闻 快手遭腾讯百亿元减持,称不会对营运产生任何重大不利影响
普通新闻 最高99万买的仿生机器人,续航仅2-4小时?公司回应
普通新闻 巨头开始卖算力,打开了什么魔盒
普通新闻 我带着1080克的三代酷睿Ultra轻薄本进山两天 但是没带充电器
普通新闻 轻盈随行,性能越级!英特尔酷睿 Ultra 5 325+4Xe 激活轻薄本新潜力
普通新闻 被遗忘的Panther Lake“小”芯片,可能更适合追求性价比的你…
普通新闻 雪山脚下搞创作,一台AI轻薄本真的扛得住吗?
普通新闻 与酷睿Ultra 5 325的丽江行,1kg轻薄本很流畅,1整天续航很酸爽
普通新闻 索尼亮相2026上海国际低碳智慧出行展,以创新科技打造车载醇音典范
普通新闻 英国电话卡选哪个运营商?中国移动CMLink一站式通信生态的深度剖析
普通新闻 全能的338H/358H/388H轻薄本不便宜?Ultra 5 325或是新答案
普通新闻 轻薄本,正在悄悄改写我对 PC 的所有想象
普通新闻 海回科技 1.6T 测试仪荣膺 2026 年度光通信「最具影响力产品」大奖
普通新闻 地芯科技MWC上海2026圆满收官,以自研高端模拟射频芯片全景赋能空天
普通新闻 2026MWC上海开幕,中国移动以“移动智能 无界普惠”主题参展
普通新闻 数智普惠 一步到位 | 华为极简全闪数据中心2.0存储商业峰会-暨大附
普通新闻 诺贝尔经济学奖得主:马斯克本质上是真人版庞氏骗局
普通新闻 外媒曝蚂蚁集团正秘密测试AI 版支付宝
普通新闻 谷歌 CEO 皮查伊斯坦福毕业演讲避谈 AI,鼓励毕业生“选择乐观”
通信视界
小米卢伟冰:小米手机Q1拿下中国市场“双第一
普通对话 517电信日 | 鼎桥CEO邓飚:以科技铸魂强复原
普通对话 科大讯飞与奇瑞成立祺声科技公司 注册资本3
普通对话 得物发全员信:提高绩效奖金,A+级绩效提升
普通对话 小米卢伟冰:小米手机Q1拿下中国市场“双第
普通对话 银光耀:聚焦行业现状,助推半导体行业加速
普通对话 6G进展如何?离我们还有多远?独家专访6G推
普通对话 5G赋能千行百业.专家谈|GSMA大中华区公共政
普通对话 巾帼不让须眉!且看高质量信息科技背后的智
普通对话 我国科学家研制出世界首款类脑互补视觉芯片
普通对话 李彦宏:不断地重复开发基础大模型是对社会
通信前瞻
我国实现“县县通千兆、乡乡通5G”
普通对话 张凯:以课题研究破题工业数字化转型,为行
普通对话 卫星互联网建设提速 产业链竞相布局
普通对话 确认了!王者荣耀与《哪吒之魔童闹海》联动
普通对话 记者调查:客服电话转人工,咋越来越难了?
普通对话 安徽推动新型信息基础设施协调发展
普通对话 我国实现“县县通千兆、乡乡通5G”
普通对话 “百模大战”中,工业大模型如何闯出“新天
普通对话 经济聚焦·访智能制造 解行业痛点
普通对话 60秒解锁“北斗+”“+北斗”
普通对话 需求激增 算力基础设施加快落地
普通对话 我国国产首颗全电推通信卫星亚太6E卫星成功
普通对话 SpaceX离第四次发射星际飞船又近一步
普通对话 哈勃望远镜步入暮年,陀螺仪仅剩2个,NASA打
普通对话 顶层设计完善 智慧城市建设开足马力
普通对话 中央企业智能算力规模加速增长
推荐阅读
Copyright @ Cntxj.Net All Right Reserved 通信界 版权所有
未经书面许可,禁止转载、摘编、复制、镜像