CNTXJ.NET | 通信界-中国通信门户 | 通信圈 | 通信家 | 下载吧 | 说吧 | 人物 | 前瞻 | 智慧(区块链 | AI
   国际新闻 | 国内新闻 | 运营动态 | 市场动态 | 信息安全 | 5G 6G | 工业自动化 | 通信测试 | 通信终端 | IT  
 通信电源 | 专网 | 交换技术 | 视频通信 | 接入技术 | 光通信 | 无线通信 | 线缆 | 互联网 | 数据通信 | 政策
 视界 | 前瞻 | 三网融合 | 智能电网 | 虚拟现实 | 人工智能 | 烽火网络 | FTTH | IPTV | NGN | 知本院 | 会展
您现在的位置: 通信界 >> 互联网络 >> 技术正文  
 
新版摩尔定律也要靠算力 英伟达称AI训练速度可再提高1万倍
[ 通信界 / 钱童心 / www.cntxj.net / 2023/2/27 22:32:41 ]
 

  ChatGPT之父、OpenAI公司CEO奥特曼(Sam Altman)周日在一条Twitter上写道:“新版摩尔定律很快就要来了,宇宙中的智能数量每18个月就会翻一倍。”

  摩尔定律是英特尔(25.57, 0.43, 1.71%)联合创始人摩尔对半导体行业的预测,指芯片中的晶体管数量大约每两年翻一番,同时价格降一半。几年前,芯片巨头英伟达创始人CEO黄仁勋就曾表示:“摩尔定律已死。”

  奥特曼的最新言论很快在社交媒体上发酵,但他没有具体解释所谓的“智能”(intelligence)到底是指什么,这也引发了业内的热烈讨论。

  宇宙智能数量18个月翻番指什么?

  “当(人脑之外的)另一个结构可以突破(神经元)总量限制时,智能的确会不断爆炸。”猎豹移动(2.59, 0.00, 0.00%)董事长傅盛在微信朋友圈中写道。他向第一财经记者解释称:“这里的智能应该指神经元参数。”

  澜舟科技创始人CEO周明对第一财经记者表示,虽然神经元参数确实是可以数值化衡量的指标,但是过去几年里,神经元参数似乎并没有18个月就实现翻番。

  “我认为Altman说的意思比较含糊,我个人的理解是,世界上的人工智能能力每18个月翻一倍,但怎么才算翻一倍,是增加新的能力的个数,还是已有能力的翻倍提升,他没有明确说明。”周明对第一财经记者表示。

  第一财经记者就如何理解“智能”翻番向ChatGPT提问。首先问:“宇宙中智能数量每18个月翻一倍,这里的智能是指什么?”ChatGPT回答道:“声称宇宙中的智能数量每18个月翻番是没有科学依据的,因为智能不是一个可以用这种方式测量或量化的物理量,通常认为它是一个具有复杂特性的东西,不能简化为单个指标或者数值。”

  当第一财经记者在提问中加入ChatGPT创始人奥特曼的名字,再问:“奥特曼所说的新版摩尔定律是指什么?”ChatGPT回答称:“新摩尔定律指的是奥特曼在2018年做出的关于人工智能快速发展及其能力呈指数级增长的预测。奥特曼表示,人工智能发展的速度目前正在超过摩尔定律。”

  从ChatGPT的回答中可以看出,这一预测是奥特曼早在2018年就曾作出的,但当时OpenAI的能力远不如今天,这一表态自然也未受到关注。

  如今,奥特曼重新将他的“新版摩尔定律”抛出,背后是深度学习和AI的崛起。但不管ChatGPT如何强大,背后也离不开算力的支撑。

  随着人类对于算力的要求越来越高,要满足新的高性能运算需求,芯片就需要不断迭代,成本也会随之增加。目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100,该芯片的单价超过1万美元。

  在上周英伟达的财报会议上,黄仁勋称,英伟达的GPU在过去的十年里将AI的处理性能提高了100万倍。英伟达现在希望将AI的训练速度提高至少1万倍。

  研究机构Gartner分析师盛陵海对第一财经记者表示:“过去十年是AI发展从0到100的阶段,但是要从100到10000,是完全不同的场景。过去十年芯片的发展还遵循摩尔定律,但随着摩尔定律接近极限,未来计算机的能力要进一步提升越来越困难,除非量子计算能有大的突破。”

  谁能颠覆人工智能主力”A100

  根据研究机构New Street Research发布的一份报告,英伟达的A100目前已成为人工智能领域的“主力”,占据了用于机器学习的图形处理器市场95%的份额。

  训练大型语言模型需要大量GPU,这些GPU还能进行“推理”。拥有热门AI产品的公司通常需要购买更多GPU来处理峰值期间的数据或用于模型的改进。例如,人工智能公司Stability AI公司过去一年购买的A100芯片数量增加到目前的5400个。Stability AI的软件用于图像生成器Stable Diffusion,使用256个A100芯片训练模型,训练总时长达20万个小时。

  除了单个的A100芯片之外,英伟达还出售一个包含8个A100的服务器系统DGX,售价接近20万美元。根据机构测算,微软(252.0511, 2.83, 1.14%)基于ChatGPT的人工智能搜索必应(Bing AI)需要超过2万台DGX服务器系统,才能使Bing的模型支持每个人的搜索,这表明该功能可能需要微软投资40亿美元的基础设施支出。

  而谷歌(89.79, 0.44, 0.49%)每天进行近百亿次的搜索服务需要的服务器能力更大。根据New Street Research的技术分析师Antoine Chkaiban的预测,谷歌要满足所有人的搜索,需要在DGX上花费800亿美元。“这说明每个使用如此庞大的语言模型的用户都需要一台大型超级计算机。”Chkaiban在报告中写道。

  但目前仅有大公司才有实力进行如此巨大的投资。为了让更多小公司能够使用英伟达AI的能力,英伟达正在拓展一种全新商业模式。黄仁勋在上周的财报电话会议中表示,未来将直接出售对DGX系统的云访问,从而降低小公司研究人员使用AI能力的入门成本。

  在黄仁勋看来,英伟达提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心,现在将该数据中心放在云端共享,意味着可以由100家公司来分担这一成本,因此每家公司支付的实际上是非常少的费用。“现在企业可以花一两千万来构建一个类似GPT的大型语言模型,这是可以支付得起的。”黄仁勋表示。

  尽管英伟达并不是唯一一家生产用于人工智能GPU的公司,但根据研究机构State of AI的报告,截至去年12月,超过2万篇开源AI论文中都使用了英伟达的AI芯片,其中A100在2022年的使用量迅速增长,成为英伟达被使用第三多的芯片,仅次于其售价1500美元的游戏芯片。

  目前能与A100的使用量竞争的仍然是英伟达去年量产的下一代人工智能芯片H100。这款芯片的售价更高,并且在截至今年1月的财季中,H100芯片的收入已经超过了A100。英伟达表示,H100是该公司推出的首款针对transformer架构进行优化的数据中心GPU,transformer正在越来越多地用于新的顶级人工智能应用程序,重要性日益凸显。

  “H100采用了5纳米的制程,相比于A100的7纳米制程而言,H100的性能应该是显著优于A100的。”盛陵海对第一财经记者表示。

 

作者:钱童心 合作媒体:第一财经 编辑:顾北

 

 

 
 热点新闻
普通新闻 聚智成势 协同向新|中信科智联精彩亮相2023世界智能网联汽车大会
普通新闻 三星Galaxy Z Fold5再次拉高行业标准 超闭合精工铰链可折叠70万次
普通新闻 中国信通院敖立:新时期工业互联网将对产业链组织带来新价值
普通新闻 揭秘开幕式数字点火!中国技术打造亚运经典时刻
普通新闻 华为:凝心聚力,加速AI的生态繁荣
普通新闻 中国移动荣获TM Forum2023年度市场创新卓越奖
普通新闻 工信部:杭州亚运会首创5G超密组网方案 推进5G-A超宽带技术应用
普通新闻 英特尔发布超能云终端3.0,携手生态伙伴共谋数字化未来
普通新闻 中国信科:连接数字化美好未来
普通新闻 上PICO,沉浸式观看亚运直播,参与跨国界游戏竞技
普通新闻 新紫光集团强化产业协同,新华三向“深”生长
普通新闻 新讯重磅发布5G随身wifi,真5G 打游戏!
普通新闻 OpenAI推出新版图像生成器DALL-E 3,10月份开发
普通新闻 华为全面智能化!孟晚舟:打造中国算力底座 为世界构建第二选择
普通新闻 水木分子发布生物医药行业千亿参数大模型,推出药研助手ChatDD
普通新闻 欧盟:距离对中国电动汽车征收新关税“还很遥远”
普通新闻 数据显示8月底ChatGPT流量开始回升,主要是因为开学了
普通新闻 这颗小行星可能在159年后撞上地球?
普通新闻 华为正式发文:余承东升任车业务董事长 靳玉志接任CEO
普通新闻 道歉都整不明白的卧龙凤雏,不止花西子一个.....
  版权与免责声明: ① 凡本网注明“合作媒体:通信界”的所有作品,版权均属于通信界,未经本网授权不得转载、摘编或利用其它方式使用。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:通信界”。违反上述声明者,本网将追究其相关法律责任。 ② 凡本网注明“合作媒体:XXX(非通信界)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。 ③ 如因作品内容、版权和其它问题需要同本网联系的,请在一月内进行。
通信视界
吴春波:华为如何突破美国6次打压的逆境?
刘烈宏:以数字化网络化智能化助力数字经济与
普通对话 高通中国区董事长孟樸:5G与AI结合,助力提
普通对话 雷军发布小米年度演讲:坚持做高端,拥抱大
普通对话 闻库:算网融合正值挑战与机遇并存的关键阶
普通对话 工信部副部长张云明:我国算力总规模已居世
普通对话 邬贺铨:我国互联网平台企业发展的新一轮机
普通对话 张志成:继续加强海外知识产权保护工作 为助
普通对话 吴春波:华为如何突破美国6次打压的逆境?
普通对话 刘烈宏:以数字化网络化智能化助力数字经济
普通对话 消息称微软将把OpenAI人工智能技术整合至Of
普通对话 中国电信董事长柯瑞文:数字科技引领新消费
普通对话 中国移动董事长杨杰出席GSMA创新论坛并作主
普通对话 中国信科何书平:“一体两翼”大力支撑数字
普通对话 中兴徐子阳:泛在协同,筑“算网”坦途
普通对话 中国移动陈国:智慧中台对外输出数百项高价
普通对话 中兴通讯总裁徐子阳:数贯东西,融达天下,
通信前瞻
亨通光电实践数字化工厂,“5G+光纤”助力新一
邬贺铨院士解读ChatGPT等数字技术热点
普通对话 亨通光电实践数字化工厂,“5G+光纤”助力新
普通对话 中科院钱德沛:计算与网络基础设施的全面部
普通对话 工信部赵志国:我国算力总规模居全球第二 保
普通对话 邬贺铨院士解读ChatGPT等数字技术热点
普通对话 我国北方海区运用北斗三号短报文通信服务开
普通对话 华为云Stack智能进化,三大举措赋能政企深度
普通对话 孟晚舟:“三大聚力”迎接数字化、智能化、
普通对话 物联网设备在智能工作场所技术中的作用
普通对话 软银研发出以无人机探测灾害被埋者手机信号
普通对话 AI材料可自我学习并形成“肌肉记忆”
普通对话 北斗三号卫星低能离子能谱仪载荷研制成功
普通对话 为什么Wi-Fi6将成为未来物联网的关键?
普通对话 马斯克出现在推特总部 收购应该没有悬念了
普通对话 台积电澄清:未强迫员工休假或有任何无薪假
普通对话 新一代载人运载火箭发动机研制获重大突破
Copyright @ Cntxj.Net All Right Reserved 通信界 版权所有
未经书面许可,禁止转载、摘编、复制、镜像