CNTXJ.NET | 通信界-中国通信门户 | 通信圈 | 通信家 | 下载吧 | 说吧 | 人物 | 前瞻 | 智慧(区块链 | AI
 国际新闻 | 国内新闻 | 运营动态 | 市场动态 | 信息安全 | 通信电源 | 网络融合 | 通信测试 | 通信终端 | 通信政策
 专网通信 | 交换技术 | 视频通信 | 接入技术 | 无线通信 | 通信线缆 | 互联网络 | 数据通信 | 通信视界 | 通信前沿
 智能电网 | 虚拟现实 | 人工智能 | 自动化 | 光通信 | IT | 6G | 烽火 | FTTH | IPTV | NGN | 知本院 | 通信会展
您现在的位置: 通信界 >> 国内新闻 >> 新闻正文
 
天玑 9300 支持内存硬件压缩技术,行业第一,让手机运行 AI 大模型更快速
[ 通信界 | 静姝 | www.cntxj.net | 2023/11/10 15:31:30 ]
 

通信界 联发科最新发布的一代旗舰级 5G 生成式 AI 移动芯片天玑 9300,其创新的全大核架构设计与最新的 AI 处理器 APU 等联发科特色技术的合并,为生成式 AI 应用提供了强大的动力,以实现引人入胜、丰富多样的生成式 AI 体验。同时,联发科也与大量的 AI 企业在业内进行深入合作,共同在移动平台上构造了一个充满活力的 AI 生态。

 全新第七代 AI 处理器 APU 790,为生成式 AI 而生     随着用户对生成式 AI 应用需求日益增长,端侧生成式 AI 便捷、安全性等优势便凸显出来。当然,部署端侧 AI 大语言模型需要强大的 AI 算力支撑。

天玑 9300 搭载联发科第七代 AI 处理器 APU 790,为生成式 AI 而设计,拥有硬件级的生成式 AI 引擎,可以实现更加高速且安全的边缘 AI 计算,深度适配 Transformer 模型进行算子加速,速度是上一代的 8 倍。

 同时 APU 790 的性能和能效得到显著提升,整数运算和浮点运算能力提升至前一代的 2 倍,苏黎世 ETHZv5.1 AI-Benchmark Mobile Soc 跑分 2109 分,AI 性能成功霸榜,功耗更是降低了 45%。在强大的 AI 性能支持下,1 秒以内即可生成图片。天玑 9300 强悍的 AI 算力、创新的全大核 CPU 架构和 Immortalis-G720 GPU 都为端侧运行生成式 AI 打下坚实的性能基础。

 同时,基于亿级参数大语言模型的特性,联发科开发了混合精度 INT4 量化技术,结合联发科特有的内存硬件压缩技术 NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少 AI 大模型占用终端内存,为端侧运行 AI 大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

基于以上,天玑 9300 首次在 vivo 旗舰手机端侧落地 70 亿参数 AI 大语言模型,处理速度可达 20 Tokens 每秒。不仅如此,联发科突破了行业极限,已经与 vivo 成功在端侧运行了 130 亿参数的大语言模型。甚至,天玑 9300 已率先实现在移动芯片上成功运行 330 亿参数的 AI 大语言模型,领跑业界。

 天玑 9300 还支持多模态生成式 AI 大模型,打造出“文生诗”“文生图”“文生趣图”等丰富有趣的端侧体验。

 可见,天玑 9300 的 AI 算力和端侧生成式 AI 能力已领先行业,足以让用户随时随地 AI 创造力全飙。

 与云侧生成式 AI 解决方案不同,由于硬件环境的差异,部署端侧生成式 AI 也需要考虑手机内存、存储容量、负载上限等因素。为此,联发科率先提出了先进的解决方案。

APU 790 支持生成式 AI 模型端侧技能扩充技术 NeuroPilot Fusion,它可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,在混合式 AI 的赋能下,可以基于 1 个基础大模型,通过云端训练,在端侧完成 N 个功能的融合,赋予基础大模型更全面、更丰富的生成式 AI 应用能力。

 

比如基于 AI 模型端侧技能扩充技术的“图生 GIF 动图”功能,用户可以根据一张照片更换不同的风格甚至表情,玩出个人专属风格的表情包,秒变表情包小达人。

 

AI 开发平台 NeuroPilot 加速端侧生成式 AI 生态布局基于强大的 AI 算力和先进的内存硬件压缩技术、AI 模型端侧技能扩充等技术,天玑 9300 的 APU 790 将端侧生成式 AI 的速度和广度提升到了全新的水平。同时,为加速生成式 AI 在端侧部署和普及,联发科也凭借其 AI 开发平台 NeuroPilot 构建了丰富的 AI 生态,从底层硬件到工具链、模型中心以及开发生态,助力生态快速、高效地部署端侧生成式 AI 应用。

 

AI 开发平台 NeuroPilot 支持 Android、Meta LIama 2、文心一言大模型、百川智能百川大模型等前沿主流 AI 大模型。

 

更为重要的是,NeuroPilot 拥有一套完整且先进的工具链,除了 NeuroPilot Compression 低秩自适应融合,还有 Speculative Decoding 推测解码加速和模型优化与转化技术。

 

联发科的天玑开发者中心还可提供端侧生成式 AI 落地一站式开发者资源,分享端侧模型部署案例提升开发效率。目前已有 20 多个生成式 AI 合作伙伴加入生态共建。

联发科还携手业界合同伙伴打造精彩的生成式 AI 应用体验。虹软的生成式 AI 超级分辨率技术基于天玑 9300 APU 边缘计算能力,相比前代,性能可提升 30%。在 25 倍放大的拍摄时,利用生成式 AI 超级分辨率技术,可以拍出细节更真实的图像效果。

 极感科技的生成式 AI 语意搜索技术也基于天玑 9300 APU 边缘计算能力,对比前代,性能可提升 260%。比如在手机的相册中搜索照片,描述照片的内容即可在毫秒内精准搜到对应的照片。而且在断网状态下也能搜索,隐私也不会泄露。

 

Morpho 的视频通话实时数字分身生成技术,同样基于天玑 9300 APU 边缘计算能力,对比前代,性能提升 26%。一般的虚拟人像生成器需手动选取容貌样式花费时间。但基于视频通话实时数字分身生成技术,用户操作容易,仅需打开摄像头单帧图片即可瞬间生成数字分身。

 

基于天玑 9300 APU 边缘计算能力,慧鲤生成式 AI 防眩光技术性能可提升 60%。在此技术加持下,无论是室外还是室内,在拍摄时如有眩光,只要轻松一暗即可消除眩光干扰。

可以看到,在 AI 端云融合的趋势下,天玑 9300 在 AI 算力、生成式 AI 用户体验和生态方面展现出全面的优势,为新一代旗舰级端侧生成式 AI 体验树立了新的标杆,强大生成式 AI 就要用天玑。

 

同时,联发科等生成式 AI 的领先者们正通过不断地技术革新和适当的生态布局,大力推动混合式 AI 计算,并为端侧生成式 AI 部署设计出了一套独自且高效的方法,全力以赴推进生成式 AI 在端侧的普及,旨在让更多的用户享受到端侧 AI 的个性化服务,带来全新的全方位智能体验,实现科技成果惠及全社会。

 

1作者:静姝 来源:通信界 编辑:顾北

 

声明:①凡本网注明“来源:通信界”的内容,版权均属于通信界,未经允许禁止转载、摘编,违者必究。经授权可转载,须保持转载文章、图像、音视频的完整性,并完整标注作者信息并注明“来源:通信界”。②凡本网注明“来源:XXX(非通信界)”的内容,均转载自其它媒体,转载目的在于传递更多行业信息,仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。③如因内容涉及版权和其它问题,请自发布之日起30日内与本网联系,我们将在第一时间删除内容。 
热点动态
普通新闻 天玑 9300 支持内存硬件压缩技术,行业第一,让手机运行 AI 大模型
普通新闻 英特尔CEO:“四年五个制程节点”进展正在得到第三方肯定
普通新闻 12月1日中国移动5G消息将正式商用 资费0.1元/条
普通新闻 中国电子信息产业发展研究院当选金砖国家智库合作中方理事会理事单
普通新闻 重磅:中国电信今年最大规模5G集采结果出炉
普通新闻 天玑9300苏黎世AI Benchmark跑分出炉,赢得AI性能第一!
普通新闻 联发科天玑 9300 惊艳亮相,以多个性能第一开启全大核计算时代!
普通新闻 天玑9300全大核创历史!多核性能完胜
普通新闻 天玑9300率先支持3天线双路蓝牙闪连技术,秒级设备连接,低时延告别
普通新闻 vivo蔡司联合官宣:X100系列首发搭载蔡司APO认证镜头
普通新闻 为支持特斯拉瑞典员工罢工 瑞典运输工人工会成员也暂停为特斯拉工作
普通新闻 出席中国工信安全大会 微步在线获颁两大奖项
普通新闻 苹果第四财季电话会议实录:中国手机厂商重新崛起会否会影响苹果在
普通新闻 陈海波:根深叶茂、众行致远,OpenHarmony技术与人才生态蓬勃发展
普通新闻 美光CEO 桑杰·梅赫罗特拉拜会中国商务部部长王文涛
普通新闻 探索行业前沿,照亮科技发展的天空
普通新闻 中国广电已建700MHz基站59万站 5G用户突破1800万
普通新闻 苹果第四财季营收894亿美元,净利润229亿美元同比增长10.8%
普通新闻 联想官网双十一大促活动为你带来更多惊喜
普通新闻 超2.3亿元,神州鲲泰入围中移动“网络云资源池”集采
通信视界
邬贺铨:移动通信开启5G-A新周期,云网融合/算
普通对话 中兴通讯徐子阳:强基慧智,共建数智热带雨
普通对话 邬贺铨:移动通信开启5G-A新周期,云网融合
普通对话 华为轮值董事长胡厚崑:我们正努力将5G-A带
普通对话 高通中国区董事长孟樸:5G与AI结合,助力提
普通对话 雷军发布小米年度演讲:坚持做高端,拥抱大
普通对话 闻库:算网融合正值挑战与机遇并存的关键阶
普通对话 工信部副部长张云明:我国算力总规模已居世
普通对话 邬贺铨:我国互联网平台企业发展的新一轮机
普通对话 张志成:继续加强海外知识产权保护工作 为助
普通对话 吴春波:华为如何突破美国6次打压的逆境?
通信前瞻
亨通光电实践数字化工厂,“5G+光纤”助力新一
普通对话 亨通光电实践数字化工厂,“5G+光纤”助力新
普通对话 中科院钱德沛:计算与网络基础设施的全面部
普通对话 工信部赵志国:我国算力总规模居全球第二 保
普通对话 邬贺铨院士解读ChatGPT等数字技术热点
普通对话 我国北方海区运用北斗三号短报文通信服务开
普通对话 华为云Stack智能进化,三大举措赋能政企深度
普通对话 孟晚舟:“三大聚力”迎接数字化、智能化、
普通对话 物联网设备在智能工作场所技术中的作用
普通对话 软银研发出以无人机探测灾害被埋者手机信号
普通对话 AI材料可自我学习并形成“肌肉记忆”
普通对话 北斗三号卫星低能离子能谱仪载荷研制成功
普通对话 为什么Wi-Fi6将成为未来物联网的关键?
普通对话 马斯克出现在推特总部 收购应该没有悬念了
普通对话 台积电澄清:未强迫员工休假或有任何无薪假
普通对话 新一代载人运载火箭发动机研制获重大突破
推荐阅读
Copyright @ Cntxj.Net All Right Reserved 通信界 版权所有
未经书面许可,禁止转载、摘编、复制、镜像