大型语言模型对数据存储的影响是什么

智算时代,算力是生产力,数据是核心生产要素,大型语言模型横空出世后,对数据存储提出更高的要求。

大模型时代华为的AI存储新品

近日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

华为发布的“OceanStor A310深度学习数据湖存储”与“FusionCube A3000 训/推超融合一体机”是商用AI存储新品。

官方称“这两款产品可为AI基础模型训练、行业模型训练,细分场景模型训练推理提供新动能。

OceanStor A310深度学习数据湖存储,主要面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。

OceanStor A310单框5U支持业界最高的400GB/s带宽,以及1200万IOPS的最高性能,可线性扩展至4096节点,可实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程,通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。

FusionCube A3000训/推超融合一体机,主要面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式“开箱即用”交付,2小时内即可完成部署。

并且该一体机支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

一体机的训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。

同时 FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。

潮流挺进,构建中国AI“新赛道”

ChatGPT的成功并不是偶然结果,在目前版本开放以前,OpenAI已经在训练大规模语言模型的道路上深耕多年。

目前在国内政策层面,除了在“十四五”期间,针对人工智能的未来发展陆续出台相关指导方案和激励支持政策。

北京5月30日发布《北京市加快建设具有全球影响力的人工智能创新策源地实施方案(2023-2025年)年》和《北京市促进通用人工智能创新发展的若干措施》;

深圳5月31日发布《深圳市加快推动人工智能高质量发展高水平应用行动方案(2023-2024年)》;

成都6月5日发布《成都市关于进一步促进人工智能产业高质量发展的若千政策措施(征求意见稿)》;

杭州6月12日发布《关于加快推进人工智能产业创新发展的实施意见 (征求意见稿) 》;

无锡6月14日发布《无锡市人工智能产业创新发展三年行动计划(2023-2025)》;

上海7月8日发布《上海市推动人工智能大模型创新发展的若干措施》;

重庆7月25日发布《重庆市以场景驱动人工智能产业高质量发展行动计划(2023-2025)年》。

2023年全国两会期间,多位全国人大代表、全国政协委员将视野聚焦“如何发展中国自己的ChatGPT”,为人工智能的发展献言献策。

全国人大代表、科大讯飞董事长刘庆峰表示,应当加快推进我国认知智能大模型建设,在自主可控平台上让行业尽快享受AI红利,让每个人拥有AI助手。

全国政协委员钱家盛则建议加大人工智能科学与技术交叉学科建设,稳步推进“人工智能+学科群”培养模式,构建人工智能领域人才培养体系和科技创新体系。

出品大模型应用面临四大挑战

第一:数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;

第二:多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;

第三:大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;

第四:大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

目前大模型对存储的需求

现阶段大模型以文本型的单模态为主,但是随着大模型与各个行业相结合,紫东太初大模型、讯飞星火大模型、ChatGLM认知大模型等,都提到过以后会加速多模态的发展,那么数据类型将日益增加。

当然对存储的要求也会变高,一是要完成基于海量多态数据的训练;二是要面向海量终端的数据应用。若存储容量不足可能对模型性能产生影响。

从文本到图片、音频、视频进行拓展,数据量也将大幅增加,预计会从纯文本型的几个TB(太字节、1TB=1024GB)向多模态的PB级(拍字节、1PB=100万GB)容量迈进,这对存储的架构、性能等核心能力提出更高要求。

据相关机构预计,2026年中国人工智能软件及应用市场规模将会达到211亿美元,国内被寄予厚望的各大科技公司都在不断探索大模型运行的新方法、新模式。

然而,只有落地才能实现大模型的价值。

结尾:

数据、算法、算力是AI发展的驱动力,大模型增强了AI技术的通用性,助力AI的实现。

未来,大模型与场景深度融合,配合专业工具和平台支持应用落地,以开放的生态来激发创新,形成良性循环,并通过提供全流程支持应用落地的工具和方法,让更多企业受益。

内容参考来源于:华为:华为发布大模型时代AI存储新品;浦银国际研究:从华为AI存储新品看大模型时代的存储趋势;中国新闻网:大模型催生多样化数据处理 数据存储面临新要求;医疗科技高峰论坛:大模型的深度与速度。

版权声明:
作者:网友投稿
链接:http://qiangcao.com/zs/1658.html
来源:轩哥技术分享
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>