摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等

好易之 • 2024-12-24 22:47 • IT资讯

本站 8 月 19 日消息，摩尔线程“夸娥智算集群 kuae” 1.2 版本正式发布。该版本对软硬件层面的综合性进行优化，支持 64k 长文本、新增 llama2 全系列大模型、百川、雅意、qwen2、mixtral（moeQ T \ D k W ] 8x7b）等模型。

摩尔线程“夸娥智算集群 kuae” 1.2 版本发布：支持 64k 长文本、新增 llama2 全系列大模型等

更新内容：

MFU 提升
- 使用千卡集群训练千亿模型，MFU 提升 10%。
- 稠密模型集群训练 MFU 最高达到 55%。
Flash Attention2 优化
- 集& | . ( r y | ? E成 MUSA SDK 平台优化后的 Flash Attention2 技术，提升大模型训练效率与资源利用率。
64K 长文本支持
- 增强H g ^ R B对长文本大模型训练的支持r N [ . = T *，优化处理长文本理解和生成任务的能力。
支持混合专家模# Z y ^ m {型 MoE
- All2All 优化，针对 muDNN 算子H n 4 e优化不同形状下的矩阵运算，支持 MoE 大模型训练。
断点续训
- 提升 Checkpoint 读写性0 R @ / x y 5能，提高训练效率。
优化 DeepSpeed
- 适配摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses，强化长文本训练支持。
- 适配国内外多款大模型。
稳定性提升
- 软硬件成熟，实现连续无故障训练 15 天。
- 引入 KUAE Aegisl O Y l m [ I U 可靠性功能，加强监控、自动诊断与故障恢复能力。
可视化 / 可l 3 ) K g 1 3观测
- 引入 PerfSight 性能监控系统，实时显示训练过程中的资源消耗与性能数据。& B W
内置模型库新增大模型
- 新增 LLaMA2 全系列、百川、雅意、QwenQ \ ~ ` } _ , u 42、Mixtral（Ma m = 9 C . P 5oE 8x7B）等模型。

以上就是摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等的详细内容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/116865.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。