🚀 Gate Fun 启动中文 Meme 创作大赛!
创建或交易 Meme 代币,瓜分 3,000 GT 奖励! 💰
🎨 1 分钟零代码发币,仅需 ~0.0000042 GT Gas 费
🏆 最高市值代币瓜分 1,000 GT
💎 毕业代币前 100 名购买地址瓜分 2,000 GT
代币发射时间: 10 月 3 日 00:00 - 10 月 15 日 23:59(UTC+8)
活动时间: 10 月 8 日 17:30 - 10 月 15 日 23:59(UTC+8)
释放创意,立即参与 👉 https://www.gate.com/announcements/article/47516
#GateFun #GateLayer #Web3 #MemeToken
全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM
巴比特讯 据新智元 1 月 13 日报道,用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。
位于美国橡树岭国家实验室(Oak Ridge National Laboratory)的全世界最大的超算Frontier,集合了37888个MI250X GPU和9472个Epyc7A53CPU。最近,研究人员只使用了其中8%左右的GPU,就训练了一个GPT-3.5规模的模型。研究人员成功地使用ROCM软件平台在AMD硬件上成功地突破了分布式训练模型的很多难点,建立了使用ROCM平台在AMD硬件上为大模型实现最先进的分布式训练算法和框架。
成功地在非英伟达和非CUDA平台上为高效训练LLM提供了可行的技术框架。
训练完成后,研究人员将在Frontier上训练大模型的经验的总结成了一篇论文,详细描述了期间遇到的挑战以及克服的困难。