北京时刻7月27日音讯，Micron Technology宣告，公司已开端出样业界首款8层堆叠的24GB容量第二代HBM3内存，其带宽超越1.2TB/s，引脚速率超越9.2Gb/s，比当时市面上现有的HBM3解决方案功用可进步最高50%。美光第二代HBM3产品与前一代产品比较，每瓦功用进步2.5倍，创下了要害型人工智能（AI）数据中心功用、容量和能效目标的新纪录，将助力业界缩短大型言语模型（如GPT-4及更高版别）的练习时刻，为AI推理供给高效的根底设施，并下降整体具有本钱（TCO）。
美光根据业界前沿的1β DRAM制程节点推出高带宽内存（HBM）解决方案，将24Gb DRAM裸片封装进行业标准尺度的8层堆叠模块中。此外，美光12层堆叠的36GB容量产品也将于2024年第一季度开端出样。与当时市面上其他的8层堆叠解决方案比较，美光HBM3解决方案的容量进步了50%。美光第二代HBM3产品的功用功耗比和引脚速度的进步关于办理当今AI数据中心的极点功耗需求至关重要。美光经过技能革新完成了能效的明显进步，例如与业界其他HBM3解决方案比较，美光将硅通孔（TSV）数量翻倍，添加5倍金属密度以下降热阻，以及规划更为节能的数据通路。
美光作为2.5D/3D堆叠和先进封装技能范畴长久以来的存储领导厂商，有幸成为台积电3DFabric联盟的协作伙伴成员，一起构建半导体和体系立异的未来。在第二代HBM3 产品研讨开发过程中，美光与台积电携手协作，为AI及高功用核算（HPC）规划使用中顺畅引进和集成核算体系奠定了根底。台积电现在已收到美光第二代HBM3 内存样片，正与美光密切协作进行下一步的评价和测验，助力客户的下一代高功用核算使用立异。
美光第二代HBM3解决方案满意了生成式AI范畴对多模态、数万亿参数AI模型日渐添加的需求。凭仗高达24GB的单模块容量和超越9.2Gb/s的引脚速率，美光HBM3能使大型言语模型的练习时刻缩短30%以上，以此来下降整体具有本钱。此外，美光HBM3将触发每日查询量的明显添加，然后更有效地使用练习过的模型。美光第二代HBM3 内存具有业界一流的每瓦功用，将实在推进现代AI数据中心节约运营开支。在现已布置的1000万个图形处理器（GPU）用例中，单个HBM模块可节约5W功耗，能在五年内节约高达5.5亿美元的运营费用。
美光副总裁暨核算与网络工作部核算产品工作群总经理Praveen Vaidyanathan表明：“美光第二代HBM3解决方案旨在为客户及业界供给杰出的AI和高功用核算解决方案。咱们的一个重要考量标准是，该产品在客户平台上是否易于集成。美光HBM3具有彻底可编程的内存内建自测验（MBIST）功用，可在完好标准的引脚速度下运转，使美光能为客户供给更强壮的测验才能，完成高效协作，助力客户缩短产品上市时刻。”
英伟达超大规模和高功用核算副总裁Ian Buck表明：“生成式AI的中心是加快核算，HBM的高带宽至关重要，并带来更超卓的能效。咱们与美光在很多产品范畴坚持了长时间协作，十分等待与美光在第二代HBM3产品上持续协作，加快AI立异。”
第二代HBM3是美光抢先技能的又一个里程碑。美光此前宣告推出根据1α（1-alpha）节点、24Gb单块DRAM裸片的96GB容量 DDR5模组用于大容量服务器解决方案；现在推出根据1β 节点、24Gb单块DRAM裸片的24GB容量 HBM3产品，并方案于2024年上半年推出根据1β 节点、32Gb单块DRAM裸片的128GB容量 DDR5模组。这些新品展示了美光在AI服务器范畴的前沿技能立异。