根据科技媒体 Tom's Hardware 7 月 11 日的报道，在 6 月份的 IEEE / JSAP 超大规模集成电路技术研讨会上，研究人员提出了两种用于 AI 加速器的高带宽内存（HBM）集成新方案：V-Die 和 MOSAIC，旨在解决内存散热和带宽瓶颈问题。

高带宽内存（HBM）是一种面向高性能计算和 AI 加速器的近封装内存技术，通过堆叠多层 DRAM 芯片，并利用超宽总线与处理器进行近距离连接，从而实现极高的带宽和较短的数据传输路径。它广泛应用于 GPU、AI 训练与推理加速器以及超级计算等高吞吐量场景。

韩国蔚山国立科学技术院（UNIST）的研究团队提出了 V-Die 解决方案，而日本东京大学领导的团队则提出了 MOSAIC 解决方案，两者都旨在缓解 AI 加速器 HBM 内存的散热和带宽压力。

这两种方案的共同创新点是将 DRAM 芯片从传统的垂直堆叠方式改为侧立放置，以减轻因堆叠高度增加带来的散热负担。

V-Die 方案将 DRAM 芯片竖直排列，并取消了 TSV（硅通孔）技术。它采用了在每片裸片的底部进行 I/O 连接的方式，并在相邻裸片之间设置了液冷通道。

研究团队表示，在与 HBM4 进行容量对比的测试中，V-Die 在处理 GPT-3 规模的工作负载时，吞吐量达到了 540 tokens/s，而 HBM4 为 296 tokens/s，V-Die 的性能提升了 82.43%。V-Die 的底部连接间距为 20 微米，连接数量可达到 HBM4 的四倍，内存读取时间缩短了 37%。

在一项与 H100 级硬件相匹配的 16 层堆叠仿真中，该方案将首个 Token 的延迟降低了 32%，约合 24 毫秒。在散热方面，研究团队称，通过微流体冷却技术，可以将堆叠温度控制在约 45°C，远低于目前高密度 HBM 系统常见的 80°C 以上温度。

MOSAIC 方案由东京大学牵头团队提出，其主要关注点在于提高侧立堆叠结构的可制造性。该方案采用了正交裸片堆叠以及无接触式的裸片互连技术，使用微型感应线圈代替了需要精确对准的金属信号接触点。

研究人员指出，该原型接口速率最高可达 4 Gbps/通道，并且在 DRAM-on-GPU 架构下，其容量可以达到 HBM4 级别容量的两倍。

另一项相关的 bump-MOSAIC 硬件演示在 ECTC 会议上公布，该演示采用了 100 微米间距的微凸点，并通过 X 射线 CT 技术验证，实现了堆叠对准误差在 6 微米以内。研究团队表示，这种配置的热导率是传统堆叠的三倍，并且能够额外增加最高 30% 的内存容量。