彻底解决网络哈希冲突，百度百舸的高性能网络 HPN 落地实践

出处： mp.weixin.qq.com 作者： LSK & YZ

GPU 的通信性能对于大模型的训练有着至关重要的影响。在 HPN 网络工程实践中，我们的核心关注点是如何充分利用网络硬件资源的能力，将通信性能最大化，从而提升大模型端到端的训练性能。