淘宝闪购-爆品团精排Scaling Up迭代实践

Source : mp.weixin.qq.com

淘宝闪购爆品团业务排序模型过去很长一段时间更像是在“堆模块”：遇到一个问题，就补一个结构。短期看，这种方式能持续拿收益，但当模型越做越大，结构碎片化、计算不够稠密、调参成本高等问题会越来越明显。这次爆品团排序模型升级，核心不是再增加一个局部模块，而是把主干从传统 DLRM 架构切到 Token-Based 的 RankMixer 架构。围绕这条主线，我们系统做了负采样、多任务学习、序列建模、Tokenization、FFN、MoE 和 Task Tower 等结构消融。多期迭代后，模型规模从 85M 扩展到 107M，再到 243M，并在爆品团频道页取得了稳定线上收益。