并行训练深度神经网络 (DNN) 对于深度学习系统来说变得越来越重要，例如在超参数优化和神经架构搜索中，并行训练神经网络可以提升搜索效率。但是由于神经网络训练过程中内存使用量巨大，有限的GPU内存难以支持多个 DNN 在同一个 GPU 上训练。针对此问题，论文提出了一种用于并行深度学习训练的 GPU 内存流引擎：Waterwave。研究成果《Waterwave: A GPU Memory Flow Engine for Concurrent DNN Training》被计算机体系结构和系统领域顶级期刊 IEEE Transactions on Computers（IEEE TC）录用。
计划图划分及多流内存分配器示例图
