AI基础设施

一、背景介绍 在介绍自动并行之前，我们思考一下为什么需要自动并行？一方面现在有着不同的模型结构，另一方面还有各种各样的并行策略，两者之间一般是多对多的映射关系。假设我们能实现一个统一的模型结构满足各种...