DP DDP zero1，zero2，zero3, ZeRO++分布式数据并行视频教程
原创DP DDP zero1，zero2，zero3, ZeRO++分布式数据并行视频教程
原创
视频教程:
**一、分布式数据并行，模型并行的基本概念。DP DDP分布式数据并行：**
1.1 数据并行 模型并行 DP DDP Zero分布式并行_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1qu4m1F71p/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
**二、ZeRO分布式数据并行方案，zero1，zero2，zero3：**
1.2 zero分布式数据并行方案 zero1，zero2，zero3
https://www.bilibili.com/video/BV1Yr421G7ZL/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
**ZeRO++ 分布式数据并行**
ZeRO++是对ZeRO3的通信优化
**优化了以下三个方面：**
1、每个服务器有完整的模型参数，消除跨服务器的All_gather操作；
2、通信时，基于块的量化，模型参数从FP16转换成INT8；
3、替代ring-based ReduceScatter通信，改为分层级的量化 AllToALL；
**三、Zero++分布式并行 数据并行《ZeRO++: Extremely Efficient Collective Communication for Large Model Training》**
1.3 Zero++分布式并行 数据并行 ZeRO++: Extremely Efficient Collective Communication for_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1gz421r7Q7/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。