PyTorch DDP 多进程训练在 Kaggle 笔记本中的正确启动方式

在 kaggle 等基于 jupyter 的环境中直接运行 pytorch ddp（distributeddataparallel）多进程代码会因 `__main__` 模块序列化失败而报错；根本解决方案是将 ddp 主逻辑写入独立 `.py` 文件，并通过命令行方式执行，避开 notebook 的模块上下文限制。

PyTorch 的 torch.multiprocessing.spawn 要求被启动的函数（如 main）必须可被子进程通过 pickle 反序列化——这在标准 Python 脚本中自然成立，因为 if __name__ == "__main__": 块内定义的函数属于顶层模块 __main__。但在 Kaggle 或 Jupyter Notebook 中，整个 cell 代码实际运行在这一动态、不可序列化的内置模块中，导致子进程无法定位 main 函数，从而抛出：

AttributeError: Can't get attribute 'main' on

✅ 正确做法：分离定义与执行
将 DDP 训练逻辑封装为标准 .py 文件，而非在 notebook cell 中直接调用 mp.spawn()。

✅ 实施步骤（Kaggle 环境）

使用 %%writefile 魔法命令创建独立脚本
在 notebook 新建 cell，粘贴并保存完整 DDP 代码（参考 PyTorch 官方示例），顶部添加 %%writefile ddp.py：

%%writefile ddp.py
import torch
import torch.nn as nn
import torch.optim as optim
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, DistributedSampler
import torch.multiprocessing as mp
from torchvision import datasets, transforms
import os

def main(rank, world_size, epochs=5, batch_size=32, lr=1e-3):
    # 初始化进程组
    dist.init_process_group(
        backend="nccl",
        init_method="env://",
        world_size=world_size,
        rank=rank
    )

    # 设置设备
    torch.cuda.set_device(rank)
    device = torch.device(f"cuda:{rank}")

    # 构建模型、数据集、优化器等（此处省略细节）
    model = nn.Sequential(nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10)).to(device)
    model = DDP(model, device_ids=[rank])

    train_dataset = datasets.MNIST("./data", train=True, download=True,
                                    transform=transforms.ToTensor())
    sampler = DistributedSampler(train_dataset, num_replicas=world_size, rank=rank)
    train_loader = DataLoader(train_dataset, batch_size=batch_size, sampler=sampler)

    optimizer = optim.Adam(model.parameters(), lr=lr)

    for epoch in range(epochs):
        model.train()
        sampler.set_epoch(epoch)  # 关键：确保每个 epoch 数据打乱一致
        for data, target in train_loader:
            data, target = data.to(device), target.to(device)
            optimizer.zero_grad()
            output = model(data.view(data.size(0), -1))
            loss = nn.functional.cross_entropy(output, target)
            loss.backward()
            optimizer.step()

    dist.destroy_process_group()

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument("--world_size", type=int, default=torch.cuda.device_count())
    args = parser.parse_args()

    # 注意：Kaggle 中需显式设置环境变量（spawn 自动读取）
    os.environ["MASTER_ADDR"] = "127.0.0.1"
    os.environ["MASTER_PORT"] = "29500"

    mp.spawn(main, args=(args.world_size, 5, 32, 1e-3), nprocs=args.world_size, join=True)

在另一个 cell 中执行脚本
使用系统命令运行，绕过 notebook 解释器上下文：

!python -W ignore ddp.py

⚠️ 注意事项：务必设置 MASTER_ADDR 和 MASTER_PORT：spawn 依赖这些环境变量初始化 NCCL 后端，Kaggle 默认未设置。避免在 notebook 中直接调用 mp.spawn()：即使加了 if __name__ == "__main__":，notebook 的 __main__ 仍不可序列化。-W ignore 是可选的：用于抑制 PyTorch 分布式警告（如 UserWarning: ... is deprecated），提升日志可读性。单节点多卡适用：本方案专为 Kaggle 提供的 2×T4 场景设计；跨节点需额外配置 MASTER_ADDR 和网络互通。

该方法严格遵循 Python 多进程的“spawn”启动方式语义，确保每个子进程从干净的 .py 文件入口重新导入模块，彻底规避 AttributeError。这是在受限 notebook 环境中安全启用 PyTorch DDP 的工业级实践。

# python # 后端 # ai # 环境变量 # pytorch

相关栏目：【 Google疑问12 】【 Facebook疑问10 】【网络优化76771 】【技术知识130152 】【 IDC云计算60162 】【营销推广131313 】【 AI优化88182 】【百度推广37138 】【网站推荐60173 】【精选阅读31334 】

2026-01-01

4007654355

PyTorch DDP 多进程训练在 Kaggle 笔记本中的正确启动方式

✅ 实施步骤（Kaggle 环境）

了解您产品搜索量及市场趋势，制定营销计划

同行竞争及网站分析保障您的广告效果

提交您的需求，1小时内享受我们的专业解答。

致胜网络推广营销网

4007654355

服务/方案/案例/支持

关于我们

Notice