结论先行：NCCL报错90%出在网络配置和环境变量上。按检查IB网卡、设NCCL参数、关防火墙三步排查，多卡训练通信问题基本都能解决。
一、常见NCCL报错
NCCL error unhandled system error：网卡或驱动问题。NCCL timeout：通信超时，网络带宽不足。NCCL WARN Peer access failed：多卡P2P通信失败。
二、排查步骤
1. 确认网络拓扑
多机训练必须用IB或RoCE网络，千兆以太网跑NCCL必超时。用ibstat看IB网卡状态，用ip addr看是否有RDMA设备。
2. 设置关键环境变量
export NCCL_IB_DISABLE=0启用IB；export NCCL_SOCKET_IFNAME=eth0指定网卡；export NCCL_DEBUG=INFO打印详细日志定位卡点。
3. 检查防火墙
多机之间需要开放NCCL通信端口（通常是随机高端口范围）。测试环境可临时关防火墙，生产环境按文档开放端口段。
三、单机多卡NCCL问题
单机多卡NCCL走NVLink或PCIe。4090无NVLink，NCCL默认走PCIe，若报P2P错误可设NCCL_P2P_DISABLE=1强制走共享内存。
四、NCCL性能调优
通信正常但速度慢，检查是否用了InfiniBand还是Ethernet。IB带宽是以太网的10倍以上。设置NCCL_IB_GID_INDEX=3可选正确的GID。多机训练时，每台机器跑同样数量的卡，不要一台8卡一台4卡。先用小模型测NCCL带宽，确认网络没问题再跑大任务。
单机多卡NCCL问题，先跑python -m torch.distributed.run –nproc_per_node=2简单测试，确认两张卡能通信，再跑实际训练。小问题用二分法排查。
多卡训练环境复杂，建议在GPU算力平台选择已配好NCCL的多卡实例，省去网络调试时间。
