AI 集合通信性能验证

集合通信主要只一个GPU集群中，相互之间同步数据的过程，从通信网络上看，包括节点内的NV-Link通信，节点间的RDMA高性能通信。一般来说可以通过英伟达提供的nccl库进行这种大型节点的集合通信能力。