跳到正文
实时
热点事件历史事件

NVIDIA 推出自动化工作负载恢复功能

2 篇报道1 个报道来源16 天前更新

先了解这件事

AI 综述

NVIDIA 推出自动化工作负载恢复功能,以应对分布式 AI 训练中的故障,保障稳定运行。当训练排名停滞、GPU 节点停止响应调度器或出现慢节点时,可触发 NVIDIA Collective Communications Library (NCCL) 超时,从而需要快速可靠的恢复。随着分布式 AI 训练的扩展,硬件和软件依赖中的故障日益频繁地中断训练进程,因此快速可靠的恢复变得至关重要。NVIDIA Attribution 可帮助用户定位分布式 AI 工作负载中的初始故障点,通过分析 NCCL 错误、调度器状态变化和下游消息等级联症状,揭示异常发生源头而非仅报告停止位置。

AI 根据报道生成 · 更新于 16 天前

事件进展

2 个进展

  1. 11月3日 07:39 · 1 篇报道
    NVIDIA Attribution
    NVIDIA Technical Blog:使用 NVIDIA Attribution 诊断分布式 AI 工作负载故障
  2. 11月3日 06:43 · 1 篇报道
    自动化工作负载恢复
    NVIDIA Technical Blog:NVIDIA 推出自动化工作负载恢复功能以保障分布式 AI 训练稳定运行

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. NVIDIA Technical Blog
    使用 NVIDIA Attribution 诊断分布式 AI 工作负载故障

    NVIDIA Attribution 可帮助用户定位分布式 AI 工作负载中的初始故障点,通过分析 NCCL 错误、调度器状态变化和下游消息等级联症状,揭示异常发生源头而非仅报告停止位置。该工具适用于诊断 GPU 或网络 fabric 事件引发的跨节点问题,通过可视化分析数千条消息链路追溯问题根源。

  2. NVIDIA Technical Blog
    NVIDIA 推出自动化工作负载恢复功能以保障分布式 AI 训练稳定运行

    NVIDIA 推出自动化工作负载恢复功能,通过 NCCL 超时、GPU 节点响应中断或慢节点等故障的快速可靠恢复,保障分布式 AI 训练稳定运行。