深圳河套学院は哈爾浜工業大学(深圳)、深圳市ビッグデータ研究院、華為チームと共同で、華為昇騰910Cチップを搭載した千カード級クラスター(深智城AI計算プラットフォーム)を活用し、1.6兆パラメータの大規模モデル DeepSeek-V4-Pro の全パラメータ後訓練を完了したと発表した。訓練は1500ステップ以上にわたり、中断やエラーはゼロだった。参加チームによると、これは世界の第三者機関が国産計算プラットフォーム上でこの規模のパラメータモデルの訓練探求を完了した初めての事例であり、国産AIチップが世界クラスの超大規模パラメータモデルの訓練を支えられることを裏付けている。主要指標では、計算効率(MFU)が30%を超え、コア訓練演算子効率が14%向上し、いずれも産業級の運用基準に達している。
長年にわたり、国産計算能力は大規模モデル分野で主に推論と小幅な微調整タスクを担ってきたが、全パラメータ後訓練に必要な計算能力の規模とチップ間通信量は推論シナリオをはるかに上回る。特に DeepSeek-V4-Pro は混合専門家(MoE)アーキテクチャを採用しており、後訓練時の専門家間通信量は通常モデルの数十倍に達する。チームはこのため3つの中核的課題を克服した。第一に、精密な分散実行方式を設計し、1.6兆パラメータを「パズルのように」千カードクラスターに割り当てた。第二に、MoE スケジューリング戦略を最適化し、専門家間の負荷不均衡とカード間通信のボトルネックを解消した。第三に、全工程を可視化・制御可能な監視システムを構築し、超長ステップ訓練の安定稼働を保証した。既存モデルを呼び出して推論を行うのと比較し、全パラメータ後訓練はモデルに「自己反省とパラメータの動的調整」を要求するため、計算量と通信量が急増する。今回の取り組みでは同時に人材育成任務も設定され、42名の学生が全工程に深く関与し実戦経験を積んだ。