SONY、ディープラーニングの学習速度で世界最速を記録

SONYは、ディープラーニングの学習速度で世界最高速（SONY調べ）を達成したと発表しました。



ディープラーニングの認識精度向上の為、学習データのサイズやモデルのパラメータ数が増え、一度の学習に数週間～数カ月かかるケースも出ている中で、学習時間を短縮できる可能性を示したとしています。

AI開発では、様々な試行錯誤をする必要があり、学習時間を短縮させる事が重要になります。その手段として、複数のGPUを活用した分散学習が注目を集めていましたが、GPU数が増えると「一度のデータ処理個数（バッチサイズ）が増えて学習が進まない」「GPU間のデータ送受信の処理遅延により学習速度が低下する」という課題が有りました。

今回SONYは、ディープラーニングのプログラムを生成する際のフレームワーク「コアライブラリ：Neural Network Libraries」と、産業技術総合研究所が構築・運用しているクラウド型計算システム「AI橋渡しクラウド」（ABCI）を活用。

学習の進行状況に応じて最適なバッチサイズや利用GPU数を調整する技術を用いる事で、ABCIの様な大規模なGPU環境でも学習が可能になったとしています。ABCIのシステム構成に適したデータ同期技術も開発し、GPU間の通信を高速化したとしています。

これらの技術をNeural Network Librariesに実装し、ABCIの計算リソースを使って学習を行ったとの事。SONYによれば、ディープラーニングの分散学習速度を計る際、一般的にベンチマークとして活用されている画像認識用データセット「ImageNet/ResNet-50」を用いたところ、約3.7分（最大2176基のGPU利用時）で学習が完了し、現状（11月13日時点）の世界最高速を達成したとしています。

SONYは「より短い試行錯誤時間でディープラーニングを用いた技術開発ができるようになることを示した」としています。

GPUの並列処理時の効率悪化を回避する仕組みというのは、ディープラーニング分野だけで無く、GPUレンダリング処理を行うソフトウェアとかにも転用出来そうですね。

■プレスリリース（PDF）
https://nnabla.org/paper/imagenet_in_224sec.pdf