㈱東芝と国立研究開発法人理化学研究所は、学習済みのAIを、できるだけ性能を落とさず、演算量が異なるさまざまなシステムに展開することを可能にする学習方法である「スケーラブルAI」を開発した。この技術を画像中の被写体分類に用いたところ、演算量を三分の一に削減した場合でも、分類精度の低下を従来のスケーラブルAIの3.9%から2.1%に抑えることができ、世界トップレベルの分類性能を達成した。
通常、AIエンジンは適用するシステムやサービスごとに求められる演算量や性能に応じて、AIのモデルサイズ等を人間が試行錯誤しながら設計・開発する。この技術を導入することで、例えば、大規模で高性能な人物検出AIを一度学習すれば、スマートフォンや監視カメラ、無人搬送車(AGV)といった適用環境ごとの試行錯誤が不要になる。さらに、異なる適用先に対してAIエンジンを共通化することが可能となり、AIエンジンの開発に必要なリードタイムの削減や管理の効率化が期待できる。
さらに、大規模なAIを学習するときに、演算量と性能の関係が明らかになり、適用するプロセッサ等の選択が容易になるという。
この技術は、革新的な次世代人工知能基盤技術での研究開発成果の実用化の加速のために2017年4月に設立した「理研AIP-東芝連携センター」での成果。
AI、スケールメリット出すことが困難に
ここ数年、AIは音声認識や機械翻訳をはじめ、自動運転向けの画像認識まで、さまざまな用途で活用されている。また同じ機能を持つAIでも、活用するシステムやサービスは多岐にわたっている。例えば、カメラ画像から人物検出を行うAIは、スマートフォンやスタンドアローン型の監視カメラに加え、AGV等で使用されている。
利用するシステムごとにプロセッサの能力が異なり、また、AGVのように近くの人物との衝突を避けるために、高精度に位置を把握する必要があるものもある。
現状は、人手で演算量と必要な精度とのバランスを試行錯誤しながら、システムごとにAIを一から開発・学習しているが、開発期間やコストがかかるとともに、利用するシステムごとに異なるAIが開発され、管理が煩雑化するため、スケールメリットを出すことが困難となる。
また、利用するシステムの演算能力に応じて単一のAIを展開するスケーラブルAIの開発が始まっているが、元のAIから演算量を落とすとAIの性能も落ちるという課題があった。
2023年度までの実用化目指す
そこで東芝と理研は、性能低下を抑えて演算量を調整可能なスケーラブルAI技術を開発した。独自の深層学習技術より、学習済みのAIがその性能を維持しながらさまざまな処理能力のプロセッサで動作可能になり、利用用途の異なる多様なシステムに向けたAIの開発の効率化が期待される。
この技術は、元となるフルサイズの深層ニューラルネットワーク(フルサイズDNN)で、各層の重みを表す行列を、なるべく誤差が出ないように近似した小さな行列に分解して演算量を削減したコンパクトDNNを用いる。
コンパクトDNNを作る際、従来技術は、単純にすべての層で行列の一部を一律に削除して演算量を削減するが、今回開発した技術は、重要な情報が多い層の行列をできるだけ残しながら演算量を削減することで、近似による誤差を低減することが特徴となっている。
学習中は、さまざまな演算量の大きさにしたコンパクトDNNとフルサイズDNNからのそれぞれの出力値と、正解との差が小さくなるようにフルサイズDNNの重みを更新する。これにより、あらゆる演算量の大きさでバランスよく学習する効果が期待できる。
学習後は、フルサイズDNNを各適用先で求められる演算量の大きさに近似して展開することができる。
また、学習を通して演算量と性能の対応関係が可視化され、適用先に必要な演算性能を見積もることが可能になり、適用先システムのプロセッサ等の選択が容易になる。
世界的に知られている一般画像の公開データを用いて、被写体に応じてデータを分類するタスクの精度を評価したところ、この技術によって学習したフルサイズDNNから演算量を二分の一、三分の一、四分の一に削減した場合、分類性能の低下率をそれぞれ1.1%(2.7%)、2.1%(3.9%)、3.3%(5.0%)、(カッコ内は従来手法の場合)に抑えることができ、従来のスケーラブルAIとの比較で世界トップレベルの性能を達成した。
東芝と理研は今後、同技術をハードウェアアーキテクチャに対して最適化することで、さまざまな組み込み機器やエッジデバイスへの適用を進め、実タスクでの有効性の検証を通して、2023年までの実用化を目指す。