Compressing deep neural networks by matrix product operators

コメント

注目のコメント

• 大場 紀章

  エネルギーアナリスト/ポスト石油戦略研究所代表

  ・2020年06月09日

  これこそデータサイエンスと言える結果かも知れない。（というか一般に使われている「データサイエンス」は一体どこが「サイエンス」だというのだろうか）
  
  一次元量子状態の短距離もつれを特徴付けるために導入されたテンソルネットワークである行列積演算子（MPO）を用いて線形変換を表現することで、パラメータ数を大幅に減らしても予測精度を維持できるという。
  
  FC2, LeNet-5, VGG, ResNet, DenseNetを含む5つの代表的なニューラルネットワーク（MNIST, CIFAR-10）と、広く使われている2つのデータセット（MNIST, CIFAR-10）を用いて検証された。
  
  これによってディープラーニングの表現を大幅に単純化し、より効率的で安価な計算を実現するとのこと。
• 丸山 進也

  外資系メーカー研究開発

  ・2020年06月12日

  圧縮率やばいですね。畳み込み積分を線形近似するという発想は画像処理では携帯のフィルタを軽くしたり、最近だとスパースで大きめの行列演算でよく目にします。
  
  深層学習は計算量が膨大になりがちなので、収束法や計算手法の近似による高速化が近年大幅に進んでいる印象を受けます。ようするに厳密じゃなくとも結果は殆ど変わらない冗長な計算部分を洗い出す研究ということですが、内部処理の正解が不明瞭な学習系でその正当性を保っていることを理論的に示さないと危険だなと感じることもあります。（例えばReLUとか...）