新着Pick
63Picks
Pick に失敗しました

人気 Picker
いつ発売でしょうか。V100以降、ずっと出ていなかったのでそろそろ欲しいと思っていました。

企業の方はクラウドコンピューティングを活用したりサーバルームをお持ちだったりすると思うのですが、そうでない我々のようなところだと普通の部屋にサーバを置いたりしています(空調はちゃんとしています)。

DGX-1とか2を全力で動かしていると、消費電力がものすごいし、飛行機の離発着時のような爆音がでます。冗談だと思われるかもしれませんが、同じ部屋にいても会話できないくらいファンの音がものすごいことになります。このGPUはもう少しエネルギー効率が良くなっていることを願ってしまいます。

(追記)
なんてことを書いていたら、いつも取引している業者さんから早速売り込みがありました。我々の手元で動くものが手に入るのは数カ月先になりそうとのこと(時期についても教えてもらいましたが秘密かもしれないので明言避けます)。

また、お値段も結構な。。。。20年前はサーバはSunのSolarisでなくてはいけないという時代があり、数千万円していました。いつの間にか各種ソフトのほうがLinuxやWindows対応になり、立ち行かなくなったSolaris OSもフリーソフトになり、Sunはオラクルに2010年に買収されることに。跡地はFBが買収。

GPUで敵がいるとしたら各社が開発しているFPGAやASICによるものでしょうか?

サン・マイクロシステムズ
https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%83%BB%E3%83%9E%E3%82%A4%E3%82%AF%E3%83%AD%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%82%BA

急成長フェイスブックが「新社屋」に込めた思い: 日本経済新聞
https://www.nikkei.com/article/DGXBZO38262530U2A120C1000000/
水を差すようで、大変申し訳ありませんが、ハードウェアの性能が20倍になっても、一般のソフトウェアとコンパイラを使うと、よくて数倍程度の性能しか引き出せません。

ハードウェアの性能をフルに引き出すためには、専用の言語やコンパイラが必須となります。

今現在必要なのは、進化を続けるハードウェアに対して、その性能をフルに引き出すソフトウェア環境だと考えています。

いわゆる「ドメイン・スペシフィック・ランゲージとコンパイラ」です。

※個人的な見解であり、所属する会社、組織とは全く関係ありません
nVIDIA が Volta の後継 Ampere を発表

ポイントは Tensor core
性能が 2.5 倍に向上
業界標準の bfloat16 を採用
学習用に TF32 (Tensor Float 32) を開発
Hardware Pruning で inference 時の演算性能が2倍に
科学技術計算用に FP64 を用意

これによって

従来の FP32 による学習が 20倍高速に
スーパーコンピューターの FP64 性能が2.5倍高速に

TF32 は実際には 19bit で内訳は

符号部 (Sign) 1bit
指数部 (Exponent) 8bit
仮数部 (Mantissa) 10bit

FP32 は
符号部 1bit
指数部 8bit
仮数部 23bit

FP16 は
符号部 1bit
指数部 5bit
仮数部 10bit

bfloat16 は
符号部 1bit
指数部 8bit
仮数部 7bit

主な項目の比較    Volta → Ampere

プロセス     TSMC 12nm → TSMC 7nm
トランジスター数 211億 → 540億
ダイサイズ    815平方mm → 826平方mm

FP64 CUDA コア   2,560 → 3,456
FP32 CUDA コア   5,120 → 6,912
Tensor コア      320 → 432
SM プロセッサー数  80 → 108

演算性能
FP64      7.8TFLOPS → 9.7TFLOPS
FP32    15.7TFLOPS → 19.5 TFLOPS

テンサーコア演算性能
FP64    NA → 19.5TFLOPS
TF32    NA → 156TFLOPS
BFLOAT16  NA → 312TFLOPS
FP16    125TFLOPS → 312TFLOPS
INT8    NA → 624TOPS
INT4    NA → 1,248TOPS

https://www.facebook.com/groups/141980853088966/permalink/579348632685517/