memo Cloud TPU #gcpug
- TPUとは は省略
- TPU のアップデート
GPU
- ディープラーニング GPU
- 金かかる
- CPUの性能→ムーアの法則の限界
- 鈍化してる
domain specific hardware
- ソフトウェアだけじゃなくてハードウェアの最適化も必要
- gpu fgpa tpa
- いろいろ頑張ってる
BQ
- BQのハードウェアアクセラレーション
- ハードウェアが刺さている
TPU
- いろんなチップが開発
- Googleもがんばって自前で開発
- 豊富な計算資源がないと機械学習できない
- GPUは電力
GoogleのTPUって結局どんなもの？ 日本法人が分かりやすく説明：CPU、GPUとの違いとは？ - ＠IT
- 今回のIOででたのはTPU v3
- TPUブースに出すデモの開発
デモ
- MNIST画像認識
- ニューラルネットワーク データに対する掛け算と足し算
TPU v1
- CPU レジスタで計算した結果を計算結果をメモリに書き戻すのを繰り替えす ノイマン
- GPU 小さなCPUが並列で並んでいる ノイマン 電力が超倍々
- TPU メモリ領域を共有し、レジスタでの計算を手分けしてやる はやい！ 電力もそんな使わない
- ニューラルネットワークの演算だけに特化したもの
- エクセルとかの処理は難しい
TPU v2
- ベータ版に比べて値段は低め
- 例によってUSのほうが安い
- 定期的に止まるような感じにするとさらに安い
- 5倍おためしできる可能性
- DAWNBench
TPU Pod
- TPU v2 pod google HPC
- TPU 3.0 Pod v2の8倍はやい
- GRPC ボトルネック
- TPU v2 pod 30分で計算が終わる最速
初期投資ゼロなのに100倍早い
AIスパコンのレンタルを初期投資ゼロで
TPU API
- TPUEstimator
- Keras
- おてがる使いたい
- tpuおためし CrossShardOptimizer をつかうだけ
- GPU CPUだと実装がクソだるい
- スパコン
- TPU Pod お値段は時価
