Episode summary

ゲストにkotoneさんを招き、ディープラーニング、機械学習とそのアルゴリズムや計算用マシンについて話しました。

Starring

kotone
soh
tadasu
coela

Show notes

• 機械学習 (Wikipedia)
• ディープラーニング(深層学習) (Wikipedia)
• ニューラルネットワーク (Wikipedia)
• パーセプトロン (Wikipedia)
• GPU (Wikipedia)
• ディープラーニング入門 Chainer チュートリアル
• 株式会社 Preferred Networks
• Chainer
• NVIDIA CUDA-X GPU-Accelerated Libraries for AI and HPC
• Preferred Networks、1024個のGPUでディープラーニングの世界最高速を実現と発表
• NARUTO -ナルト- 疾風伝
• ナルト全巻セット
• ImageNet…学習用の画像データセット
• 畳み込みニューラルネット(Wikipedia)
• THE MNIST DATABASE of handwritten digits…手書き文字認識用のデータセット
• 誤差逆伝播法 (Wikipedia)…バックプロパゲーション
• Data Parallelism VS Model Parallelism in Distributed Deep Learning Training…データ並列とモデル並列の違い
• Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes (arXiv)…PFNが達成した超高効率データ並列学習
• One weird trick for parallelizing convolutional neural networks (arXiv)…畳み込みニューラルネットワークのモデル並列化
• Performance Analysis of a Pipelined Backpropagation Parallel Algorithm (IEEE)…パイプライン化による層並列化の検証
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (arXiv)…マイクロバッチパイプライン化による層並列化の実装
• Decoupled Neural Interfaces using Synthetic Gradients (arXiv)…誤差逆伝播に必要な勾配を生成することで並列化可能とする学習手法
• Direct Feedback Alignment Provides Learning in Deep Neural Networks (arXiv)…層ごとの誤差逆伝播が不要な学習手法
• Training Neural Networks with Local Error Signals (arXiv)…大域的な誤差信号が不要な学習手法
• スーパーコンピュータ「京」はとてつもなく速い
• スーパーコンピュータ「富岳」プロジェクト
• スパコン撤去で「今は無き京前」？　駅名が話題
• GUNSLINGER GIRL (全15巻)…Kotoneさんおすすめのマンガ
• Researchat.fm お便りフォーム…Researchat.fmではリスナーの方からのお便りを募集中です。よろしくお願いします。

Editorial notes

• 生命科学の内容がメインのポッドキャストに呼んでいただきありがとうございました。とても楽しく収録させていただいたので皆さまにも楽しんでいただければ幸いです。いずれアイマスの話もリベンジしたいですね (kotone)
• 機械学習ネタ、これまでとは異なるテーマでとても良かったですね (soh)
• 他分野の話を聴くのは楽しい〜〜〜(tadasu)
• ことねさん出演ありがとうございました！音源が落ちてしまったアイマスの話もまた今度是非！(coela)