勾配降下法について調べてまとめてみた

こんにちは。

今までなんとなくなーなーで勉強していたGradient Descentですが、ちゃんと調べて見ました。

OverViewの論文があって(元はブログの投稿なので、これはそうというのかわからないけど)、今回それを読みつついろんな資料を漁る方式で勉強しました。

○読んだ論文とスライド

最近自分で話そうと思ってまとめるといい感じで頭に入ることを学習したので、しっかり読もうと決めたものは資料にしています。笑

■論文

• Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747 (2016).

■スライド

An overview of gradient descent optimization algorithms from Hakky St

www.slideshare.net

■一言まとめ

めんどくさかったら、とりあえずAdam使っとけってことですね笑。ただ、Adamだと汎化性能がSGDに比べて落ちるという研究もあるので、各種ハイパーパラメーターをAdamで探索後、最終的なTuningのフェーズになったら、SGDを使うのがいいかな、と考えています。

○Gradient Descent周りの参考資料の一覧

上記の論文とスライドを読むときに参考になったのが以下の資料です。

■Overview or basic algorithm about gradient descent

• Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747 (2016).
• CS231n Convolutional Neural Networks for Visual Recognition
• 1. Overview of Mini Batch Gradient Descent - YouTube
• 10.1.2 Stochastic Gradient Descent - YouTube
• Stochastic Gradient Descent - YouTube
• Gradient Descent Tutorial - YouTube
• Overview of mini-batch gradient descent
• 勾配降下法の最適化アルゴリズムを概観する | コンピュータサイエンス | POSTD
• Stochastic gradient descent - Wikipedia
• 確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
• Kaggle Facial Keypoints DetectionをKerasで実装する
• Everything that Works Works Because it's Bayesian: Why Deep Nets Generalize?
• Optimizer : 深層学習における勾配法について - Qiita

■Momentum/Nesterov accelerated gradient

• Why Momentum Really Works
• Qian, Ning. "On the momentum term in gradient descent learning algorithms." Neural networks 12.1 (1999): 145-151.
• 3. The Momentum Method - YouTube
• Visualize Back Propagation: (5) Momentum - YouTube

■Adagrad

• Duchi, John, Elad Hazan, and Yoram Singer. "Adaptive subgradient methods for online learning and stochastic optimization." Journal of Machine Learning Research 12.Jul (2011): 2121-2159.

■Adadelta

• Zeiler, Matthew D. "ADADELTA: an adaptive learning rate method." arXiv preprint arXiv:1212.5701 (2012).

■RMSprop

• Neural Networks for Machine Learning Lecture 6a Overview of mini-batch gradient descent

■Adam

• Kingma, Diederik, and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980 (2014).

■Nadam

• [http://cs229.stanford.edu/proj2015/054_report.pdf:title=Dozat, Timothy. Incorporating Nesterov momentum into Adam. Stanford University, Tech. Rep., 2015.[Online]. Available: http://cs229. stanford. edu/proj2015/054 report. pdf, 2015.]

■Learning to Learn

• [1606.04474] Learning to learn by gradient descent by gradient descent

■Parallelizing and distributing SGD

• [1106.5730] HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

■Advanced Strategy of SGD

• LeCun, Yann A., et al. "Efficient backprop." Neural networks: Tricks of the trade. Springer Berlin Heidelberg, 2012. 9-48.
• [1410.4615] Learning to Execute

それでは。