2018-12-26から1日間の記事一覧

LazyAdamOptimizerを見てみた

見てみた https://www.tensorflow.org/api_docs/python/tf/contrib/opt/LazyAdamOptimizer 概要 Adam Optimizerの sparse更新をより効率化したもの。 既存のAdamアルゴリズムは2つの移動平均の各train variableに対して行います。 計算はすべてのStepで更新…