tensorflow 梯度下降方法小结
tensorflow 梯度下降方法小结
Steve Wang
发布于 2019-05-26 07:03:45
发布于 2019-05-26 07:03:45
代码可运行
运行总次数：0
代码可运行
最一般的就是梯度下降。
train = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost)以下是除梯度下降之外可选的方法：
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer
Adam优化算法是首选的梯度下降方式，研究证明它可以以最快的速度逃离鞍点(局部最优点)到达全局最优点。
在tensorflow中使用Adam优化算法：
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=hypothesis, labels=Y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2019年02月15日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
💥开发者 MCP广场重磅上线！
精选全网热门MCP server，让你的AI更好用 🚀
腾讯云开发者
