有关Tensorflow梯度下降常用的优化方法分享-创新互联

1.tf.train.exponential_decay() 指数衰减学习率：

目前创新互联已为上千的企业提供了网站建设、域名、虚拟空间、网站运营、企业网站设计、集宁网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False)：
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数；=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式；=True，那就表明每decay_steps次计算学习速率变化，更新原始学习速率；=alse，那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

文章标题：有关Tensorflow梯度下降常用的优化方法分享-创新互联
文章网址：http://cdxtjz.cn/article/ddcpdj.html