Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何在CNTK训练过程中直接访问梯度和修改权重(参数)?

如何在CNTK训练过程中直接访问梯度和修改权重(参数)?
EN

Stack Overflow用户
提问于 2017-01-23 20:19:27
回答 2查看 431关注 0票数 2

我想要计算梯度值(每个示例或小批量),并将权重直接修改为任何值(因此我可以使用任何方法控制梯度下降,而不仅仅是提供的sgd /学习率时间表)。我使用的是python接口。

EN

回答 2

Stack Overflow用户

发布于 2017-01-24 20:21:24

要获得渐变,请参阅grad方法in the docs。要现在更新权重,可以使用.value属性:

代码语言:javascript
运行
AI代码解释
复制
>>> w = C.Parameter((2,3), init=C.glorot_uniform())
>>> w.value
array([[-0.80213612, -0.7965923 , -0.10688281],
       [-1.0493834 , -0.32666588,  0.90124035]], dtype=float32)
>>> w.value = w.value + 1
>>> w.value
array([[ 0.19786388,  0.2034077 ,  0.89311719],
       [-0.0493834 ,  0.67333412,  1.90124035]], dtype=float32)

CNTK在其路线图上支持轻松规范用户定义的学习者,这将减少您必须编写的样板代码的数量。预计在2017年3月左右可用。

票数 1
EN

Stack Overflow用户

发布于 2017-01-23 21:36:55

下面是执行这些操作的tutorial

如果更新% BATCH_SIZE_BASELINE == 0: episode_number = {W1: gradBuffer‘w1’..astype(np.float32),W2: gradBuffer‘w2’..astype(np.float32)}episode_number= sgd.update( grads,BATCH_SIZE_BASELINE) #为loss.parameters中的变量重置gradBuffer gradBuffer= dict(( var.name,np.zeros(shape=var.shape)) if var.name in 'W1','W2','b1','b2')

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41814858

复制
相关文章
最小二乘法原理(后):梯度下降求权重参数
在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数,然而有时参数是无法直接求解的,此时我们就得借助梯度下降法,不断迭代直到收敛得到最终的权重参数。首先介绍什么是梯度下降,然后如何用它求解特征的权重参数,欢迎您的阅读学习。 1 梯度下降 梯度是函数在某点处的一个方向,并且沿着该方向变化最快,变化率最大。 沿着梯度这个方向,使得值变大的方向是梯度上升的方向,沿着使值变小的方向便是下降的方向。 综上,梯度下降的方向就是在该点处使值变小最快的方向。 2 梯度下降求参数 2.1 求梯度 在上个推送中我们得出了
double
2018/04/02
1.6K0
最小二乘法原理(后):梯度下降求权重参数
zabbix修改httpd.conf配置,直接IP访问
# 修改httpd.conf配置 cd /etc/httpd/conf/ ls vi /etc/httpd/conf/httpd.conf 查找DocumentRoot 修改如下图,将""去掉即可 #重启http服务,zabbix-server服务 systemctl restart httpd systemctl restart zabbix-server #效果 #修改zabbix前端页面 /usr/share/zabbix/include/menu.inc.ph
QGS
2021/08/07
2K0
代码解析深度学习系统编程模型:TensorFlow vs. CNTK
本文从程序员的角度对CNTK和TensorFlow做高层次的对比。本文也不属于性能分析,而是编程模型分析。文中会夹杂着大量的代码。 原标题:当TensorFlow遇见CNTK CNTK是微软用于搭建深
用户1737318
2018/06/06
7160
深度学习框架哪家强?MXNet称霸CNN、RNN和情感分析,TensorFlow仅擅长推断特征提取
深度学习框架哪家强:TensorFlow?Caffe?MXNet?Keras?PyTorch?对于这几大框架在运行各项深度任务时的性能差异如何,各位读者不免会有所好奇。 微软数据科学家Ilia Karmanov最新测试的结果显示,亚马逊MXNet在CNN、RNN与NLP情感分析任务上性能强劲,而TensorFlow仅擅长于特征提取。 测试详情更新在Ilia Karmanov的GitHub项目DeepLearningFrameworks(https://github.com/ilkarman/Deep
AI科技大本营
2018/04/27
1.3K0
深度学习框架哪家强?MXNet称霸CNN、RNN和情感分析,TensorFlow仅擅长推断特征提取
2019最新实战!给程序员的7节深度学习必修课,最好还会Python!
从 2017 年开始,fast.ai 创始人、数据科学家 Jeremy Howard 以每年一迭代的方式更新“针对编程者的深度学习课程”(Practical Deep Learning For Coders)。这场免费的课程可以教大家如何搭建最前沿的模型、了解深度学习的基础知识。直到今年已经是第三个年头了。
AI科技大本营
2019/05/06
1.2K0
2019最新实战!给程序员的7节深度学习必修课,最好还会Python!
改善深层神经网络——吴恩达深度学习课程笔记(二)
常用的对网络结构的改进包括正则化和标准化,正则化可以解决深度网络的过拟合问题,标准化可以加快学习过程。为了缓解较深的网络由于指数效应导致的梯度爆炸和梯度消失问题,需要合理地设置网络权重参数初始值。此外对于多分类问题,通常在最后一个神经元使用softmax分类器。
lyhue1991
2020/07/20
7660
改善深层神经网络——吴恩达深度学习课程笔记(二)
基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现(论文)
【新智元导读】新年伊始,新智元向你推荐香港浸会大学计算机学院褚晓文团队最新论文《基准评测当前最先进的深度学习软件工具》,评测了 Caffe、CNTK、MXNet、TensorFlow、Torch 这五个最受欢迎的DL框架在 FCN、CNN、RNN 上的表现。这是伯克利RISE实验室大牛、RISC之父 David Patterson 也在关注的深度学习库评测。论文作者强调这是一个开源项目,所有配置文件和实验数据均在 http: //www.comp.hkbu.edu.hk/∼chxw/dlbench.html
新智元
2018/03/27
2K0
基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现(论文)
慎用预训练深度学习模型
预训练的模型很容易使用,但是您是否忽略了可能影响模型性能的细节? 你有多少次运行以下代码片段: 1import torchvision.models as models 2inception = mo
AiTechYun
2019/05/14
1.8K0
微软开源认知服务CNTK的测试(语音训练)
前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里面也集成了多种深度学习的模型。such as deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), long short term memory (LSTM), logistic regression,
sparkexpert
2018/01/09
1.6K0
微软开源认知服务CNTK的测试(语音训练)
学界丨基准测评当前最先进的 5 大深度学习开源框架
AI 科技评论按:本文转自微信公众号 医AI (med-ai), 来源:arXiv.org,论文作者:Shaohuai Shi, Qiang Wang, Pengfei Xu, Xiaowen Chu,译者:吴博, Elaine, Melody 在 2016 年推出深度学习工具评测的褚晓文团队,赶在猴年最后一天,在 arXiv.org 上发布了最新的评测版本。这份评测的初版,通过国内AI自媒体的传播,在国内业界影响很大。在学术界,其反响更是非同一般。褚晓文教授在1月5日的朋友圈说David Patterso
AI科技评论
2018/03/09
1.2K0
学界丨基准测评当前最先进的 5 大深度学习开源框架
请谨慎使用预训练的深度学习模型
看起来使用这些预训练的模型已经成为行业最佳实践的新标准。毕竟,有一个经过大量数据和计算训练的模型,你为什么不利用呢?
AI算法与图像处理
2019/11/23
1.6K0
[Deep-Learning-with-Python]神经网络入手学习[上]
网络层堆叠形成网络模型,网络模型由输入数据得到预测值。损失函数比较预测值与实际值,得到损失函数值:用来评估预测结果的好坏;优化方法用损失值来更新网络模型的权重系数。
用户1631856
2018/08/01
1.1K0
[Deep-Learning-with-Python]神经网络入手学习[上]
从Caffe2到TensorFlow,十种框架构建相同神经网络效率对比
选自Medium 作者:Ilia Karmanov 机器之心编译 参与:路雪、黄小天 近日,Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章,其内容源自一个 GitHub 项目,其中作者通过构建同一个神经网络,对比了当前最流行的 10 种深度学习框架,其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人(比如贾扬清)的支持。机器
机器之心
2018/05/09
8550
从Caffe2到TensorFlow,十种框架构建相同神经网络效率对比
近日,Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章,其内容源自一个 GitHub 项目,其中作者通过构建同一个神经网络,对比了当前最流行的 10 种深度学习框架,其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人(比如贾扬清)的支持。机器之心对该文进行了编译。 项目GitHub链接:https://github.com/i
小莹莹
2018/04/24
1.2K0
从Caffe2到TensorFlow,十种框架构建相同神经网络效率对比
​[DeeplearningAI 笔记]第二章 1.10-1.12 梯度消失,梯度爆炸,权重初始化
,因此对于一个深层神经网络来说,y 的值将爆炸式增长.相反的,如果权重是 0.5,有
演化计算与人工智能
2020/08/14
4600
​[DeeplearningAI 笔记]第二章 1.10-1.12 梯度消失,梯度爆炸,权重初始化
通过getter和setter方法访问和修改
2.setter方法可以执行错误检查,比如检查数据是否合乎规范,输入的age是否小于0,直接对域操作则没这种优势
用户7999227
2021/10/08
1K0
一招检验10大深度学习框架哪家强!
来源:机器之心 本文长度为2698字,建议阅读4分钟 本文通过构建同一个神经网络,对比当前最流行的 10 种深度学习框架。 [ 导读 ]近日,Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章,其内容源自一个 GitHub 项目,其中作者通过构建同一个神经网络,对比了当前最流行的 10 种深度学习框架,其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FA
数据派THU
2018/01/30
8050
一招检验10大深度学习框架哪家强!
新书《Pytorch深度学习之目标检测》!干货预览
注:本文选自中国水利水电出版社出版的《PyTorch深度学习之目标检测》一书,略有改动。经出版社授权刊登于此。
AI算法与图像处理
2022/12/11
8710
新书《Pytorch深度学习之目标检测》!干货预览
基于YOLOv3的车辆号牌定位算法【文末送书】
注:本文选自中国水利水电出版社出版的《PyTorch深度学习之目标检测》一书,略有改动。经出版社授权刊登于此。
Color Space
2022/12/22
5020
基于YOLOv3的车辆号牌定位算法【文末送书】
点击加载更多

相似问题

CNTK中的访问训练参数

11

CNTK -权重更新占缓慢训练时间的90%

112

如何在训练过程中查看网络权重和偏差

120

在CNTK中访问DNN的学习权重

30

直接使用梯度更新keras模型的权重

11
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档