首页
学习
活动
专区
工具
TVP
发布

刘笑江的专栏

专栏成员
34
文章
52997
阅读量
24
订阅数
Xavier 初始化方法
在 Xavier Init 提出前,一般用 unsupervised pre-trainning 和 greedy layer-wise procedure 来训练神经网络。
刘笑江
2019-12-30
1K0
Optical Flow
光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。
刘笑江
2019-12-30
5300
在线学习方法概述
推荐系统算法常常用到逻辑回归算法,而传统的批量学习算法如 SGD 无法应对大规模、高维的数据集和实时数据流。为了解决这个问题,在线最优化算法如 TG [1]、FOBOS [2]、RDA [3]、FTRL [4,5,6] 应运而生,下面将介绍、对比这些算法。
刘笑江
2019-12-30
8080
量化交易笔记
投资中面临着系统性风险(即 \beta​ )和非系统性风险(即 \alpha​ ),\alpha​ 是投资者获得与市场波动无关的回报。比如投资者获得了15%的回报,其基准获得了10%的回报,那么 \alpha​ 或者价值增值的部分就是5%。
刘笑江
2018-10-09
7730
Loss Function
常见的损失函数。 范数 损失函数中, 正则项一般是参数的 Lp 距离. L1最优化问题的解是稀疏性的, 其倾向于选择很少的一些非常大的值和很多的insignificant的小值. 而L2最优化则更多的非常少的特别大的值, 却又很多相对小的值, 但其仍然对最优化解有significant的贡献. 但从最优化问题解的平滑性来看, L1范数的最优解相对于L2范数要少, 但其往往是最优解, 而L2的解很多, 但更多的倾向于某种局部最优解. L0范数本身是特征选择的最直接最理想的方案, 但如前所述, 其不可分, 且
刘笑江
2018-06-07
1.7K0
SCIP学习笔记
引言 SCIP(Structure and Interpretation of Computer Programs)[1]是MIT自1984年起的编程入门教程,尽管最近他们用Python的课程取代了Lisp语言,但是随着工业界越来越多的应用函数编程语言,如Clojure、Scala、Racket,以及软件开发使用并发的趋势(见文章[2]),重读SCIP是很有意义的。 SCIP分五章:构造过程抽象,构造数据抽象,模块化、对象和状态(涉及并发),源语言抽象,寄存器机器里的计算(编译器如何工作) 环境 OS
刘笑江
2018-05-28
1.5K0
通过Swift学函数式编程
在文章SWIFT IS A LOT LIKE SCALA [1] 提到Swift和Scala有很大的相似之处,在某些特性甚至比Scala对函数式编程的支持更友好。笔者遂从Swift语言出发,学习函数式编程[2] [3],并记录笔记如下。
刘笑江
2018-05-28
7422
HTML
机器学习笔记 评估指标 准确率 查准率 How many relevant items are selected? accuracy=TP(TP+FN) 召回率 查全率 How many sel
刘笑江
2018-05-28
2.7K0
基于word2vec协同过滤推荐
引言 在文章 学习协同过滤推荐 \w 100行Python代码 中,介绍了基于物品的协同过滤推荐,根据 user-item 评分矩阵,找出与给定 item 评分最接近的物品,作为推荐结果。 在本文中,把书籍名称看作单词,以用户喜欢的书籍看作句子,利用 word2vec 模型构建了一个书籍的向量空间。对给定书籍,找出与其距离最近的书籍,作为推荐结果。 本文用 Python 60 行代码实现了一个 Demo,得到每本书籍在向量空间的表示,输出基于书籍的协同过滤推荐结果。 word2vec 简介 word2
刘笑江
2018-05-28
3.2K0
学习协同过滤推荐 \w 100行Python代码
用一百行 Python 代码,入门协同过滤推荐。
刘笑江
2018-05-28
1.2K5
iOS 私有 API 调用检测机制探讨
最近发现部分 App 以字符串拼接的方法调用私有 API,在提交 AppStore 审核后被发现打回修改的案例。
刘笑江
2018-05-28
3.1K1
GBDT
GBDT(Gradient Boosting Descision Tree),梯度提升决策树,又名 MART(Multiple Additive Regression Tree),是由多颗回归决策树组成的 Boosting 算法,常用于 CTR 预估。本文介绍了决策树、Boosting 决策树、Gradient Boosting 决策树的算法原理和实现。 Regression Descision Tree 最小二乘回归树生成算法 输入:训练数据集 DDD 输出:回归树 算法:在训练集所在的输入空间中,递归
刘笑江
2018-05-28
9650
无约束最优化问题求解
无约束最优化问题求解方法的学习笔记 神经网络中的学习过程可以形式化为最小化损失函数问题, 该损失函数一般是由训练误差和正则项组成 损失函数的一阶偏导为 损失函数二阶偏导可以使用海塞矩阵 Hessian Matrix H\mathbf{H}H 表示, 其中每个权重向量 iii 的元素 jjj 的二阶偏导数为 一阶求解方法有 SGD Adam RMSProp 等,利用梯度(超平面)的信息求解,计算高效,收敛稍慢,需要超参数。 二阶求解方法有牛顿法,拟牛顿法,BFGS,L-BFGS 等,用二阶梯度(超曲面)
刘笑江
2018-05-28
1.8K0
Activation
对比、介绍神经元的激活函数。 Sgn image.png 阶跃函数,sign 优点:理想的计划函数 缺点:不连续,x=0x=0x=0 无导数,不好优化 Sigmoid 测试 优点: 函数与导数形式一致 缺点 饱和的神经元令梯度弥散(当 $$|x|>5$$ 时,梯度非常小,梯度更新缓慢) exp 计算复杂度稍高 not zero-center Tanh 优点: 在 x=0x=0x=0 处梯度比 Sigmoid 更大 zero centered 缺点 梯度弥散,当 saturated 时 ReLU
刘笑江
2018-05-28
5580
Deep Learning
深度学习笔记 感知机 定义 image.png 其中, sign(x)=1 if x≥0 else 0 几何解释: w⋅x+b 是特征空间的超平面, 把特征空间划分成两部分. 损失函数 错误分类点总数, 但不是连续可导, 不容易优化 image.png 错误分类点到超平面的距离. 对于给定 x0x_0x​0​​ 到超平面的距离是 image.png 其中 ∣w∣ 是 L2范式. 那么有损失函数 image.png 其中 MMM 是错误分类点的集合 学习方法 随机梯度下降法 sto
刘笑江
2018-05-28
9580
Reinforce Learning
强化学习笔记。 K-摇臂赌博机 赌徒投币后选择一个摇臂,每个摇臂以一定概率吐出硬币。 算法需要最小化累计遗憾 \begin{align} R_T &= \sum_{i=1}^{T} \bigg(w_{opt} - w_{B(i)} \bigg) \\ &=Tw^* - \sum_{i=1}^{T} w_{B(i)} \end{align} 其中 wB(i)w_{B(i)}w​B(i)​​ 是第 iii 次实验被选中臂的期望收益,w∗w^*w​∗​​ 是最佳选择臂的收益。 基于规则
刘笑江
2018-05-28
6480
微信读书排版引擎自动化测试
本文介绍了为解决测试的难题,如何逐步将人工测试步骤自动化,最终构建了一套微信读书排版引擎自动化测试流程。
刘笑江
2018-05-28
1.5K0
微信读书冷启动推荐实战:一种基于用户属性的方法
引言 在文章《微信读书冷启动书籍推荐初探:一个借助微信用户画像的方法 》1,我们发现用户的阅读偏好与用户属性(性别、年龄、n 线城市、公众号阅读偏好)相关。基于这个发现,我们利用用户属性,给冷启动的
刘笑江
2018-05-28
6920
R 语言线性回归应用:拟合 iOS 录音波形图
引言 微信读书有一个录音功能需求: 录音时绘制音频波形, 音频以 wav 格式保存 再次进入界面,加载 wav,重新渲染音频波形 步骤 1 通过 NSRecorder.averagePow
刘笑江
2018-05-28
2.2K1
iOS App 启动必 crash 监控
摘要 在 iOS 11 Beta 刚刚发布时,有用户在微博反馈:升级到 iOS 11 Beta 后,微信读书 App 遇到启动必 crash 的绝境,无法使用。 用户看到的界面,是我们开源的 iOS
刘笑江
2018-05-28
1.7K6
点击加载更多
社区活动
AI代码助手快速上手训练营
鹅厂大牛带你玩转AI智能结对编程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档