摘要：本篇重点介绍了Transformer中attention的来龙去脉。首先回顾了Transformer中注意力机制的计算流程；然后通过图解的方式详细介绍了self-attention，剖析公式理解self-attention核心是经过注意力机制加权求和；最后对比了Transformer中attention和self-attention的区别和联系，不仅要理解注意力机制的计算流程，而且要明白注意力机制背后的意义。对于希望进一步了解Transformer中attention机制的小伙伴可能有所帮助。
由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体的预处理操作。
两者的根本区别是 : 数值计算的表达式、矩阵变量中不允许有未定义的自由变量 , 而符号计算可以含有未定义的符号变量。对于一般的程序设计软件如 C, C + + 等语言实现数值计算还可以 , 但是实现符号计算并不是一件容易的事。而 Matlab 自带有符号工具箱 Symbolic Math Tooibox , 而且可以借助数学软件 Maple, 所以 Matlab 也具有强大的符号运算功能。
在问题研究中，为了不遗漏和准确起见，往往会面面俱到，取得大量的指标来进行分析。比如为了研究某种疾病的影响因素，我们可能会收集患者的人口学资料、病史、体征、化验检查等等数十项指标。如果将这些指标直接纳入多元统计分析，不仅会使模型变得复杂不稳定，而且还有可能因为变量之间的多重共线性引起较大的误差。有没有一种办法能对信息进行浓缩，减少变量的个数，同时消除多重共线性？
属于2D/3D上的转换、变形效果。他不是一个动画，他就是变形。比如正方形变平行四边形，再变圆形。都是形状变成另一个形状。
课程首先介绍了深度学习的很多应用：例如增强学习、物体识别、语音识别、机器翻译、推荐系统、广告点击预测等。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
我热衷于机器学习已经有 4 个年头，对深度学习感兴趣也有一年了。我构建了用于娱乐和工作的预测模型，也了解很多算法，从梯度提升（gradient boosting）这种传统模型到LSTM 这种很深的模型。尽管习得了很多算法，但是我的困惑依然存在。
1、NPO与X7R、X5R、Y5V、Z5U的区别： NPO属于Ⅰ类陶瓷电容器，X7R、X5R、Y5V、Z5U属于Ⅱ类陶瓷电容器。 Ⅰ类陶瓷电容器（ClassⅠceramic capacitor），过去称高频陶瓷电容器（High-frequency ceramic capacitor），介质采用非铁电（顺电）配方，以TiO2为主要成分（介电常数小于150），因此具有最稳定的性能。或者通过添加少量其他（铁电体）氧化物，如CaTiO3或SrTiO3，构成“扩展型”温度补偿陶瓷，则可表现出近似线性的温度系数，介电常数增加至500。这两种介质损耗小、绝缘电阻高、温度特性好。特别适用于振荡器、谐振回路、高频电路中的耦合电容，以及其他要求损耗小和电容量稳定的电路，或用于温度补偿。 Ⅰ类陶瓷的温度容量特性（TCC）非常小，单位往往在ppm/℃，容量较基准值的变化往往远小于1皮法。美国电子工业协会（EIA）标准采用“字母+数字+字母” 这种代码形式来表示Ⅰ类陶瓷温度系数。比如常见的C0G。 C0G代表的温度系数究竟是多少？
操作符对于现代编程来说绝对是一个至关重要的组成部分。它们通常用于数学运算。Python编程语言有一系列不同的操作符，并且不断添加新的操作符。
Pandas是一个强大的分析结构化数据的工具集，主要用于数据挖掘和数据分析，同时也提供数据清洗功能。
进程，直观点说，保存在硬盘上的程序运行之后，会在内存空间里形成一个独立的内存体，这个内存体有自己独立的地址空间，有自己的堆，上级挂靠单位是操作系统。
这是在《统计学习方法》中学习到的最后一个方法了，不像其他统计方法，学完精气神超足，都能让我继续振奋好几日。然学完该方法，我陷入了沉思与迷茫。首先，对条件随机场的【提出】和【应用场景】一片混沌，其次，说说它的思想吧，无非加入了【空间属性】，相比最大熵模型，多加入了【边特征函数】，而随机变量【X，Y】的联合概率分布的表达式并没有发生本质变化，所以说，它还是一个我认为的【概率模型】。既然是【概率模型】，那么它依旧可以用【对数似然函数】进行迭代求解，事实也是这样做的。但我所不解的是为何概率表达式清一色的表示为exp和规范化因子呢？难道仅仅因为exp在求导和概率计算中有很好的性质么？
PyTorch最近几年可谓大火。相比于TensorFlow，PyTorch对于Python初学者更为友好，更易上手。
设随机变量X只取有限个可能值a_i (i=0, 1, ..., m)，其概率分布为P (X = a_i) = p_i. 则X的数学期望，记为E(X)或EX，定义为：
通常 dplyr 和 R 更适合对列进行操作，而对行操作则显得更麻烦。这篇文章，我们将学习围绕rowwise() 创建的 row-wise 数据框的 dplyr 操作方法。
本质上Dijkstra是一种贪心,满足局部最优,每次找的是离起点最近的（保证了这个点的距离就是最短路）,如果有负边权,当前找到的就不一定是最近的了。
list 如：[0x1C, 0x53, 0x21, 0x45, 0x69, 0x7A, 0x8B, 0x6F]
操作字符串的类有：String、StringBuffer、StringBuilder。
神经网络和深度学习（四）——浅层神经网络的激活函数与反向传播 （原创内容，转载请注明来源，谢谢） 一、神经网络的表示 复习一下神经网络的表示，其主要是将单层的多个神经元，整合到一个矩阵中，调用nu
double atan (T x); // additional overloads for integral types
MDS是一种常用的降维算法，其基本思想是保证高维空间映射到低维空间之后，样本间的相对距离基本不变。
正则表达式这东西真的特别常用，在搜索文本啊，写爬虫什么的都得用到。而且现如今各种语言，都会支持正则表达式。之前也零零碎碎的看过，但是很多细节都记不清，这里姑且把一些知识要点记录下来，供日后查找使用。
引言：之前的初识shell的内容简单的介绍了一下shell，帮助大家认识了一下shell 的组成，这篇文章就具体的讲解shell有关的知识。如果大家有编程基础的话。接下来几篇的文章读起来都会非常容易。没有的话也没有关系，我尽最大的可能讲的通俗易懂。那么现在就开始吧
正则表达式算是一门通用的东西，前端后端都能用得到，在某些时候正则表达式也是很方便。
因果关系与相关关系的异同 因果关系和相关关系在分析过程中应用广泛。 然而，一部分人在不了解两种方法的支撑逻辑时往往将两种关系等同看待。 显然，人们被困于因果和相关的内在联系而不能正确的使用它们。 虽然
相信这么努力的你 已经置顶了我 C语言是面向过程的，而C＋＋是面向对象的 C和C++的区别： C是一个结构化语言，它的重点在于算法和数据结构。C程序的设计首要考虑的是如何通过一个过程，对输入（或环境条件）进行运算处理得到输出（或实现过程（事务）控制）。 C++，首要考虑的是如何构造一个对象模型，让这个模型能够契合与之对应的问题域，这样就可以通过获取对象的状态信息得到输出或实现过程（事务）控制。 所以C与C++的最大区别在于它们的用于解决问题的思想方法不一样。之所以说C++比C更先进，是因为“ 设计这个概
让类以统一的方式处理不同类型的数据。调用方法时，通过传递给他们的不同数量和类型的参数来决定使用哪种方法，这就是多态的使用。
可以使用int函数 如 int(‘3’) 结果由字符串’3’变为整型3
大家知道，序列标注、文本分类、句对关系判断和生成式任务并称自然语言处理四大基础技术支柱。序列标注作为最基础的语言计算任务已在命名实体识别、词性标注、分词以及属性抽取等场景中得到了广泛的应用。这里顺便提一下，我们在属性抽取方面沉淀了诸多宝贵的经验，限于文章篇幅，本文将侧重序列标注理论的阐述，业务应用将在后续文章中体现。
一般来说，大家写的矩阵都是这个样子，但是我习惯写成上面的那样，因为规律一目了然，也不是规律。。。我不知道怎么说了。
真正接触核方法应该是在 SVM ，正常情况下，感知机算法和支持向量机都是默认数据是线性可分的，这类问题叫做线性分类问题。当数据线性不可分的时候，但高维可分（这个不理解可以多看看书），我们仍然想用线性分类的方法去解决，这个时候就需要用非线性变换将非线性问题转换成线性问题。
在 JavaScript 中，let 和 const 都是用于声明变量的关键字，但它们之间有一些重要的区别：
函数模板与普通函数区别 : 主要区别在于它们能够处理的 数据类型数量 和 灵活性 ;
主要用在线性回归的时候来估计b1 unbiasedness: 估计的残差是随机的 efficiency：对比其他估计样本残差最小 consistency：样本增大残差方差降低 linearity：是样本的线形函数
其中：△d为每次切深，无符号，取值范围为0.001mm~9999.999mm，模态代码；
Exercise2是注释和井号 Comments and Pound Characters 具体详情请参考习题一，这里就不在做过多的赘述。
打算今天分享的内容其实是和上篇的理论内容有点关系，和接下来需要分享的文章相关的，这篇文章我们就说下引用和值之间的区别，也是java面试会问到的点，掌握这个出去面试也不再为难了，搬好小板凳，继续咯。
关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），本文讲后者。
众所周知，transformer已经不止火在nlp了，ViT(如下图所示)也大有取代CNN之势。我们认知中transformer最重要的部分莫过于多头的self-attention机制了，该机制发掘不同token之间的空间信息联系。这篇论文<Pay Attention to MLPs>提出了一个更简单的架构，gMLP，使用gating机制，达到和transformer在nlp或者计算机视觉一样的效果。
数据结构与算法是基础知识了，一般涉及数据结构的增删改查，深入一点的可以估计增删改查的时间复杂度和空间复杂度。本文介绍另一种衡量数据结构的方式：空间占用。这种分类让我对数据结构有了一个全新的认识。
对于这个网络我们建立一个简单的图示？我们对第一个隐藏层记为[1]，输出层为[2]。如下图
模型视图投影矩阵，也就是常说的MVP，有很多的书和资料，参考资料中会列出我推荐的相关资料，会详细介绍推导过程。之所以还要写这一篇，是因为它比较重要，也为了保证‘坐标系与矩阵’系列文章的完整性。所以本篇主要是我对这块的理解，具体的公式推导尽可能不提。
Unsupervised Learning 本周我们讲学习非监督学习算法，会学习到如下概念 聚类（clustering） PCA(Principal Componets Analysis主成分分析)，用于加速学习算法，有时在可视化和帮助我们理解数据的时候会有难以置信的作用。 一、内容概要 Clustering K-Means Algorithm Optimization Objective Random Initialization Choosing The Number of Clusters Dim
VAE，即变分自编码器，是常见的生成模型其中一类。常见的生成模型类型还有GAN、flow、DDPM等。
Judea Pearl是图灵奖得主，因果推断的奠基人之一。由于阅读的论文中涉及到反事实推断中Total Effect(TE), Natural Direct Effect(NDE), Total Indirect Effect(TIE)等概念，涉及到反事实推断方法的核心，因此前来拜读一下Pearl老爷子二十年前发表的这篇论文。
----------------------------------正则的作用------------------------------------------- 正则：就是一个规则，用来处理字符串的一个规则（正则是用来处理字符串的） 处理： 1>匹配 判断一个字符串是否符合我们制定的规则 var reg = /\d/; console.log(reg.test("张")); console.log(reg.test("张3")); 2>捕获 把字符串中符合我们正则规则的
本文会用容易理解的话解释下griddata和griddatan的用法，不会追求严谨，目的是帮助需要用到这两个插值函数的尽快理解使用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
