请记住，在本章中讨论的大多数技术都是机器学习和深度学习通用的，一部分用于解决过拟合问题的技术（如dropout）除外。
这是卷积神经网络学习路线的第19篇文章，主要为大家介绍一下旷世科技在2017年发表的ShuffleNet V1，和MobileNet V1/V2一样，也是一个轻量级的卷积神经网络，专用于计算力受限的移动设备。新的架构利用两个操作：逐点组卷积(pointwise group convolution)和通道混洗(channel shuffle)，与现有的其他SOTA模型相比，在保证精度的同时大大降低了计算量。ShuffleNet V1在ImageNet和MS COCO上表现出了比其他SOTA模型更好的性能。论文原文见附录。
因为通用计算芯片不能满足神经网络运算需求，越来越多的人转而使用GPU和TPU这类专用硬件加速器，加快神经网络训练的速度。
来自马里兰大学、马克斯·普朗克信息学研究所、Adobe的研究人员提出了一种新型纹理混合器Texture Mixer。
监督机器学习的关键方面之一是模型评估和验证。当您评估模型的预测性能时，过程必须保持公正。使用train_test_split()数据科学库scikit-learn，您可以将数据集拆分为子集，从而最大限度地减少评估和验证过程中出现偏差的可能性。
今天给大家介绍由哈佛大学和剑桥大学的研究人员联合发表在Nature Communications的一篇文章。由于对设计规则的理解有限，设计全新的生物回路组件仍然是一项具有挑战性的工作，支点开关（Toehold Switches）的设计也面临相似的问题。针对上述情况，作者提出了两种深度学习架构——STORM和NuSpeak，这二种架构使用了卷积过滤器，注意力图和电子诱变技术用于描述和优化支点。实验结果证明，即使在训练数据比较稀疏的情况下，通过迁移学习设计的支点传感器，仍然具有改进的性能。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，它是容错、不可变的 分布式对象集合。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，是spark编程中最基本的数据对象； 它是spark应用中的数据集，包括最初加载的数据集，中间计算的数据集，最终结果的数据集，都是RDD。 从本质上来讲，RDD是对象分布在各个节点上的集合，用来表示spark程序中的数据。以Pyspark为例，其中的RDD就是由分布在各个节点上的python对象组成，类似于python本身的列表的对象的集合。区别在于，python集合仅在一个进程中存在和处理，而RDD分布在各个节点，指的是【分散在多个物理服务器上的多个进程上计算的】 这里多提一句，尽管可以将RDD保存到硬盘上，但RDD主要还是存储在内存中，至少是预期存储在内存中的，因为spark就是为了支持机器学习应运而生。 一旦你创建了一个 RDD，就不能改变它。
随着计算机视觉领域的迅速发展，目标检测在各种应用中变得至关重要，这些应用范围包括但不限于安全监控、自动驾驶和智慧医疗。尽管传统目标检测方法存在计算复杂度高和实时性能不足的问题，但基于深度学习算法已在准确性和实时性能方面取得了重大突破。其中，YOLO已成为一种经典的实时目标检测算法，它在计算速度和检测精度之间取得了平衡。然而，移动设备通常在计算能力、内存容量和能源消耗方面受限，这复杂化了深度学习模型的部署。
选自arXiv 作者：Mostafa Gamal等 机器之心编译 参与：Panda 表现优良的卷积神经网络往往需要大量计算，这在移动和嵌入式设备以及实时应用上是一个很不利的因素。近日，开罗大学和阿尔伯塔大学的研究者提出了一种能实现实时形义分割的框架 ShuffleSeg。这种方法能在保证分割准确度的同时显著降低对计算资源的需求。机器之心在本文中对该项目进行了简要编译介绍，相关研究的 TensorFlow 代码已发布在 GitHub 上。 论文地址：https://arxiv.org/abs/1803.038
AI科技评论按：本文是介绍用TensorFlow构建图像识别系统的第三部分。 在前两部分中，我们构建了一个softmax分类器来标记来自CIFAR-10数据集的图像，实现了约25-30％的精度。 因为有10个不同可能性的类别，所以我们预期的随机标记图像的精度为10％。25-30％的结果已经比随机标记的结果好多了，但仍有很大的改进空间。在这篇文章中，作者Wolfgang Beyer将介绍如何构建一个执行相同任务的神经网络。看看可以提高预测精度到多少！AI科技评论对全文进行编译，未经许可不得转载。 关于前两部分
在我们训练机器学习模型时，为提高模型拟合效果，经常使用K-Fold交叉验证，这是提高模型性能的重要方法。在这篇文章中，我们将介绍K-Fold交叉验证的基本原理，以及如何通过各种随机样本来查看数据。
在本教程中，我们将使用我们已有的关于 PyTorch 和线性回归的知识来求解一类非常不同的问题：图像分类。我们将使用著名的 MNIST 手写数字数据库作为我们的训练数据集。其中含有 28×28 像素的灰度手写数字图像（0 到 9），并且每张图像都带有指示该图像的数字的标签。下面是一些来自该数据集的样本：
虽然其规模巨大，但成功的深层人工神经网络可以获得训练和测试集非常小的性能差异。 传统知识认为这种小的泛化误差归功于模型的性能，或者是由于在训练的时候加入了正则化技术。 通过广泛的系统实验，我们展示了这些传统方法如何不能解释，而为什么大型神经网络能在实践中推广。具体来说，实验建立了用随机梯度方法训练的图像分类的最先进的卷积网络，能容易地拟合训练数据的随机标记。这种现象在质量上不受显式正则化的影响，即使我们用完全非结构化的随机噪声替换真实图像，也会发生这种现象。 我们用理论结构证实了这些实验结果，表明简单的深度两个神经网络一旦参数数量超过了实际数据点的数量，就已经具有完美的有限样本表达能力。 论文通过与传统模型的比较来解释我们的实验结果。
在如今的 NLP 领域，几乎每项任务中都能看见「基于 Transformer 的预训练语言模型（T-PTLM）」成功的身影。这些模型的起点是 GPT 和 BERT。而这些模型的技术基础包括 Transformer、自监督学习和迁移学习。T-PTLM 可使用自监督学习从大规模文本数据学习普适性的语言表征，然后将学到的知识迁移到下游任务。这些模型能为下游任务提供优质的背景知识，从而可避免从头开始训练下游任务。
现在，谷歌AI掌门人Jeff Dean转发推荐了一个训练ResNet的奇技淫巧大礼包，跟着它一步一步实施，训练9层ResNet时，不仅不需要增加GPU的数量，甚至只需要1/8的GPU，就能让训练速度加快到原来的2.5倍，模型在CIFAR10上还能达到94%的准确率。
文章超长，秉承用代码搞定一切的原则，内含大量代码，建议收藏，并分享给你喜欢的人。同时如果有什么疑问，也欢迎留言告知我们。
数据流 首先定义一些属于。MapReduce作业（job）是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务，map任务和reduce任务。 有两类节点控制着作业执行过程，：一个jobtracker以及一系列tasktracker。jobtracker通过调度tasktracker上运行的任务，来协调所有运行在系统上的作业。tasktracker在运行任务的同时，将运行进度报告发送给jobtracker，jobtracker由此记录每项作业任务的整体进度情况。如果其中一个任务失败，jobtracker可以再另外衣tasktracker节点上重新调度该任务。 Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片（input split）或简称分片。Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。 拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，且每个分片数据比较小，那么整个处理过程将获得更好的负载平衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定比例。即使使用相同的机器，处理失败的作业或其他同时运行的作业也能够实现负载平衡，并且如果分片被切分的更细，负载平衡的质量会更好。 另一方面，如果分片切分的太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是64MB，不过可以针对集群调整这个默认值，在新建所有文件或新建每个文件时具体致死那个即可。 Hadoop在存储有输入数据（Hdfs中的数据）的节点上运行map任务，可以获得最佳性能。这就是所谓的数据本地化优化。现在我们应该清楚为什么最佳分片大小应该与块大小相同：因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越这两个数据块，那么对于任何一个HDFS节点，基本上不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务节点。与使用本地数据运行整个map任务相比，这种方法显然效率更低。 map任务将其输出写入本地硬盘，而非HDFS，这是为什么？因为map的输出是中间结果：该中间结果由reduce任务处理后才能产生最终输出结果，而且一旦作业完成，map的输出结果可以被删除。因此，如果把它存储在HDFS中并实现备份，难免有些小题大做。如果该节点上运行的map任务在将map中间结果传送给reduece任务之前失败，Hadoop将在另一个节点上重新运行这个map任务以再次构建map中间结果。 reduce任务并不具备数据本地化的优势——单个reduce任务的输入通常来自于所有mapper的输出。在下面的李宗中，我们仅有一个reduce任务，其输入是所有map任务的输出。因此，排过序的map输出需要通过网络传输发送到运行reduce任务的节点。数据在reduce端合并，然后由用户定义的reduce函数处理。reduce的输出通常存储在HDFS中以实现可靠存储。对于每个reduce输出的HDFS块，第一个副本存储在本地节点上，其他副本存储在其他机架节点中。因此，reduce的输出写入HDFS确实需要占用网络带宽，但这与正常的HDFS流水线写入的消耗一样。 一个reduce任务的完成数据流如下：虚线框表示节点，虚线箭头表示节点内部数据传输，实线箭头表示节点之间的数据传输。
与基于 CNN 的方法相比，基于 Transformer 的方法由于能够对远程依赖性进行建模，因此取得了令人印象深刻的图像恢复性能。然而，SwinIR 等算法采用基于窗口的局部注意力策略来平衡性能和计算开销，这限制了使用大感受野来捕获全局信息并在早期层中建立长依赖关系。
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 第七章主要讲了Spark的运行架构以
交叉验证（也称为“过采样”技术）是数据科学项目的基本要素。它是一种重采样过程，用于评估机器学习模型并访问该模型对独立测试数据集的性能。
Apache Spark 以其分布式计算能力彻底改变了大数据处理。然而，Spark 的性能可能会受到称为“shuffle”的常见挑战的影响。在本文中，我们将探讨 shuffle 是什么、它的原因、与之相关的问题以及优化 Apache Spark 性能的有效解决方案。
我国经济高速发展，个人信贷业务也随着快速发展，而个人信贷业务对提高内需，促进消费也有拉动作用。有正必有反，在个人信贷业务规模不断扩大的同时，信贷的违约等风险问题也日益突出，一定程度上制约着我国的信贷市场的健康发展。
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 目录 1. 背景 2. Shopee 视频技术落地产品 3. Shopee 视频相关后台服务 3.1 直播/点播转码 3.2 直播连麦 3.3 多人会议混流 3.4 视频后台编辑 4. 高清低码 4.1 视频处理的一般流程 4.2 Shopee 高清低码优化方案 5. 性能优化 5.1 编码器端上优化 5.2 一入多出编码 东
Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。（Java1.8支持了lamda表达式）
本文介绍了Spark中的RDD编程，包括创建RDD、转换操作、行动操作以及常见的转换操作和行动操作。此外，还介绍了如何向Spark传递函数以及常见的伪集合操作。
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： 【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 #####我是
今天给大家介绍的是来自爱丁堡大学的Antreas Antoniou等人在arXiv上发表的文章”DATA AUGMENTATION GENERATIVEADVERSARIAL NETWORKS”。该模型基于图像条件生成对抗网络，从源域获取数据并学习获取任何数据项并将其生成为生成其他类内数据项。由于这个生成过程不依赖于类本身，它可以应用于新颖的不可见的数据类。
实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？
同样精度，速度和计算量均少于此前SOTA算法。这就是华为诺亚方舟实验室提出的新型端侧神经网络架构GhostNet。
卷积神经网络架构设计，又指backbone设计，主要是根据具体任务的数据集特点以及相关的评价指标来确定一个网络结构的输入图像分辨率，深度，每一层宽度，拓扑结构等细节。公开发表的论文大多都是基于ImageNet这种大型的公开数据集来进行的通用结构设计，早期只以其分类精度来证明设计的优劣，后来也慢慢开始对比参数量(Params)和计算量(FLOPs)，由于ImageNet的数据量十分巨大且丰富，所以通常在该数据集上获得很好精度的网络结构泛化到其他任务性能也都不会差。但在很多特定任务中，这种通用的结构虽然效果还可以，却并不算最好，所以一般在实际应用时通常是基于已公开发表的优秀网络结构再根据任务特点进行适当修改得到自己需要的模型结构。
随机森林是一种高效并且可扩展性较好的算法, K最近邻算法则是一种简单并且可解释较强的非参数化算法。在本篇文章中,我们针对多分类问题提出了一种将随机森林和KNN算法相结合框架,我们先用训练数据对随机森林模型进行训练然后用训练好的随机森林模型对我们的训练集和测试集进行预测分别得到训练集和测试集的概率矩阵,然后将测试集中的可疑样本取出并在概率空间中进行KNN训练测试,我们的框架很大地提升了测试集中可疑样本的预测准确率;此外我们从预测的概率空间对训练数据进行噪音的过滤与删除,从而进一步提升了我们模型的预测准确率。在大量实验数据的测试中,我们的方法都取得了非常显著的效果。
无限流处理：输入数据没有尽头；数据处理从当前或者过去的某一个时间 点开始，持续不停地进行
请点击上面“思影科技”四个字，选择关注我们，思影科技专注于脑影像数据处理，涵盖（fMRI,结构像,DTI,ASL,EEG/ERP,FNIRS,眼动）等，希望专业的内容可以给关注者带来帮助，欢迎留言讨论及转发推荐，也欢迎了解思影科技的课程及数据处理服务，可添加微信号siyingyxf或18983979082进行咨询(咨询电话18580429226，杨晓飞）。(文末点击浏览）
最近我们被客户要求撰写关于信贷风险预警的研究报告，包括一些图形和统计输出。 我国经济高速发展，个人信贷业务也随着快速发展，而个人信贷业务对提高内需，促进消费也有拉动作用
KNN模型的核心思想很简单，即近朱者赤、近墨者黑，它通过将每一个测试集样本点与训练集中每一个样本之间测算欧氏距离，然后取欧氏距离最近的K个点（k是可以人为划定的近邻取舍个数，K的确定会影响算法结果），并统计这K个训练集样本点所属类别频数，将其中频数最高的所属类别化为该测试样本点的预测类别。
近期Vision Transformer（ViT）在各个垂直任务上均表现出非常不错的性能。这些模型基于multi-head自注意力机制，该机制可以灵活地处理一系列图像patches以对上下文cues进行编码。
本文解读的是 CVPR 2020 论文《Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation》，作者来自百度。针对长视频上不同动作的时空巨大差异性，这篇论文提出了基于自监督的局部和全局混合时间域迁移新方法来解决这一挑战。在三个非常具有挑战性的公开数据集上，本文提出的新方法都实现了大幅度的性能提升。
目标检测是计算机视觉中一个重要问题，在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来，随着深度学习对图像分类准确度的大幅度提高，基于深度学习的目标检测算法逐渐成为主流。
其过程为：首先在z轴坐标为20 的上方生成n个随机点作为正类，在z轴坐标为10 的下方生成n个随机点作为负类。此时在平面z= 10, z= 20 作为隔离带。然后45度旋转x坐标轴，再返回这些点在新坐标轴中的坐标。注意这里混洗了数据，否则会发现数据集的前半部分都是正类，后半部分都是负类，需要混洗数据从而让正负类交叉出现。
编者按：路面峰值附着系数是实现车辆精确运动控制的关键参数。现有的路面识别方法多是基于车辆动力学构建状态观测器实现。此类方法通常适用于车辆加速和减速期间，在轮胎力饱和的情况下，例如在强制动条件下，确定摩擦系数是可行的。困难在于在更正常的驾驶环境下获得摩擦估计，也就是当轮胎滑移率较小时的估计（路面附着利用较低）。实际的道路环境往往复杂多变，而此类方法的收敛速度往往不足以实现实时估计的要求。因此，如何实现高精度实时的路面识别方法将会是此类方法研究的难点与重点。与此同时，基于机器视觉的路面识别方法的优势在于探测范围广、预测性强，但是易受环境中的光线等因素干扰，未来此类方法的研究重点会放在抗干扰能力和对图像识别准确率上。而基于车辆动力学的识别方法与基于图像的识别方法的有效结合，可以充分解决实时性与准确性冲突的问题，基于图像的识别方法为基于车辆动力学的识别方法提供预测的参考输入，可以提前获悉前方路面的特征，使得智能驾驶系统的性能得到提升。
近年来，卷积神经网络（CNN）已经主宰了计算机视觉领域。自 AlexNet 诞生以来，计算机视觉社区已经找到了一些能够改进 CNN 的设计，让这种骨干网络变得更加强大和高效，其中比较出色的单个分支网络包括 Network in Network、VGGNet、ResNet、DenseNet、ResNext、MobileNet v1/v2/v3 和 ShuffleNet v1/v2。近年来同样吸引了研究社区关注的还有多分辨率骨干网络。为了能够实现多分辨率学习，研究者设计出了模块内复杂的连接来处理不同分辨率之间的信息交换。能够有效实现这种方法的例子有 MultiGrid-Conv、OctaveConv 和 HRNet。这些方法在推动骨干网络的设计思想方面做出了巨大的贡献。
作者：Bing Xu、Andrew Tulloch、Yunpeng Chen、Xiaomeng Yang、Lin Qiao
Facebook AI 近日一项研究提出了一种新的卷积模块 IdleBlock 以及使用该模块的混合组成（HC）方法。实验表明这种简洁的新方法不仅能显著提升网络效率，而且还超过绝大多数神经网络结构搜索的工作，在同等计算成本下取得了 SOTA 表现，相信这项研究能给图像识别网络的开发、神经网络结构搜索甚至其他领域网络设计思路带来一些新的启迪。
今天给大家介绍投稿在ICLR2021上的一项工作。由于蛋白质序列上的微小改变可能导致其功能上难以预测的变化，所以蛋白质序列往往无法使用类似于计算机视觉或自然语言处理中所使用的随机数据扩充方法。针对以上问题，作者从经验上探索了一组简单的字符串操作，当微调半监督蛋白质模型时，可使用这些操作来增加蛋白质序列数据。在TAPE baseline上的结果表明，对比学习微调方法优于mask token预测微调方法，随着数据扩充量的增加，对比学习方法的性能随之提高。当使用域驱动的转化以及将Transformer的注意力限制在蛋白质序列的随机采样子区域时，跨TAPE任务的结果最一致。在极少数情况下，破坏信息的扩充方式可以改善下游任务表现。
研究目的：目的是设计一个更复杂但实用的退化模型（包括随机混合模糊、下采样和噪声退化）；
最近在使用spark处理分析一些公司的埋点数据，埋点数据是json格式，现在要解析json取特定字段的数据，做一些统计分析，所以有时候需要把数据从集群上拉到driver节点做处理，这里面经常出现的一个问题就是，拉取结果集过大，而驱动节点内存不足，经常导致OOM，也就是我们常见的异常: 这种写法的代码一般如下： 上面的这种写法，基本原理就是一次性把所有分区的数据，全部读取到driver节点上，然后开始做处理，所以数据量大的时候，经常会出现内存溢出情况。 （问题一）如何避免这种情况？ 分而治之，每次只拉取一个
本文为译文。原文链接https://dzone.com/articles/decision-trees-vs-clustering-algorithms-vs-linear。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
