作者 | Francesco Palma，Davide Burba，Lewis Tunstall，Thomas Boys
前段时间详细地阅读了 《Apache Flink的流处理》 这本书，作者是 Fabian Hueske&Vasiliki Kalavri，国内崔星灿翻译的，这本书非常详细、全面得介绍了Flink流处理，并且以气象数据的例子讲解其中的使用，我把其中一些比较重要的句子做了比较，并且分享给大家。有一些我不是很理解，需要以后慢慢去消化，我就不做详细的展开。
RDD#map 方法 可以 将 RDD 中的数据元素 逐个进行处理 , 处理的逻辑 需要用外部 通过 参数传入 map 函数 ;
布丰投针是几何概率领域中最古老的问题之一。它最早是在1777年提出的。它涉及将针头放到衬有衬纸的纸上，并确定针头越过页面上一行的可能性。引人注目的结果是概率与pi的值直接相关。R程序将根据上段所述的情况估算pi的值并使用gganimate进行动态可视化。
在Excel中，我们经常会遇到要将文本拆分。Excel中的文本拆分为列，可以使用公式、“分列”功能或Power Query来实现。
HBase 内置的处理拆分和合并的机制一般是合理的，并且它们按照预期处理任务，但在有些情况下，还是需娶按照应用需求对这部分功能进行优化以获得额外的性能改善。 管理拆分 通常HBase 是自动处理region拆分的:一旦它们达到了既定的阈值，region将被拆分成两个，之后它们可以接收新的数据并继续增长。这个默认行为能够满足大多数用例的需求。 其中一种可能出现问题的情况被称之为“拆分/合并风暴”: 当用户的region大小以恒定的速度保持增长时，region拆分会在同一时间发生，因为同时需要压缩region
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，它是容错、不可变的 分布式对象集合。
我们正在以前所未有的速度生成数据。老实说，我跟不上世界各地里产生的巨大数据量!我敢肯定你已经了解过当今时代数据的产量。McKinsey, Gartner, IBM,等公司都给出了他们公司的数据。
SVM, 全称为support vector machines, 翻译过来就是支持向量机。该算法最常见的应用场景就是解决二分类问题，当然也可以用于回归和异常值检测。
使用PyTorch Profiler进行性能分析已经一段时间了，毕竟是PyTorch提供的原生profile工具，个人感觉做系统性能分析时感觉比Nsys更方便一些，并且画的图也比较直观。这里翻译一下PyTorch Profiler TensorBoard Plugin的教程并分享一些使用经验，我使用的时候也是按照这个教程来来的，有一点不一样的是可以在vscode里面直接安装TensorBoard插件，然后Command+Shift+P打开vscode的命令行窗口输入TensorBoard启用TensorBoard插件并把PyTorch Profiler输出的日志文件所在的文件夹路径传给它就可以直接在vscode里面查看可视化Profile结果了。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，是spark编程中最基本的数据对象； 它是spark应用中的数据集，包括最初加载的数据集，中间计算的数据集，最终结果的数据集，都是RDD。 从本质上来讲，RDD是对象分布在各个节点上的集合，用来表示spark程序中的数据。以Pyspark为例，其中的RDD就是由分布在各个节点上的python对象组成，类似于python本身的列表的对象的集合。区别在于，python集合仅在一个进程中存在和处理，而RDD分布在各个节点，指的是【分散在多个物理服务器上的多个进程上计算的】 这里多提一句，尽管可以将RDD保存到硬盘上，但RDD主要还是存储在内存中，至少是预期存储在内存中的，因为spark就是为了支持机器学习应运而生。 一旦你创建了一个 RDD，就不能改变它。
1.新增的元素：section、article、aside、header、hgroup、footer、nav、figure、video、audio、embed、mark、progress、time、ruby、rt、rp、wbr、canvas、command、details、datalist、datagrid、keygen、output、source、menu
【新智元导读】谷歌研究院官方博客（北京时间）今日更新，宣布开源与哈佛大学等高校和机构合作完成的一个交互式可视化 GPS 地球地震周期物理学数据库。不仅如此，本文后附 20+ 更多奇异有趣的数据集，万一哪天用上了呢？ 谷歌希望借开源产品，打造数据数集生态 （文／Jimbo Wilson，Google Big Picture Team 软件工程师；Brendan Meade，哈佛大学地球与行星科学系教授）为了帮助研究人员更好地了解地震周期并探索相关数据，谷歌研究院发布了一种新的交互式数据可视化方法，通过相对于真
Python在数据工程师和数据科学家中被广泛使用，以解决从ETL / ELT管道到构建机器学习模型的各种问题。Apache HBase是用于许多工作流程的有效数据存储系统，但是专门通过Python访问此数据可能会很困难。对于想要利用存储在HBase中的数据的数据专业人士而言，最新的上游项目“ hbase-connectors”可以与PySpark一起使用以进行基本操作。
移动终端设备已经深入人们日常生活的方方面面，如查看所在城市的天气、新闻轶事、出行打车、旅行导航、运动记录。这些习以为常的活动，都离不开定位用户终端设备的位置。
教程地址：http://www.showmeai.tech/tutorials/84
今天跟大家分享的是2020年3月发表在Communications Biology(IF=4.165)杂志上的一篇文章Cancer LncRNA Census reveals evidence for deep functional conservation of long noncoding RNAs in tumorigenesis。文章中作者通过癌症LncRNA普查揭示证据，证明长非编码RNA在肿瘤发生中的深层功能保守性。
TFRecord 是一种二进制格式，用于高效编码tf.Example protos 的长序列 。TFRecord 文件很容易被 TensorFlow 通过这里和 这里tf.data描述的包 加载 。本页介绍了 Earth Engine 如何在 或和 TFRecord 格式之间进行转换。 ee.FeatureCollectionee.Image
对于许多开发人员而言，编写采访编码的过程会引起焦虑。涉及的内容太多，常常感觉很多与开发人员在日常工作中所做的事情无关，这只会增加压力。
非最大抑制是目标检测流程的重要组成部分。首先，它根据所有检测框的得分对它们进行排序。选择得分最大的检测框M，抑制与M有显著重叠(使用预定义阈值)的所有其他检测框。这个过程递归地应用于其余的框。按照算法的设计,如果一个目标重叠在预定义的阈值,就丢弃它。为此,我们提出Soft-NMS,衰变的算法检测的所有其他目标作为一个连续函数的重叠与m。因此，没有目标在这一过程中消除。Soft-NMS获得一致的改善coco-stylemAP指标，在标准数据集PASCAL VOC 2007 (RFCN 和Faster-RCNN上为) MS-COCO (R-FCN上1.3% 和Faster-RCNN上为 .1%) 没有过改变任何额外的hyper-parameters。NMS算法使用Deformable R-FCN，Sost-NMS在单一模型下将目标检测的最新水平从39.8%提高到40.9%。此外，Soft-NMS和传统的NMS计算复杂度很接近，因此能够有效实现。由于Soft-NMS不需要任何额外的训练，而且易于实现，因此可以轻松地集成到任何目标检流程中。
想象一下，每秒有超过8500条微博被发送，900多张照片被上传到Instagram上，超过4200个Skype电话被打，超过78000个谷歌搜索发生，超过200万封电子邮件被发送（根据互联网实时统计）。
检测效果图 题目：拥挤场景中的端到端人物检测 (推荐阅读英文原文) 文章地址：《End-to-end people detection in crowded scenes》 arXiv.1506.04878 Github：https://github.com/Russell91/ReInspect (未经允许禁止转载，授权转载请注明出处，谢谢！) ---- Abstract 目前的人物检测操作要么是以滑动窗口的方式扫描图像，或者通过分类一组离散的决策。我们提出了基于将图像解码成一组人物检测的模型。我
每一个运行在cluster上的spark应用程序，是由一个运行main函数的driver program和运行多种并行操作的executes组成
参考这个网站，做的还是很清爽的：http://www.metagenomics.wiki/pdf/definition/rpkm-calculation
在数据库中处理查询请求时，如果可以尽早的将无关数据过滤掉，那么后续的算子就可以少做无用功，提升整个 SQL 的执行效率。过滤数据最常用的手段是使用索引，TiDB 的优化器也会尽量采用索引过滤的方式处理请求，利用索引有序的特点来提升查询效率。比如当查询条件为 a = 1 时，如果 a 这一列上有索引，我们就可以利用索引很快的把满足 a = 1 的数据拿出来，而不需要逐行检查 a 的值是否为 1。当然是否会选择索引过滤也取决于代价估算。
就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数10个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。
像素化（类似于马赛克）被许多领域用来加密图像中的重要信息， 例如很多公司会将内部文档中的密码像素化以加密数据，但之后并没有工具来恢复被像素化的图像。
其中 margin 称为外边距，在计算元素整体宽高的时候一般不包括它。CSS3 中新增了一个属性 box-sizing，可以用来指定使用的盒模型计算方式。下面是 CSS3 中支持的盒模型计算方式（CSS2种只支持默认的）
Html 标签学习 排版标签 标题 h1、h2、h3、h4、h5、h6只有这六个 段落标签 p标签 段落之间有空隙换行 换行标签 br 空换行 hr 下划线换行 文本格式化标签 根据语境区分 b、strong 加粗 u、ins 下划线 i、em 倾斜 s、del 删除线 媒体标签 图片标签img 属性名、属性值 alt属性值作为替换文本、src属性作为图片链接、title属性在鼠标悬停时显示 width、height 很容易理解，控制图片宽高 路径 相对路径 绝对
文章：Road-SLAM : Road Marking based SLAM with Lane-level Accuracy
计算公式 空口速率=空间流数 * 子载波数 * 单子载波编码比特率 * 调制方式编码率 / 码元时间
你知道的，昨晚在我在看《行尸走肉》时，不是享受僵尸野蛮和被迫吃人，或引人入胜的故事情节，我只想建立一个目标检测系统来对僵尸进行识别。
RDD 英文全称为 " Resilient Distributed Datasets " , 对应中文名称 是 " 弹性分布式数据集 " ;
Structured Streaming将实时数据视为一张正在不断添加数据的表。
本文介绍了一种基于激光雷达数据的激光网络自动驾驶三维目标检测方法——LaserNet。高效的处理结果来自于在传感器的自然距离视图中处理激光雷达数据。在激光雷达视场范围内的操作有许多挑战，不仅包括遮挡和尺度变化，还有基于传感器如何捕获数据来提供全流程信息。
margin的传递一般是父子块元素之间,有margin-top传递,margin-bottom传递.
https://github.com/CavsZhouyou/Front-End-Interview-Notebook/blob/master/Css/Css.md
文章：STD: Stable Triangle Descriptor for 3D place recognition
RDD#reduceByKey 方法 是 PySpark 中 提供的计算方法 ,
假设数据以 tibble 格式保存。数据集如果用于统计与绘图，需要满足一定的格式要求，(Wickham, 2014) 称之为 整洁数据 (tidy data)，基本要求是每行一个观测，每列一个变量，每个单元格恰好有一个数据值。这些变量应该是真正的属性，而不是同一属性在不同年、月等时间的值分别放到单独的列。
通常，你需要获得当前日期和计算一些其他的日期，例如，你的程序可能需要判断一个月的第一天或者最后一天。你们大部分人大概都知道怎样把日期进行分割（年、月、日等），然后仅仅用分割出来的年、月、日等放在几个函数中计算出自己所需要的日期！在这篇文 章里，我将告诉你如何使用DATEADD和DATEDIFF函数来计算出在你的程序中可能你要用到的一些不同日期。
边缘检测算子中的数字用于进行边缘检测 计算机视觉不一定要去使用那些研究者们所选择的这九个数字，而是将这 9 个数字当成学习参数
这次我们学习构建神经网络的另一个问题，定位分类问题。这意味着我们不仅需要判断图片中是不是一辆车，还要在图片中将他标记出来。“定位”的意思是判断汽车在图片中的具体位置。 分类定位问题通常只有一个较大对象位于图片中间位置，我们要对它进行识别和定位。而在对象检测问题中，图片中可以含有多个对象。甚至单张图片中会有多个不同分类的对象。因此，图片分类的思路可以帮助学习分类定位，而对象定位的思路有助于学习对象检测。 图片分类问题：例如，输入一张图片到多层卷积神经网络，它会输出一个特征向量，并反馈给softmax单元来预测图片类型。
在目标检测中，IoU 为预测框 (Prediction) 和真实框 (Ground truth) 的交并比。如下图所示，在关于小猫的目标检测中，紫线边框为预测框 (Prediction)，红线边框为真实框 (Ground truth)。
分析师面临的普遍问题是，无论从哪里获得数据，大部分情况都是一种不能立即使用的状态。因此，不仅需要时间把数据加载到文件中，还得花更多的时间来清洗它，改变它的结构，以便后续做分析的时候能更好的使用这个数据。
本文中我们将探讨数据框的概念，以及它们如何与PySpark一起帮助数据分析员来解读大数据集。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
