不知道大家有没有经常制作通知书、邀请函、合同等一类文书，重复性操作强，这些文书如果一个一个的制作，那人岂不成了重复操作的机器人了。在Word文档中制作这类文书时，为了减少重复性操作、以及提高效率，可以使用邮件合并功能，而Python也可以制作这类文书，我们来看下二者的具体操作。
一列 (或一组列)，其值能够唯一区分表中的每个行。唯一标识表中每行的这个列(或这组列)称为主键。主键用来表示一个特定的行。没有主键，更新或删除表中特定行很困难，因为没有安全方法保证只涉及相关的行而不误伤其他行！
Grafana 7 在配置表的时候出现按时间取值显示，表格中无需展示时间轴采集的数据情况，只需显示采集数据的最小值，最大值，当前值。
注释：用-r参数删除目录, git rm --cached a.txt 删除的是本地仓库中的文件，且本地工作区的文件会保留且不再与远程仓库发生跟踪关系，如果本地仓库中的文件也要删除则用git rm a.txt
Hello World 项目是计算机程序编程中流传已久的传统。 这是一个简单的练习，让你开始学习新的东西。 让我们开始使用GitHub！
Excel催化剂已正式在千聊上发布视频，如查阅文章有理解障碍，不妨查看下视频，视频不定期更新，内容丰富，干货满满，有术亦有道！
merge()方法是Pandas中的合并操作，在数据处理过程中很常用，本文介绍merge()方法的具体用法。
之前我们了解到了如何把2列数据进行合并的基本操作，Power Query中如何把多列数据合并？也就是把多个字段进行组合并转成表。那如果这类的数据很多，如何批量转换呢？我们需要把转换的这一部分做成循环的函数即可。
主键(primary key)，一列 (或一组列)，其值能够唯一区分表中的每个行。唯一标识表中每行的这个列(或这组列)称为主键。主键用来表示一个特定的行。没有主键，更新或删除表中特定行很困难，因为没有安全方法保证只涉及相关的行而不误伤其他行！
我们之所以常常把 DB 等价位 DBMS，是因为我们使用 DBMS 来访问 DB，DB 对我们来说是透明的。
连接到远程仓库是在GIT中进行协作和备份的关键步骤。以下是连接到远程仓库的基本步骤：
我已经谈到了构建属于你自己的数据仓库需要采取的前两个步骤（请参阅：如何在4周内构建数据仓库，第1部分）。选择架构和DBMS是需要完成的第一件事情。到目前为止，我们已经有了需要复制的数据的概念以及我们想要存储数据的数据库。缺失的部分就是复制的过程。我们如何存储复制的数据？我们如何转换数据？这些是我在这篇文章中所要回答的问题。
对于一列或多列中出现倾斜值的表，可以创建倾斜表（Skewed Tables）来提升性能。比如，表中的key字段所包含的数据中，有50%为字符串”1“，那么这种就属于明显的倾斜现象；于是在对key字段进行处理时，倾斜数据会消耗较多的时间。
Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？
原文在简书上发表，再同步到Excel催化剂微信公众号或其他平台上，文章后续有修改和更新将在简书上操作， 其他平台不作同步修改更新，因此建议阅读其他出处的文章时，尽可能跳转回简书平台上查看。
本 PostgreSQL 教程可帮助您快速了解 PostgreSQL。您将通过许多实际示例快速掌握 PostgreSQL，并将这些知识应用于使用 PostgreSQL 开发应用程序。
数据源是由固定数据和内容数据组合而成。前面4行是固定数据列，后面的则为每2行为一组数据。
好吧我有点标题党，其实本期要说的是 bloom 过滤器的问题，但题目为什么是这样，一般来说我们如果要给一个大表来加索引，并且这个查询还要加挺多列的时候，是蛮头疼的问题，PostgreSQL 中有一种索引叫 BLOOM INDEX ，而这个索引有什么好处，我们来看看。
继上一次后，抽空整理了个比较全的Git常用命令，找到了一张非常棒的导图，非常高清的（1759*3162）。
git rm <file> --cached # 从版本库中删除文件，但不删除文件
•此时，B2单元格为被引用单元格，E2单元格为引用单元格，被引用单元格修改，引用单元格同样变化。
机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。
buffer pool 是主内存中的一块儿存储区域，用于存储访问的表及索引数据。这样从内存中直接访问获取使用的数据可以极大的提升访问效率。在一些特殊专用的服务里，几乎 80% 的内存区域都被赋于 buffer pool。
我在保险行业工作，每天处理大量数据。有一次，我受命将多个Excel文件合并到一个“主电子表格”中。每个Excel文件都有不同的保险单数据字段，如保单编号、年龄、性别、投保金额等。这些文件有一个共同的列，即保单ID。在过去，我只会使用Excel和VLOOKUP公式，或者Power Query的合并数据函数。这些工具工作得很好，然而，当我们需要处理大型数据集时，它们就成了一种负担。
Git配置 git config --global user.name "xx" git config --global user.email "xx@gmail.com" git config --global color.ui true git config --global alias.co checkout git config --global alias.ci commit git config --global alias.st status git config --global alias.br branch git config --global core.editor "mate -w" # 设置Editor使用textmate git config -l # 列举所有配置
项目开发中，在进行数据库表结构设计时，会根据业务需求及业务模块之间的关系，分析并设计表结构，由于业务之间相互关联，所以各个表结构之间也存在着各种联系，基本上分为三种：
Git配置 git config --global user.name "robbin" git config --global user.email "fankai@gmail.com" git config --global color.ui true git config --global alias.co checkout git config --global alias.ci commit git config --global alias.st status git config --
简单的方法是两者都做，例如以柱状和行状两种格式存储数据。通过这种方式，用户可以访问其中之一，或者其他更有意义的。当然，这个选择是有代价的。在这种情况下，数据需要存储两次——将优点和缺点结合起来。
最近用Git比较多，所以大概整理下 Git是目前世界上最先进的分布式版本控制系统。
Git是一种版本控制系统，可帮助团队合作开发、管理代码变更。以下是一些常用的Git命令，它们可以在命令行或图形用户界面中使用。
有时候，我们需要合并多个单元格，然而，当选择要合并的单元格，并使用“合并单元格”命令后，Excel会给出如下图1所示的提示，只保留左上角单元格中的数据。
想来GitHub对于理工科，尤其计算机专业的大佬们应该很熟悉了，但作为机械专业小铁渣渣，自从创建了我的GitHub账号，就从来没在上面刨过什么好东西，更没有啥拿的出手的项目往上面晒了。今天给大家翻译了一下GitHub官网的使用简介，当初看英文看的一点耐心都没有，希望中文好些吧。
Pandas是数据处理和数据分析中最流行的Python库。本文将为大家介绍一些有用的Pandas信息，介绍如何使用Pandas的不同函数进行数据探索和操作。 包括如何导入数据集以及浏览，选择，清理，索引，合并和导出数据等常用操作的函数使用，这是一个很好的快速入门指南，如果你已经学习过pandas，那么这将是一个不错的复习。
此时我们提交的只是在test分支,在master主分支上,其实并没有,所以我们还需要将test分支合并到master主分支上.
高性能事务系统应用程序通常在提供活动跟踪的历史记录表；同时，事务系统生成$日志记录，用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序，该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是，基于磁盘的标准索引结构（如B树）将有效地使事务的输入/输出成本翻倍，以实时维护此类索引，从而使系统总成本增加50%。显然，需要一种以低成本维护实时索引的方法。日志结构合并树（LSM树）是一种基于磁盘的数据结构，旨在为长时间内经历高记录插入（和删除）率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法，以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中，所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索（除了非常短的锁定期）。与传统访问方法（如B-树）相比，该算法大大减少了磁盘臂的移动，并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而，在某些情况下，需要立即响应的索引查找将失去输入/输出效率，因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如，这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。
第二步：配置环境变量（只需要一次） 安装到 D:\software\git\目录，把 bin 目录路径完整加入 Path 变量。 D:\software\git\bin
这样我们得到3个独立的表。因为返回的结果是list格式，所以我们还需要转成Table格式。
客户在使用数据湖时通常会问一个问题：当源记录被更新时，如何更新数据湖？这是一个很难解决的问题，因为一旦你写了CSV或Parquet文件，唯一的选择就是重写它们，没有一种简单的机制可以打开这些文件，找到一条记录并用源代码中的最新值更新该记录，当数据湖中有多层数据集时，问题变得更加严重，数据集的输出将作为下次数据集计算的输入。
Git是目前世界上最先进的分布式版本控制系统，适合多人协作开发的大型项目。我平常也经常使用git，来管理自己的几个小项目。简单说说git的原理和git的特点！（只有知道了一个工具的运行原理，设计思路，才能更好的使用这个工具）
前几天，我发了文章《PowerBI数据模型优化，从导入数据开始》，没想到引起不少朋友的兴趣和认可。
工作一年了，也是第一次使用Mysql的索引。添加了索引之后的速度的提升，让我惊叹不已。隔壁的老员工看到我的大惊小怪，平淡地回了一句“那肯定啊”。
Kudu是为Apache Hadoop平台开发的列式数据库。Kudu拥有Hadoop生态系统应用程序的常见技术属性：它可以商用硬件上运行，可横向扩展，并支持高可用性操作。
git pull 拉远程分支并合并到本地 git fetch 拉远程分支不做合并 忽略文件 .gitignore 添加文件 git add . 提交所有修改 git commit -am ‘备注信息’ 推送本地分支到仓库 git push origin master:master 删除远端分支 git push origin :test 从拉远端代码到本地仓库 git pull origin master:master 根据分支创建新分支 git checkout -b dev2 master 切换分支 g
给定一个或多个现有提交，还原相关修补程序引入的更改，并记录一些记录它们的新提交。这需要您的工作树是干净的（没有 HEAD 提交的修改）。
本文中记录Pandas操作技巧，包含： 导入数据 导出数据 查看、检查数据 数据选取 数据清洗 数据处理：Filter、Sort和GroupBy 数据合并 常识 # 导入pandas import pandas as pd # axis参数：0代表行，1代表列 导入数据 pd.read_csv(filename) # 从CSV文件导入数据 pd.read_table(filename) # 从限定分隔符的文本文件导入数据 pd.read_excel(filename) # 从Excel文件导入数据
OpenTSDB(Open time series data base)，开发时间序列数据库。DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了，为什么还会出现它？它到底有什么好？它做了什么？别着急，我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。什么是时序数据，股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据，就是每个时间点上纪录一条数据。 关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。（我对其他分布式存储不了解，就不对比了）。 了解Hbase的人都知道，它可以通过加机器的水平扩展迅速增加读写能力，非常适合存储海量的数据，但是它并不是关系数据库，无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节，总之，你可以通过Get获取到hbase里的一行数据，通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用， 但也限制了它的使用场景。针对时序数据，只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化，可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API，比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
使用Git Bash上传文件及更新代码到GitHub教程,其实对于一个github来说已经给出了比较好的说明了。
前两天给大家带来了Linux常用的命令，有小伙伴想要vim相关命令备忘单，那么今天瑞哥安排。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
