首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据ETL开发之图解Kettle工具(入门到精通)

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。...排序记录+去除重复记录对比的是每两行之间的数据,而唯一行(哈希值)是给每一行的数据建立哈希值,通过哈希值来比较数据是否重复,因此唯一行(哈希值)去重效率比较高,也更建议大家使用。...原始数据: 1.选择扁平化的字段 2.填写目标字段,字段个数跟每个分组的数据一致 3.3.12 列转行 列转行,顾名思义多列转一行,就是如果数据一列有相同的值,按照指定的字段,将其中一列的字段内容变成不同的列...我们也可以简单理解为行转列控件是列转行控件的逆向操作。具体如下图: 任务:将行转列.xlsx用excel控件输入,然后行转列,熟悉行转列控件的使用。...任务:将excel:13_Switch-Case.xlsx的数据按照部门字段进行分类,将同一个部门的数据输出到一个excel中 原始数据: 1.选择需要判断的字段 2.选择判断字段的值的类型 3.

19.2K1026

30岁,放弃国企稳定的工作,转行数据分析

30岁,放弃国企稳定的工作,选择转行数据分析! 很多人问我会不会后悔? 说实话,决定要转行那会我也犹豫过、迷茫过,但是现在我很庆幸自己当初的抉择。...在决定转行之前,很多亲朋好友听说之后,大部分都是劝我“年龄不小了,就不要折腾了”。 但是我想说的是,当你下定决心想要改变自己,你就不会被眼前的困难击倒,更不会因为年龄太大而学不会。...通过从网上找资料和各个方面的比较,我报了CDA数据分析就业班的课程,选择的原因也很简单,成立时间长,口碑不错,而且推荐就业。...如果你也存在跟我一样的职场困境,想要通过转行来实现职业逆转,那么下面我简单总结的这些学习经验,希望能给你带来帮助。...第二阶段:会使用SQL从数据库提取数据 大公司对SQL的要求绝对是软件上排第一位的,我现在基本每天要写五六百行SQL,忙的时候一天一两千行也是有的,所以必须对SQL非常熟练,才能很快的响应业务需求。

53020
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    建议收藏丨sql行转列的一千种写法!!

    那9个字,犹如一声惊雷,在这个热情的群里炸开了锅... :大佬们纷纷按奈不住(尤其是我),看不得别人有问题,我心急如焚,一是担心这位小哥哥面试受挫,二是这么好的学de习se的机会,我一定要把握住。。...问题: ps.哈哈哈哈,这不就是10次面试9次问的行转列嘛~ 讨论过程中: 大佬们纷纷谏言献策,集思广益。...要实现行列转换,需要用到 Power Query,而Power Query 只有Excel 2016以上的版本才有!...Excel 实现列转换,可以通过【添加辅助列】来实现该效果。而在 Power Query 有多种可以添加辅助列的方法。...此处介绍两种方法法一,通过自定义列,添加辅助列法二,通过重复列,实现添加辅助列 第三步,进行透视列。【透视列】>【值列,自定义,选中需要透视的列】-【聚合值函数,选择不要聚合】-【确定】。

    1.3K30

    Excel 常用的九十九个技巧 Office 自学教程快速掌握办公技巧

    6、怎样快速删除“0”值单元格行按组合键【Ctrl+F】导出查找对话框,选择【查找】选项卡,在输入栏中输入:0,点击【全部查找】再按组合键【Ctrl+A】就会显示表格中内容为 0 的所有单元格,选中单元格后右击...16、查找重复值选取查找数据的区域,依次点击【开始】-【条件格式】-【突出显示单元格规则】-【重复值】设置选择重复值格式为【浅红填充色深红色文本】。...17、如何复制粘贴行宽复制表格区域内内容,点击空白处单元格粘贴,在粘贴后区域右下侧的粘贴选项中选择【保留源列宽】。...42、表格行转列,列转行复制单元格内表格区域,点击鼠标右键【选择性粘贴】在对话框中勾选【转置】即可快速实现行转列、列转行。...53、让多人通过局域网共用 Excel 文件审阅 - 共享工作簿 - 在打开的窗口上选中“允许多用户同时编辑”。54、设置文件自动保存时间文件 - 选项 - 保存 - 设置保存间隔。

    7.2K21

    对比Excel,更强大的Python pandas筛选

    fr=aladdin')[1] 按单个条件筛选数据框架 从世界500强列表中选择中公司,我们可以使用.loc[]来实现。注意,这里使用的是方括号而不是括号()。...此数据框架包括原始数据集中的所有列,我们可以将其作为一个独立的表(数据框架)使用,而不需要额外的步骤(例如,如果我们在Excel中进行筛选后,需要将其复制到另一个工作表或删除其他行以使其成为“一个表”)...看看下面的Excel屏幕截图,添加了一个新列,名为“是否中国”,还使用了一个简单的IF公式来评估一行是否“总部所在国家”为中国,该公式返回1或0。实际上,我正在检查每一行的值。...完成公式检查后,我可以筛选”是否中国”列,然后选择值为1的所有行。 图3 Python使用了一种类似的方法,让我们来看看布尔索引到底是什么。 图4 注意上面代码片段的底部——长度:500。...当你将这个布尔索引传递到df.loc[]中时,它将只返回有真值的行(即,从Excel筛选中选择1),值为False的行将被删除。

    3.9K20

    excel常用操作大全

    3.在EXCEL中输入“1-1”和“1-2”等格式后,将成为日期格式,如1月1日和1月2日。我该怎么办? 这是由EXCEL自动识别日期格式造成的。...在EXCEL菜单中,单击文件-页面设置-工作表-打印标题;您可以通过按下折叠对话框的按钮并用鼠标划定范围,将标题设置在顶端或左端。这样,Excel会自动将您指定的部分添加为每页的页眉。...“ctrl *”的特殊功能 一般来说,当处理工作表中有大量数据的表格时,可以通过选择表格,中的单元格格,然后按Ctrl+Shift *来选择整个表格。...选择具有所需源格式的单元格,单击工具栏上的“格式画笔”按钮,鼠标变成画笔形状,然后单击要格式化的单元格以复制格式。 19.如何在表单中添加斜线?...如果您需要在表格中输入一些特殊的数据系列,如物料序列号和日期系列,请不要逐个输入。为什么不让Excel自动填写它们呢?

    19.3K10

    如何使用 JavaScript 导入和导出 Excel

    前言 在现代的Web应用开发中,与Excel文件的导入和导出成为了一项常见而重要的任务。无论是数据交换、报告生成还是数据分析,与Excel文件的交互都扮演着至关重要的角色。...本文小编将为大家介绍如何在熟悉的电子表格 UI 中轻松导入 Excel 文件,并以编程方式修改表格或允许用户进行编辑,最后使用葡萄城公司的纯前端表格控件SpreadJS组件它们导出回 Excel 文件。...要复制样式,我们需要使用 copyTo() 函数并传入: 起始和目标行索引和列索引 复制的行数和列数 复制模式 CopyToOptions 值 document.getElementById("addRevenue...这允许我们通过传入行索引、列索引和值来设置 Spread 中工作表中的值: var cellText = "Revenue" + revenueCount++; sheet.setValue(newRowIndex...newRowIndex, 16, 0.15); 最后,我们可以再次使用 copyTo() 函数将 R 列到 AD 列的公式从前一行复制到新行,这次使用 CopyToOptions.formula(只复制公式

    53120

    Range单元格对象方法(四)PasteSpecial方法

    大家好,本节介绍单元格对象的选择性黏贴PasteSpecial方法。 选择性黏贴也是excel中经常使用到的功能,在复制数据后根据需求进行选择性黏贴。...具体的选择性黏贴选项如下: PasteSpecial 方 法 首先需要说明在使用PasteSpecial方法之前,首先要先使用copy方法,即先有复制的数据,再进行选择性黏贴, 下面就介绍如何通过VBA...,即复制黏贴时是否跳过空单元格,false为不跳过(默认的),true为跳过。...Sheets(1).UsedRange.Copy Range("c1").PasteSpecial xlPasteValues 对于代码,需要注意的是,首先将单元格复制,再选择性黏贴,第一参数选择只有值黏贴...2、黏贴值和数字格式并转置 复制已有单元格,将值和列宽复制黏贴,并转置。

    7.3K21

    Excel 实例:单因素方差分析ANOVA统计分析

    p=16745 Excel提供了许多数据分析工具,可通过数据>分析|数据分析进行访问  。 如果看不到此选项,则可能需要先安装Excel的分析工具包。...这是通过选择  Office按钮> Excel选项>  Excel 中的加载项或  从Excel 开始的Excel版本中的文件>帮助|选项>加载项 ,然后单击   窗口底部的“ 转到”按钮来完成的。...如果按行而不是按列列出处理的数据,则可以选择“  行”  单选按钮,还可以选择“ 第一列中的  标签”  复选框。...的  阿尔法  值(在所描述的  零和替代测试)被设定为0.05,通过默认,虽然可以可选地更改为0.01或某个其它值。...在这种情况下,将创建一个新的工作表(在当前工作表之前的选项卡中),并将ANOVA报告放置在此工作表中,起始于单元格A1。然后,您可以将结果复制到当前工作表(或您喜欢的其他任何地方)。

    6.4K00

    如何用 Python 执行常见的 Excel 和 SQL 任务

    有关数据结构,如列表和词典,如何在 Python 中的运行的更多信息,本教程将有所帮助。...如果要查看特定数量的行,还可以在 head() 方法中插入行数。 ? ? 我们得到的输出是人均 GDP 数据集的前五行(head 方法的默认值),我们可以看到它们整齐地排列成三列以及索引列。...请注意,Python 索引从0开始,而不是1,这样,如果要调用 dataframe 中的第一个值,则使用0而不是1!你可以通过在圆括号内添加你选择的数字来更改显示的行数。试试看!...现在,可以对我们以前不能做的人均 GDP 列进行各种计算,包括通过不同的值过滤列,并确定列的百分位数值。 选择/过滤数据 任何数据分析师的基本需求是将大型数据集分割成有价值的结果。...你会发现,由 Pandas 中的merge 方法提供的连接功能与 SQL 通过 join 命令提供的连接功能非常相似,而 Pandas 还为过去在 Excel 中使用数据透视表的人提供了 pivot table

    10.8K60

    用Python执行SQL、Excel常见任务?10个方法全搞定!

    有关数据结构,如列表和词典,如何在 Python 中的运行的更多信息,本篇将有所帮助。...如果要查看特定数量的行,还可以在 head() 方法中插入行数。 ? ? 我们得到的输出是人均 GDP 数据集的前五行(head 方法的默认值),我们可以看到它们整齐地排列成三列以及索引列。...请注意,Python 索引从0开始,而不是1,这样,如果要调用 dataframe 中的第一个值,则使用0而不是1!你可以通过在圆括号内添加你选择的数字来更改显示的行数。试试看!...现在,可以对我们以前不能做的人均 GDP 列进行各种计算,包括通过不同的值过滤列,并确定列的百分位数值。 07 选择/过滤数据 任何数据分析师的基本需求是将大型数据集分割成有价值的结果。...你会发现,由 Pandas 中的merge 方法提供的连接功能与 SQL 通过 join 命令提供的连接功能非常相似,而 Pandas 还为过去在 Excel 中使用数据透视表的人提供了 pivot table

    8.3K20

    如何在Weka中加载CSV机器学习数据

    如何在Weka中描述数据 机器学习算法主要被设计为与数组阵列一起工作。 这被称为表格化或结构化数据,因为数据在由行和列组成的电子表格中看起来就是这样。...ARFF文件中以百分比符号(%)开头的行表示注释。 原始数据部分中具有问号(?)的值表示未知或缺失的值。...这是一种简单的格式,其中数据在行和列的表格中进行布局,而逗号用于分隔行中的值。引号也可以用来包围值,特别是如果数据包含带空格的文本字符串。...[q9u7dtaw4m.png] Weka GUI选择器的屏幕截图 2.通过点击菜单中的“Tools”,选择“ArffViewer,来打开ARFF-Viewer”。...使用Excel中的其他文件格式 如果您有其他格式的数据,请先将其加载到Microsoft Excel中。 以另一种格式(如CSV)这样使用不同的分隔符或固定宽度字段来获取数据是很常见的。

    8.6K100

    Excel实战技巧:从Excel预测的正态分布中返回随机数

    要创建模拟,可以将公式行向下复制到数千行。然后,为了分析模拟,需要分析模拟表每一行中由这些随机数生成的许多不同结果。 例如,假设你的公司每月投放数量不等的在线广告,从而为你的网站生成数量不等的访问者。...但与大多数在Excel中创建的模型不同,蒙特卡罗分析使用随机数来生成关键假设。 例如,如果你一个月的最佳销售量是120,而最坏的销售量是80,你将使用随机数在这些限制之间进行选择。...为了说明这一点,我复制了RAND函数并将其粘贴到一列中的10000个单元格中,然后将这些值分成10组大小相等区间,创建了一个直方图,显示一个值在每个区间中出现的次数。...图4 在单元格中输入公式: A1:=NORM.INV(RAND(),95,12.5) 将该公式向下复制直到单元格A10000。 在列C中显示列A中的最大值和最小值。...下一篇文章,在如何使用Excel数据表创建蒙特卡罗模型和预测中,会向你展示如何在此基础上使用蒙特卡罗方法创建概率模拟。 注:本文学习整理自exceluser.com,供有兴趣的朋友参考。

    2.1K10

    在线Excel的计算函数引入方法有哪些?提升工作效率的技巧分享!

    如何在Excel中引入基本函数: 1.基本原生函数的引入。 2.自定义函数的引入。...如何在Excel中引入数组公式和动态数组: 数组公式的引入 动态数组的引入 2.Filter函数的引入(FILTER函数可以根据定义的条件过滤一系列数据) FILTER函数基于布尔数组来过滤数组。...如果该值为数组, 则选择左上角的值。 LAMBDA函数集 1.LAMBDA函数 LAMBDA函数使您能够使用 Excel 自己的公式语言定义自定义函数。...ISOMITTED函数 检查LAMBDA中的值是否丢失,并返回TRUE或FALSE。 语法: ISOMITTED(argument) argument 你想测试的值,如LAMBDA参数。...除了上述的计算公式函数之外,还可以在实战代码库中找到更多的在线表格的demo,包括Excel导入导出、数据绑定、打印、复制粘贴、数据校验等功能模块,欢迎大家的访问。

    55010

    再见,Excel数据透视表;你好,pd.pivot_table

    Excel数据透视表虽好,但在pandas面前它也有其不香的一面! ? 01 何为透视表 数据透视表,顾名思义,就是通过对数据执行一定的"透视",完成对复杂数据的分析统计功能,常常伴随降维的效果。...例如在Excel工具栏数据透视表选项卡中通过悬浮鼠标可以看到这样的描述: ?...)下生存人数(Survived),那么仅需如下3步操作即可: 选择Excel菜单栏中插入数据透视表选项卡 ?...注意这里的缺失值是指透视后结果中可能存在的缺失值,而非透视前的原表中缺失值 margins : 指定是否加入汇总列,布尔值,默认为False,体现为Excel透视表中的行小计和列小计 margins_name...这里,理解pivot的含义主要在于变形,更确切的说是将一个长表整形为宽表,例如SQL中的经典场景列转行,表述的就是这个问题。

    2.2K51

    不如用最经典的工具画最酷炫的图

    之后添加数据标签,并在数据标签处右键-设置数据标签格式,选择单元格中的值并去掉原始值,再设置居中。 ? 至此,球棍图就已经实现了,进一步调整样式即可。 ?...兵贵神速,当面对这样的数据样本,若不想浪费时间为该选择什么图形而发愁,就试试 EXCEL 热力图吧。 ? 若是对默认色阶不满意,还可以在选中数值区域后,点击管理规则-编辑规则。 ?...让我们看看这个例子,变形和排版能让你的 EXCEL 图表变得与众不同。首先选择一行数据插入柱状图。 ? 去除多余部件,仅保留纵坐标轴标签,并添加数据标签。 ?...点击第二个图形,发现上方第一行数据被选中,直接拖到选择区改为第二行,即完成数据更新,第三个图形同理。 ? 三个图形的尺度不一,此时通过先前保留的纵坐标轴调整边界值,统一尺度。 ?...PPT 是可以根据数据表格来生成图形的,就像是内嵌了一个微型 EXCEL,这使得我们能够精准地绘制百分比堆积条形图,而不是拖几个矩形出来手动调整大小。完成一个之后,复制,再修改数据,最后再稍加装饰。

    2.7K20

    MySQL 窗口函数详解:分析性查询的强大工具

    MySQL 窗口函数提供了一种灵活的方式来处理 SQL 查询中的数据,它们允许你在不需要对数据进行分组的情况下对行集进行分析。窗口函数最常用于分析性操作,比如计算排名、累计和、移动平均值等。...) AS rank FROM employees; DENSE_RANK() 类似于 RANK(),但排名不跳跃。...DESC) AS dense_rank FROM employees; NTILE(n) 将分区中的行均匀分布到 n 个桶中,并为每一行分配桶号。...FROM employees; 窗口框架窗口框架用来定义在计算聚合值时哪些行应该被包含在窗口内。...求某段时间内的累计销售额。计算移动平均值或累计和。分析和报告需要复杂数据操作的情况。通过使用窗口函数,开发者可以在查询中轻松实现复杂的分析和报告功能,而不需要进行额外的数据处理。

    12310

    office相关操作

    F4:重复上一步操作按住CTRL拖拽是复制 直接拖拽是复制 按住shift拖拽是复制整体移动数据 删除重复值表格转置:复制 选择性粘贴 勾选转置ctrl+~:显示公式而不是数值储存格内换行:alt+enter19...=C3"有"and()or()sumproduct():乘积求和--:将文本转换为数字i28柏拉图,可快速完成29xlookup():在office365中才有通过excel将日数据转换为月数据思路是使用数据透视表...不需要多此一举excel删除一列中的空单元格选中改行后,点击查找与选择 →定位条件,选择空值,空的单元格即被选中,然后点击删除,如下图建立一个辅助列,并输入公式=if(mod(row(),2),B2,"...")=if(mod(row(),2),B2,"")从B2开始,隔一行取值后面再删除空单元格将行列用数字显示,而不是字母如下图操作点击选项,选择公式,勾选R1C1引用样式最终结果excel同时冻结首行首列选中...word中英语单词自动换行问题我们在Word排版的时候,往往英文单词如果比较长,而一行又打不下的情况下会自动换到下一行显示,这一点对于标准的英文文章来说是没有问题的,可是有的时候想在Word中粘贴一段代码就麻烦了

    11310

    Python 与 Excel 不得不说的事

    数据处理是 Python 的一大应用场景,而 Excel 则是最流行的数据处理软件。因此用 Python 进行数据相关的工作时,难免要和 Excel 打交道。...,如复制、分割、筛选等 尽管这是目前被用得最多的 Excel 库,我还是很想吐槽为什么这三个包不能放在一个模块里……另外它们有个缺陷,就是只能处理 xls 文件。...通常的做法是,读取出文件,复制一份数据,对其进行修改,再保存。 在复制时,需要用到 xlutils 中的方法。...不要问我为什么,我也很想知道这么设定的用意何在…… 时间转换 如果表单中有时间格式的数据,通过处理之后,你会发现时间数据出了差错。 ? ?...写入时间数据,则可通过此方法创建 excel 的时间对象: xlrd.xldate.xldate_from_datetime_tuple 或者通过 xlwt.easyxf 指定时间格式: style =

    1.7K60

    入行数据分析,十个月工资翻一番

    在转行的过程中,你是一个年纪比较大的新人,必然会面临各种各样的被拒绝、困难和挫折。...抓住重点,选择未来 我最终选择那个offer的原因,并不是因为公司大或者待遇好,而因为我觉得面试我的那个领导很牛,能跟着他学到很多东西。 而快速学习正是我当时最需要的。...这样,你学到的技能就不一样了,你就会牢牢记住它。 对Excel来说也没有什么别的好办法,只能通过不断的计算来积累使用经验。 如果遇到问题就百度一下,Excel基本上所有的问题都可以百度出来。...只有你自己能为你的选择负责任。 比如:百分之九十转行做数据分析的人,都要从Excel开始做。你如果不能接受从做一个Excel制表的职员开始,那转行的成功性就很小了。...转行是人生大事,你整个的工作轨迹,甚至之后的生活,都可能从此改变了。这个选择是你做的,不是别人替你做的。 你做了选择,就要为自己行为的结果负责,不抱怨,不推卸! 自己选的,有什么好说的呢?

    1.1K90
    领券