简略谈谈PowerQuery是个什么好东西 PowerQuery是微软官方推出的数据处理ETL工具，在Excel2010和Excel2013版本上以插件的形式提供，在Excel2016上已经深度集成到Excel...的原生功能中，具体位置在【数据】选项卡内。...、文件夹名、表名等操作，可轻松在PowerQuery的可视化界面中完成修改。...同时PowerQuery的数据结果是以数据连接的方式存储具体的数据处理步骤，即只需点击【刷新】按钮，即可重新按原来的数据处理逻辑，重新从原始数据中读取数据到目标表中，此过程中无需其他的额外操作即可完成。...在Excel催化剂的【Excel文件格式转换】功能中，很好地破解以上两个难题 具体操作如下 步骤一 选择要处理的Excel文件全路径 对同一个文件夹下的所有文件的路径提取，使用第4波介绍的自定义函数，轻松可获取得到
引子 最近在修改很久之前做的一个模型，发现仅仅只有3个excel文件，却刷新了1分21秒： 很明显不正常，参照其他报告，二十多张十几万行数据的表刷新也就才需要1分钟。 于是决定探究一番。...挨个表刷新了一下，发现罪魁祸首竟然是SharePoint.Files，这个从Onedrive for Business中获取文件的链接器。...于是我决定使用诊断来检查一下，在pq的工具里： 果不其然，这张表在本地刷新也是90多秒： 一开始我还以为是这张表有问题，但是我换了张表，还是用SharePoint.Files的方式获取文件，时间也差不多...我们来分析一下这个过程： Web.Contents中的url是文件的直接路径，点对点获取，不涉及到任何其他的信息 Excel.Workbook(Web.Contents("https://xxxxxxxxx-my.sharepoint.com.../personal/xxxxxxxxx_onmicrosoft_com/",[ApiVersion="AUTO"]) 然后进行下一步的文件夹导航一直找到文件，在这个过程中，由于需要获取每一层的文件夹和文件信息
技术原理 本篇将使用在SSIS中，使用循环容器遍历文件夹内所有Excel文件，将其文件路径获取到，再使用dotNET脚本打开用于数据转换的Excel模板文件（里面事先存储好PowerQuery的抽取清洗逻辑代码...当次处理一个Excel文件而不是整个文件夹的文件，可以保障性能同时也防止Excel工作表行数不足存储所有数据记录行的报错数据丢失情况。...dotNET与VBA在Excel对象模型上的差别 在dotNET脚本中，引用Excel对象模型，理论上可以替代VBA的脚本，但本轮测试发现，在dotNET上的Excel对象模型，貌似未能有最全的开放给VBA...再使用QueryTable的刷新代码，将替换后的M代码对应的智能表刷新重新加载一下新数据。 每次循环都新开Application对象及最后将其对应的Excel进程给杀掉，释放COM非托管对象。...在源文件中，特意做的不同文件不同标识，证明文件已按预期上传成功。 性能及费用问题 不可否认，使用PowerQuery来清洗数据很慢，同样加上使用COM接口的方式来读取Excel文件也很慢。
我们用Power BI对Excel文档做分析应该是轻车熟路了。 比如，我们从本地获取xls格式的文档，建模、可视化、刷新一切ok，发布到云端，使用gateway配置和刷新也都没问题： ?...不过，如果将这个xls文件放在onedrive中，再使用下面的方法获取： PowerBI从Onedrive文件夹中获取多个文件，依然不使用网关 在本地是没有任何问题的，云端配置避免了巨坑：针对“PowerBI...而实际上，这个工具只要我们在pc上安装了office，系统中就自带了，根本不需要再单独安装，而且Power BI Desktop中获取数据和刷新是没有问题的，这就说明问题出在云端，而不是本地配置。....XLS格式也称为Excel 97-2003格式，而自Excel2007版之后默认的格式是.XLSX，而Power BI是微软在2015年7月发布的第一个商业版本。...第一列是原始数字，2-4列为带格式的数字，红色都是负数，负数的格式用的是数值中的自定义格式： ? 这时我用powerquery将这张表导入模型： ?
解决方案在PowerQuery中，一个Excel文件含有多个Sheet，这个Excel会被看作是一个文件夹。...借助这一特点，可以轻松实现一次性加载Excel中多个表头相同的Sheet，同时合并这些Sheet的数据。...操作步骤STEP 1 点击菜单栏主页下的获取数据，选择Excel工作簿，在对话框中的文件名称上点击鼠标右键，选择转换数据。...STEP 2 进入PowerQuery后，在文件种类Kind上筛选“Sheet”。...最后，点击关闭并应用，显示刷新成功。
在某个文件夹中打开终端 如图,想要在终端中到该文件夹,自然而然的办法是cd /usr/share/doc/postfix/html, 但其实还有更简洁的办法,即如上安装Go2Shell或cd to插件...(注:最新的系统Go2Shell有问题,但cd to仍可正常使用) ---- 在终端中打开某个文件夹 打开当前所在的文件夹: open . ---- 打开指定的文件夹: open ~ open /home
所以数据分析师面临很大的刚需是将零散的文件型数据重新整合起来，放到数据库中进行集中式存放（Excel的容量有限，就算现在PowerBI技术的加入，也不能有一个完美的数据集中式管理并按需提取所需数据的效果...Excel进行数据合并后再上传 前面提到的，一般导出的文件都是零散化的，没法一口气导出太多的历史数据，在零散的相同结构的文件数据，将其重新合并为一张连贯性的数据表，这一步骤在PowerQuery之前，有大量的...在PowerQuery官方轻量级ETL工具出现后，基本上其他第3方插件的合并功能都会被取代完（没有条件用PowerQuery的可以使用，但数据分析师的角色，没有理由不给自己武装手头的工具，最基本的将Excel...Sqlserver数据导入向导功能 对数据有一定了解的人都知道，数据是有数据类型的区分，特别是在数据库层面更是如此，在Excel上虽然有数据显示格式的设置，但它不强制进行数据转换，在导入数据库的过程中，...完美的向导操作，帮助我们完成了多个信息的配置 所有数据增量导入到目标表$sheet1中 一般来说，SSMS没有及时更新到刚刚我们创建的新表sheet1，需要点击表对象右键刷新下即可显示出来。
具体的使用，可参照网页采集功能介绍： [重大更新]Excel催化网页数据采集功能新突破-模拟浏览器采集避开反爬虫识别为爬虫工具采集 Excel催化剂2周年巨献-网页数据采集功能发布，满足90%合理场景使用...采集到的数据是json格式的，有了json文件，下一步也是很轻松， 用Excel自带的PowerQuery文件夹合并数据功能即可将所有json文件合并在一起并以Excel表格清单方式导出至Excel工作表中...或者直接用Excel催化剂的json转Excel表格功能，更简单，小小缺点时文件夹内文件增减要重新重做一次，不像Powerquery可以一键刷新。 ?...做完后，可以使用Excel的筛选排序，找到自己想看的内容，感觉被收割得太厉害建议取关就好。 ? 透视表简单去重下，开始熟读软文标题三百遍，找到语感，下次见到类似的就可以避开。...结语 每个人都可以有立场，笔者立场是坚决远离这些所谓的商务合作的软文推广，保留自己公众号一片纯净之地，对Excel催化剂的粉丝们负责。虽然这样的作法已经越来越边缘化不正常。 出淤泥而不染，大家共勉！
日前，微软 Excel 团队的产品经理对外发布，现在可以在 Excel for Mac 中使用带有 Power Query 的“从文件夹”连接器刷新数据！...在 Excel for Mac 中使用 Power Query 的“从文件夹”连接器刷新数据 Power Query 是一组功能强大且省时的 Excel 工具，可帮助你快速轻松地获取、调整和刷新数据。...在过去几年中，我们一直在不断向 Excel for Mac 中的 Power Query 添加功能，例如从 SQL Server 数据库导入数据的功能。...打开一个现有的 Excel 工作表，其中包含一个报表，该报表使用 Power Query 从文件夹中拉取数据。 2. 要刷新所有报告，请选择“数据”>“全部刷新”。...然后选择“应用的步骤”下的“源”选项旁边的齿轮图标，然后选择所需的文件夹。 只需右键单击表中的任意位置并选择“刷新”，即可刷新表数据。
，实现文件下载后直接刷新出报表） 4、EXCEL催化剂:文件导入+文件转换+文件重命名+催化剂自定义函数 催化剂解说：这几年PowerQuery和RPA流行后，在数据采集、整理汇总的工作上带来很大的便利...文件的储存方式 1、以excel文件存储：文件过大是其一，主要是每次都要打开文件复制粘贴数据，耗时耗力易出错 2、以文件夹的方式存储：表格太多，pq刷新会太卡 3、EXCEL+文件夹：最佳配合。...当前Excel催化剂有与Sqlserver的数据库交互能力，可以在Excel环境下，零门槛查询数据库数据和上传Excel表格数据到数据库中，再往后打算重写此功能，将其扩展到主流数据库适配如单机版的Access...，直接修改行不通 催化剂解说：非常惊讶于阿里的生意参谋的数据导出格式，这么长时间，一直存在问题都没改善过，因为这一缺陷，让笔者去开发了补救的方式，在Excel催化剂上转换这些非标准的文件格式，以便让PowerQuery...催化剂解说：在文件类场景中，Excel催化剂已经做到极致的，除了本篇提到的文件归档不同路径的场景所需的批量移动复制文件功能外，还有无数的其他功能等待大家去挖掘，只要敢想，Excel催化剂都有非常理想的解决方案给到大家
操作步骤 STEP 1 打开PowerQuery，点击菜单栏主页下的管理参数，选择新建参数。...STEP 2 输入参数名称，类型选择文本，当前值输入当前的数据源路径，这里以本地文件夹为例，直接在文件浏览器中地址栏复制路径即可。...STEP 3 点击菜单栏主页下的新建源，获取该文件夹中的一个文件，做好相应的处理。...STEP 4 在查询设置窗格点击源对应的齿轮，在跳出的对话框中选择高级，将地址中的最后一个斜杠和文件名称剪切到第二行，第一行切换为参数，参数用上一步生成的数据源地址参数，点击确定，然后关闭并应用。...数据加载刷新后，新的路径下，文件内容从张三更新到了李四，报告中显示的就是李四。
整理你的报告从使用SQL开始 需要指出的是，如果你的模型已经使用excel搭建得比较成熟了，就尽量不要转移数据源到数据库中了，因为一旦修改了数据源，那么模型中建立的关系同时会消失。...如果，实在想使用excel文件，那么也建议使用onedrive中的文件或文件夹，我用了三篇长文来说明为什么要使用onedrive，以及中间会遇到的问题的详细解答： Power BI刷新避免使用网关，蚊子肉也是腿...，电费也是钱 PowerBI从Onedrive文件夹中获取多个文件，依然不使用网关 针对“PowerBI从Onedrive获取文件”两篇文章做个补充 这些应当是在最初接触Power BI或者最开始搭建Power...5.数据回写 不知道你有没有将powerbi或者powerquery中的数据进行导出的需要？ 诚然，可视化对象是可以导出csv文件的，并且导出数据的限制也可以通过DAX studio来绕开。...不过powerquery中的数据清洗结果你能导出吗？正常情况下自然是不能的。
标签：Excel图表技巧 有时候，我们想将图表中的数据列悬浮呈现。本文介绍如何实现这样效果的技巧。 原始数据及想要创建的图表如下图1所示。...图2 步骤2：选择新数据区域，单击功能区“插入”选项卡“图表”组中的“插入柱形图或条形图——堆积柱形图”，得到的图表如下图3所示。...图3 步骤3：单击底部选择隐藏系列，然后单击功能区新出现的“格式”选项卡“形状样式”组中的“形状填充——无填充”、“形状轮廓——无轮廓”，结果如下图4所示。...步骤4：单击功能区“插入”选项卡中的“插图——形状——箭头符号”，在图表附近绘制一个向上的箭头形状。 步骤5：单击选取箭头形状，按Ctrl+C复制箭头。...步骤6：单击图表中可见的柱形，这将选择所有柱形。按Ctrl+V进行粘贴，箭头将替换柱形。结果如下图5所示。 图5
标签：Excel公式，自定义函数 如果我想知道单元格数据中是否包含有“1”，该如何实现？当然，这里指单元格中包含“1”，而不是“10”、“11”等含有1的数据。示例数据如下图1所示。...图1 如图1，如果列B的单元格中包含“1”，则返回TRUE，否则返回FALSE。也就是说，类似于单元格B2中的数据，会返回TRUE；而单元格B6中的数据，会返回FALSE。...Pattern = "\b" & FindWhat & "\b" FINDNew = .test(WithinCell.Value) End With End Function 然后，返回工作表，在单元格中输入公式
虽然在excel文件中检索的vba代码不知道写了多少遍了，每次需要的时候，都是从网上找，然后写。实在是低效的做法。从网上找了一段代码，放在此处，以后需要的时候可以随手拿来。...Exit SubErrHandler: MsgBox Err.Description, vbExclamation Resume ExitHandlerEnd Sub参考自：https://excel.tips.net
标签：Excel图表技巧，瀑布图 在Excel中很容易创建瀑布图，因为自Excel 2016就推出了瀑布图。然而，改变瀑布颜色稍微有点困难。...在刚开始选择数据并插入瀑布图时，没有被标记为“汇总”列，这意味着所有列都将是浮动的。我们可以两次单击应该为总计的列，这将选择该列。然后，在该列上单击鼠标右键，选择“设置为汇总”，如下图1所示。...图1 从图1中可以观察到，可以更改每个点的填充和轮廓。如果希望瀑布以橙色表示正，灰色表示负，可能会右键单击每一列并手动更改颜色。这是一种“笨”办法！并且，如果数据从正变为负，则颜色不会改变。...此时，可以单击功能区“页面布局”选项卡，再单击“主题”组中“颜色”下拉列表，选取其底部的“自定义颜色”。其中，着色1用于增加，着色2用于减少，着色3用于汇总。改变这三种颜色，瀑布图中的颜色就会改变。
几乎所有的教程都会告诉你，使用 Power BI 获取数据最简单的方式是从本地excel表中获取，紧接着教你如何从本地文件夹中获取多个文件。...尤其是当你每次在本地添加一个新的excel表，保存，发布，等待其自动刷新，但是总是不刷新，找了一圈原因，到数据集这里一看，哦对，需要对新添加的这张表设置凭据。你会不会懊恼不已？...但是这种办法有2个问题： 我们发现使用SharePoint.File链接器比web链接器在刷新数据速度上要慢很多 每次查找特定文件比较费劲，尤其是同一个文件名处在不同的文件夹中，我们不能直接判断应该选择哪一个文件...而且通过对比我们发现，SharePoint.Contents比SharePoint.Files获取数据效率高很多，刷新速度要快不少。 我们在之前的文章中阐述过。...慎用SharePoint.Files，在Power BI中更快地刷新Excel文件 同时，SharePoint.Files无法对某个文件夹的所有文件进行获取，而SharePoint.Contents是可以实现的
在Excel2010后，PowerQuery以插件的形式横空出现，并最终在Excel2016中得以深度内置，是一款非常难得的轻量化数据ETL工具。...PowerQuery一个很深入的集成性在于，其数据加载的过程中，原生地开发其以Excel智能表的形式加载出来，并且以数据连接的方式和源数据和加工过程相连接，所以非常好的体验在于数据源更新后，只需刷新一下结果表即可按原来配置过的逻辑对数据进行更新...在Excel催化剂中，对于PowerQuery非常擅长的领域，Excel催化剂就比较少去开发，所以使用Excel催化剂的用户群体，更佳的方式是同时掌握Excel催化剂+PowerQuery，在两者中根据自己不同场景...相对Excel的高级函数技术及VBA才能处理的方案，在PowerQuery中变得非常简单。...并且在PowerQuery中，非常强调界面化操作，在界面上操作，非常直观于数据的生成可视化展现，易于理解和检查。
步骤①：打开设置，【Files】→【Settings】 步骤②：打开文件类型设置界面，【Editor】→【File Types】→【Ignored Files and Folders】，忽略文件或文件夹显示...步骤③：添加你要隐藏的文件名称或文件夹名称，可以使用*号通配符，表示任意，设置完毕即可 到这里就做完了，其实就是Idea的一个小功能 总结 Idea中隐藏指定文件或指定类型文件 【Files】→
云服务器
ICP备案
实时音视频
对象存储
云直播
