我们知道使用PowerBI做分析的流程是PQ+PP+PV,PowerQuery数据查询整理、PowerPivot数据建模、PowerView数据可视化,其实无论你用什么工具做分析,都是这个顺序,所以很有可能你见到的第一个写公式的地方是...M vs. DAX 撇开那些官方的抽象的定义,从功能的角度,我们说PowerBI做数据分析的三个模块PQ+PP+PV这个过程就好比烹饪,PQ是获取食材、洗菜、切菜;PP是烹饪;PV是呈现你的菜。...DAX的样子,有点似曾相识,但与Excel里的公式还是有一定差别。 ?...前些日子PowerBI祖师爷级别的人物Rob Collie写了一篇文章 《M/PowerQuery "Set Up"DAX, so learn DAX (and modeling) first》 翻译过来是...《M/数据查询“坑了”DAX,所以先学习DAX(和数据建模)》,这篇稍有火药味的文章Rob也做出了一些特别声明,并给出了80/20原则,意思是80%DAX,20%PowerQuery/M将会是你掌握PowerBI
2、PowerBI主要组件及功能:PowerBI有三个用于不同场景的组件:PowerQuery(数据处理组件),PowerPivot(轻量级建模组件),PowerBI Desktop(独立数据可视化程序...一、数据处理组件PowerQuery简介 关于Power Query,微软官方的介绍:Power Query是Excel 2013版本的一个插件。...安装需求:PowerQuery内置在Excel2016以上版本中,在Office2013需要在微软官网下载:https://www.microsoft.com/zh-cn/download/details.aspx...id=39379 使用场景:只是需要对原始数据进行处理直接使用PowerQuery就可以满足你的需求。...安装需求:PowerBI桌面版需要脱离Excel单独安装软件。
在Excel2010后,PowerQuery以插件的形式横空出现,并最终在Excel2016中得以深度内置,是一款非常难得的轻量化数据ETL工具。...在Excel催化剂中,对于PowerQuery非常擅长的领域,Excel催化剂就比较少去开发,所以使用Excel催化剂的用户群体,更佳的方式是同时掌握Excel催化剂+PowerQuery,在两者中根据自己不同场景...PowerQuery学习资源 在这两年里,PowerBI技术持续地火热,图书、视频市场已经出现非常丰富的中文习资源了。基本上市面上能够找到的热门的学习资料都值得入手学习。...同样地,PoweBI社区的免费知识星球【PowerBI朋友圈(P圈)】,里面也汇集了社区内大部分的免费学习资源。 结语 本篇从工具的角度,分析在笔者眼中的PowerQuery的功能特性及价值。...笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。
文件夹图示.png 0.Power Query与其他PowerBI系列组件的关系 获取数据——>分析数据——>呈现数据 PowerQuery获取和整理——>PowerPivot建模和分析——>PowerView...交互式报表||PowerMap地图可视化——>PowerBI在线版可视化仪表板发布和分享 ?...关系图.png 简而言之:获取——>分析——>呈现——>发布 1.数据导入Power Query并进行追加查询 新建一个空的excel文件,在导航栏的POWER QUERY中选择从文件——>从Excel...关闭并上载1.png 点击上面的按钮,回到Excel界面, 出现下图所示的工作簿查询。 ? 关闭并上载2.png 从上图可以看出一店从6377行增加到10739行。...成功上载结果.png 透视——不要聚合 选择不要聚合这个表,加载至PowerQuery中第一步操作如下。 ?
Excel用户人群巨大、文件利于邮件传送、数据方便二次加工、内容可以按列筛选等,所以很多时候,无论是报告开发者还是最终用户,都会经常从PowerBI导出数据到Excel。...以下是4种导出方式,强烈推荐最后一种:导出方式PowerBI桌面版PowerBI线上版在PowerQuery中导出可以,1000行不可以在数据视图中导出可以,不限制不可以在视觉对象中导出可以,3万行可以...,15万行/50万行Excel连接模型导出可以,不限制可以,不限制1 在PowerQuery中导出PowerQuery会对数据源进行预览,默认每个表显示前1000行(也可以显示全部,但性能降低),类似SQL...如果是未发布的本地文件,在本地电脑上也可以用Excel连接打开的PowerBI文件模型。...图片图片拓展Excel连接模型获取数据时,如果行数达到几十万,有时候数据读取会很慢,其中一个主要原因是PowerBI的数字格式与Excel的数字格式不一致(微软正致力于消除这个问题),转换比较耗时,点击
自Excel2016以来,PowerQuery不再是外接程序,而是可以在功能区数据选项卡上通过“获取数据”按钮直接访问。...Power Pivot与PowerQuery齐头并进:从概念上讲,这是使用PowerQuery获取和清理数据之后的第二步。PowerPivot可帮助你直接在Excel中以吸引人的方式分析和显示数据。...PowerBI Desktop是免费的,因此如果你想使用它,转到PowerBI主页并下载它。注意,PowerBI Desktop仅适用于Windows。...PowerBI希望通过在交互式仪表板中可视化大型数据集来理解它们。它的核心依赖于与Excel相同的PowerQuery和PowerPivot功能。...在PowerBI中使用Python感觉有点笨拙,但重要的一点是,微软已经认识到Python在数据分析方面的重要性。因此,人们很希望有一天Python也能找到一种正式的方式进入Excel。
Excel2016版本已经集成了PowerQuery的插件功能,在就可以找到这个模块,而在Excel2010和2013版本需要单独安装插件,插件的免费下载大家可以百度"Power Query...当然PowerBI软件集成了PowerQuery的功能。 ? ?...在这里,我想做个小停顿来建议大家同时用Excel和PowerBI软件做体验学习,原因是对于我们大多数习惯使用Excel的人,我们已经养成了使用网格表的习惯。...PowerBI中的Power Query虽然在使用方法上和Excel是一模一样的,但它的设计更倾向于用户在对数据的结构有了完全掌握的前提下进行工作,而Excel单元格式的编辑模式更方便用户对未知数据的探索...所以我们应该把Excel和PowerBI结合起来使用,取长补短。但这并不意味着你必须花更多的时间学习两款软件,无论你用哪个版本掌握了PowerQuery,你的知识水平都是一样的。
并且使用的技术是 PowerQuery,PowerQuery 已经内置在 PowerBI,甚至是Excel中,不再需要使用IT才能玩转的SSIS,甚至在家中就可以定义 PowerQuery ,轻松完成企业统一的数据准备...这就像在Excel中按 F9 来重新计算,所有有关联关系的单元格全部计算,保持 Excel 不同页面凡是用到同样数据的全部保持最新并且一致,而 Excel 的公式引擎自动完成了这些,未来,PowerQuery...面对企业级海量的数据,PowerQuery处理后放在哪里呢?...这里连接到 SQL Database,和普通的PowerQuery体验完全一样: 选择【AI洞察】如下: 然后就可以看到一堆 PowerQuery 函数等你使用: 这里使用 分词 功能,选择 分词 函数以及要处理的字段和语种...小结 以上内容全部是成熟的 Azure 服务,未来就是一个 PowerQuery 函数,大家可以想象你可以展开很多场景在企业应用而无需任何AI代码。
今天做一次 PowerBI 下 PowerQuery 的有奖知识问答。 这次知识问答我们结合PowerQuery领域最新的两部著作来进行。...各位战友都知道佐罗从来没发过什么PowerQuery的文章,特此项广大战友们发出求救啊~~~ 为了感谢大家的帮助,佐罗 将选择5名激情战友,赠送《Power Query:基于Excel 和 Power...赠送: 电子工业出版社 出版:《Power Query:基于Excel 和 Power BI的M函数详解及应用》一部。...特别注意: 参与活动的战友务必添加Excel120 BI佐罗成为微信好友以方便通知。...寻觅一位美工好,又对PowerBI感兴趣的伙伴,我们可以一起工作吗?
加入 PowerBI自己学 知识星球:下载源文件,边学边练;遇到问题,还可以提问交流。...Excel数据源是PowerBI的常用数据源,经常遇到一个Excel文件中有多个相同表头Sheet,比如分月的销量、分班级的统计信息,加载到PowerBI的时候,需要把它们从上到下追加成一个表。...解决方案在PowerQuery中,一个Excel文件含有多个Sheet,这个Excel会被看作是一个文件夹。...借助这一特点,可以轻松实现一次性加载Excel中多个表头相同的Sheet,同时合并这些Sheet的数据。...STEP 2 进入PowerQuery后,在文件种类Kind上筛选“Sheet”。
目前 PowerBI 的架构是这样的: 可以发现,其实并没有机会去做数据处理部分,这部分被完全内置在数据网关执行(M 引擎执行PowerQuery),那么引入DataFlow后: 可以简单理解为将数据准备的逻辑完全抽离出来并加以管理...PowerQuery查询,并通过数据网关来执行PowerQuery将本地数据导入Azure数据湖,例如这里选择Excel类型,如下: 这需要提前安装数据网关,这是免费和快速的,这里就不再赘述,然后: 如果我们的文件路径是已经授权过网关的...,这里将自动识别代入,然后: 看到了更加熟悉的界面,选择我们要导入的内容,下一步: 可以像在 PowerQuery 中一样操作,非常轻松。...类似的,还可以导入SQL Server的数据: 这样在这个数据流的定义中就将获取Excel和SQL Server的数据,如下: 如果定义完毕,点击完成即可。...有了数据流,就可以将企业所有数据汇入统一地点,并实现自动化(无需太多编程,数据处理的逻辑可以用PowerQuery进行)。 有了CDM,就有了统一的标准定义,可以基于标准快速实现App等应用。
今天要跟大家分享数据地图系列的第13篇——PowerBI。 PowerBI是微软公司数据可视化系列集成的桌面端产品。...(上一篇讲了个PowerMap,那个是PowerBI在excel平台的数据可视化插件之一,其他三个分别是PowerView、PowerPivot、PowerQuery)。...PowerBI支持的数据源非常丰富,今天我们仅仅以一个excel文件演示如何在PowerBI中制作数据地图。 在PowerBI中点击获取数据——excel文件。 ?...这是一个最简单的可视化地图图形,通过PowerBI可以做出来机会所有的常用可视化图形。 ? 如果感兴趣,可以在网上购买专业书籍或者资料学习。
加入 PowerBI自己学 知识星球:下载源文件,边学边练;遇到问题,还可以提问交流。...PowerQuery是PowerBI的组件,也是Excel的组件,还是一个独立的模块,为很多微软的其他下游工具做数据准备。...PowerQuery使用的是M语言,倡导用鼠标“点点点”的图形化操作,生成一系列分步骤可编辑的查询计划,多个查询计划在后台自动按照依赖关系排列刷新的先手顺序。...在PowerBI中,PowerQuery只是起点,它要为下一步数据建模做准备,生成一系列干净的(尽可能是一维的)维度表、事实表、辅助表、参数等。
极力推崇PowerBI是创作PowerBI大师的初衷,虽然从Excel到PowerBI有极其诱人的理由,但我们不可否认的是Excel本身作为全世界最广泛的办公工具它具有不可替代的应用场景。...这是因为传统Excel表与PowerBI表的一个重要区别是Excel以单元格来存储,而PowerBI是列存储式表。...因为对于第一个模块PowerQuery编辑查询器,Excel与PowerBI基本无差别,且Excel2016版已经植入了该模块。 ?...如果你的工作是仅用PowerQuery对表做数据清洗的工作,后续的工作并非连贯地走PowerPivot建模和可视化的流程,你完全可以用Excel来完成。...Excel的BI插件和PowerBI核心相同,掌握核心BI模块后可以无缝切换,至于Excel和PowerBI各自独有的特点和功能,取长补短,掌握二者后如虎添翼,所以说Excel+PowerBI=BetterTogether
七 使用PowerBI并下载最新版本 在另一篇文章中从Excel到PowerBI的5个理由, 曾经提及过PowerBI对比Excel的优势。...但是写DAX做建模分析,我更倡导使用PowerBI,除了更简单友好的界面,更稳定、更快速的引擎外,像新建表、双向箭头应对多对多关系等功能Excel是不具备的,或者操作起来需要绕弯路才能实现。...如果你的目标是解决重复性的多文件汇总和自动化基础数据清洗工作,先学PowerQuery;如果你想实现多维度的商业指标分析,就一定要攻克最核心的PowerPivot建模;如果是想利用PowerBI做出炫酷的可视化效果...九 能抓住耗子就是好猫 传统Excel、PowerQuery、PowerPivot数据建模,虽然工具不同,但很多时候能够实现的目的是相同的。...比如在Excel中可以使用最简单的Vlookup来查询另一张表中的对应结果,在PowerQuery中可以通过合并查询来实现,在PowerPivot中也可以用Related或者Lookupvalue完成同样的效果
这里对比数据库和excel,我们简单列一下问题与优势: 1.excel 不方便多人共享使用数据 excel好比一个移动硬盘,你打开使用excel,你的同事就无法再使用了。...,电费也是钱 PowerBI从Onedrive文件夹中获取多个文件,依然不使用网关 针对“PowerBI从Onedrive获取文件”两篇文章做个补充 这些应当是在最初接触Power BI或者最开始搭建Power...5.数据回写 不知道你有没有将powerbi或者powerquery中的数据进行导出的需要? 诚然,可视化对象是可以导出csv文件的,并且导出数据的限制也可以通过DAX studio来绕开。...不过powerquery中的数据清洗结果你能导出吗?正常情况下自然是不能的。...Power BI数据回写SQL Server(1)没有中间商赚差价 Power BI数据回写SQL Server(2)——存储过程一步到位 PQ获取TABLE的单一值作为条件查询MySQL返回数据 PowerBI
有学员想爬这个网站,想用powerquery实现: http://www.xinfadi.com.cn/priceDetail.html 但是发现它跟其他网址不太一样,因为翻页的时候地址栏还是一样的地址...之前学谦写过一篇类似的文章,不过当时的具体情况是每次get请求的地址中带着页码,所以直接写一个参数页码来调用即可: 这个网站用PowerBI、PowerQuery不好爬?...在powerquery中,就需要加这么一行: body = "limit=20¤t=1&pubDateStartTime=2024/10/08&pubDateEndTime=2024/...10/31&prodPcatid=&prodCatid=&prodName=", 另一点,请求方式是post,如果使用python,需要将之前的get变为post即可: 但是如果使用powerquery...高级编辑器即可: 后半部分就是正常的使用powerquery的基本界面操作来展开整理获取的数据,大家都很熟悉了。
社区里经常不时有人提问,有了PowerBI后,是否就可以不用学XXX之类的问题,诚然,PowerBI的PowerQuery组件确实强大,专业用于对数据进行ETL操作,但每个工具都有其适用的范围,有时也更是杀鸡不用牛刀...,动不动把它拉出来,其实没必要,就如上述的提取颜色代码场景,非要用PowerQuery的读取xml文件功能,也是可行。...重点是:PowerQuery无论是xml还是json,都无法使用xpath或jsonPath这种语法去提取,只能自己一层层地展开,非常不灵活,就如处理字符串时没有正则表达式可用,只能用几个简单的字符函数一样难受...下图中在PowerQuery上界面操作展开xml结构和对应的高级编辑器内容,非常繁琐,一个个节点去展开。 ?...大好的消息是Excel催化剂大量的功能在PowerQuery之上更为好用易用,例如接下来介绍到的自定义函数提取带命名空间的xml文件。
接下来看到这一步很熟悉,用过Excel和PowerBIDeskTop的都不陌生,就是PowerQuery界面,在SSDT上,完全可以使用PowerQuery做简单的数据ETL工作。...PowerQuery进行数据导入功能 近距离看看,真的是PowerQuery来的 按上篇的操作,使用部署菜单,将其部署到AzureAS上试试。结果出现了吓人的错误,掉进坑里了。...有本地数据源时,直接发布到Azure AS会失败 配置网关 这个网关,用的和PowerBI Pro网关是一样的,安装过PowerBI网关,都知道其原理,这里不展开。...再次部署成功 重新用Excel连接模型发现新的本地Excel表的数据顺利进到AzureAS模型中来了。...笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。
有同学想用powerbi爬这个网址 https://flk.npc.gov.cn/fl.html 但是发现它跟其他网址不太一样,因为翻页的时候地址栏还是一样的地址。 遇到这种情况该怎么办呢?...true 5、将简化的链接输入地址栏 返回了10条记录 并且我们在这里发现,该筛选一共有613条记录,每页10条,也就是62页: 我们可以将上方链接替换为62看看,果然这一页上只有2条记录: 二、PowerBI...或PowerQuery获取数据 1、创建一个文本参数 2、新建源-web: 将此参数替换掉链接中的那个数字5: 3、展开得到数据: 4、创建参数: 在刚刚得到的这个表上右键创建函数: 5、新建一个空查询