感谢朋友们的提醒,之前的按需转置案例文件有错,现已经更新。 今天我们来聊下如何在Power Query中进行类似Excel中通配符的查找。...例: 在{"a","b","ab","abc"}列表中查找以"a"开头的数据。也就是类似我们在Excel中使用通配符a*来查找。...作为开头关键词查找,其余的不管,类似于之后是"*"。...在{"a","b","ab","abc"}列表中查找以"b"结尾的数据。也就是类似我们在Excel中使用通配符*a来查找。...在{"a","b","ab","abc"}列表中查找以"b"为中间的数据。也就是类似我们在Excel中使用通配符*b*来查找。
A表:30万,主键ID B表:300万,主键ID 从B表中删除ID=A表ID的记录。...SELECT T.ID, ROWNUM RN FROM A) WHERE RN > 0 AND RN <= 50000) AB WHERE A.ID = B.ID); 但执行计划显示COST较大,且瓶颈是B表的全表扫描...B10多个B表(都是300万),串行操作相当于10次B表的全表扫描,因为磁盘IO性能较差,执行单个DELETE时都可能占据较大CPU,所以不能并行。 是否还有优化空间呢?请高手指点,谢谢!
正文开始 想到Power Query是有循环函数的:Transform类函数。...如列表循环:List.Transform;表循环函数:Table.TransformColumns;记录循环:Record.TransformFields。...实在是没招了,想起来大海老师的一篇文章: 你被Power Query里的随机数给“坑”了吗? 那就不重复造轮子了,按着这个改吧。...并且,pq的每一次刷新都会导致UUID改变,就像Jack S老师说的,除非用来做加密,否则真是没有什么用途。 在Power BI中处理带有UUID的表同样不是一个很好的想法。...因为UUID非常长,很大程度上会明显增大模型的数据量,处理时间会拉长,影响效率。关于这一点,很早之前在用MySQL时就是一个问题,最近在Power BI中测试也是同样的结果。
小勤:大海,我有张Excel怎么在用【从表格】的方式导入Power Query时出错了?一点【从表格】就这样: 大海:你这个表在筛选后删过数据。...貌似如果一个表筛选后再删除一些列,这个表再通过【从表格】方式导入就是会出现上面那个错误。 小勤:啊?还有这种事!那怎么办?...大海:虽然不知道为什么会这样,但这个问题有个比较简单的解决办法:先将这个表通过【插入】-【表格】的方式先变成“超级表”: 然后再用【从表格】的方式就可以导入Power Query了:
基于 HTML 的网页。 只要数据存储在 Power Query 理解的格式(“CSV”,“XLSX” 等)中,那么从它们中提取数据是相当容易的。...这里的目的是选择第 1 列中的第一个单元格,输入要为第一条记录提取的内容,Power Query 将完成其余工作,如图 11-6 所示。...在如图 11-7 所示的视图中,可以构建了一个表,根据第一列的记录,从其中提取的内容包括数据集,浏览次数,以及最后更新时间。...一旦用户这样做了,用户就可以开始痛苦的第二部分;在 Power Query 中重复刚刚寻找表格元素的步骤。...即使要查看该查询,用户也需要认识到导航步骤是按照下面的文档生成的。 从初始表开始,如图 11-15 所示。 图 11-15 在 “Children” 表中钻取 HTML (第 1 行)。
Query菜单操作表的函数 Power Query中M语言的3大主要语句结构 Power Query中Excel数据的导入介绍 Power Query的数据转换方法(From) Power Query...——时间篇(2) 从如何在Power Query中提取数据——记录片 如何在Power Query中提取数据——列表篇(1) 如何在Power Query中提取数据——列表篇(2) 如何在Power Query...函数——Related Power Pivot函数——智能时间函数DateAdd的用法及差异 Power Pivot中DAX的时间函数 Power Pivot智能日期函数——开始时间 Power Pivot...智能日期运用——连续时间(2) Power Pivot智能日期运用——时间点 如何在DAX Stadio和Excel中返回表和度量值?...升级篇 Power Query中单列数据按需转多列 在Power Query中如何进行类似"*"的模糊匹配查找? 如何在Power Query中达到函数Vlookup的效果?
,或者使用 Power BI 从 Excel 表中读取数据,以下方法都是可以的。...图 10-9 【左外部】连接:所有记录从左边开始,匹配从右边开始 第一个【连接种类】是默认的连接类型:【左外部】连接。这种连接的工作方式是返回左表(顶部)的所有记录,以及右表(底部)的匹配记录。...图 10-12 【右外部】连接,所有记录从右边开始,匹配从左边开始 如前所述,【左外部】连接是默认的。现在来看看【右外部】连接。 对于这个连接,将使用与【左外部】连接几乎完全相同的步骤如下所示。...本例的目标是获取一个包含固定每月费用的表,并为一年中的每个月创建一个预算表,如图 10-26 所示。 图 10-26 快速创建直线预算 使用上面的方法,从准备各自的数据开始。...【注意】 这里从 “源” 表开始的原因仅仅是因为通常希望在完成时将这些列放在输出的左侧,这样可以避免以后对列进行重新排序。如果用户想从 “查找” 表开始并【追加】“源” 表,那么这个方法仍然有效。
一、测试数据 本次测试以微软罗斯文贸易数据库的订单表和订单明细表进行扩展,涉及数据概况及要求如下: 订单表21581行(含标题) 订单明细表17257行(含标题) 要求将订单表中的“订单ID”、“客户”...,分别对四种方法建立单独的工作簿,每次仅打开一个工作簿进行独立操作,如下图所示: 公式法统一在第一行写上公式,然后统一向下扩展填充至所有行,从开始填充起计算至填充完成的时间,如下图所示:...: 4、Power Query合并查询,按常规表间合并操作如下图所示: 五、4种方法数据匹配查找方法用时对比 经过分别对以上4中方法单独执行多列同时填充(Power Query数据合并法单独执行数据刷新...)并计算时间,结果如下表所示: 从运行用时来看: VLookup函数和Index+Match函数的效率基本一样; Lookup函数在大批量数据的查找中效率最低,甚至不能忍受; Power Query的效率非常高...当然,使用公式的方法,即使在一定程度上进行改进,和Power Query相比仍然有很大的差距。因此,在数据量较大,数据处理较为复杂的情况下,建议使用Power Query来进行。
毫无疑问,对于开始就以表格形式处理数据的人来说,最简单的方法之一是打开 Excel 并开始在工作表中记录数据。...将使用这四个工作表来演示 Power Query 是如何处理用于连接到数据的不同方式的。 6.1.1 连接到表 先从最容易导入的数据源开始:Excel 表(Table)。...图 6-2 数据被直接导入 Power Query 中,打开预览窗口 【注意】 如果将 Power Query 在【应用的步骤】窗口中记录的步骤与 “CSV” 文件中记录的步骤进行比较,会注意到从表导入时...与任何数据源一样,当从 Excel 表导入时,Power Query 将获得数据,然后尝试为每一列设置数据类型。应该注意到,在这个过程中,Excel 工作表中的数据格式被忽略了。...由于命名区域包含了非结构化工作表上记录的标题和数据,但没有被格式化为正式的 Excel 表,Power Query 导航到该对象,假设第一行是标题,然后设置数据类型。
导语:花10%的时间,熟练掌握Power Query的基础操作,解决80%的问题,再或10%的时间,掌握一些儿基础的M函数,再解决15%的问题,剩下的5%,需要的时候问人吧。...前些天,在群里有朋友抛了个Power Query的题目出来,后来听说这其实是狗子的订单处理规则之一: 问题描述得很清楚,推荐大家以后提问题的时候也参考这个方式,说清楚规则(逻辑),尽可能举例子,并给出想要的结果...等同于Excel下面公式的方法: - 1 - 直接优化公式 在前面很多文章中,我都提过,对于Table.SelectRows进行数据筛选的问题,首先可以对筛选的表进行缓存,以提高效率,加缓存非常简单,直接在原来的步骤里套上...Table.Buffer函数即可: 加了Buffer之后,运行时间马上从158秒变成22秒,时间缩减到七分之一: - 2 - 操作法 实际上,这个问题非常简单,直接操作即可,而且,效率还非常高!...因为我们只要各订单第一条数据标注非重复,所以,我们可以直接通过删重复得到各订单的第一条数据,这样即可以直接标记为“非重复”——这就直接解决了核心的“非重复”数据标志的问题。
以删除“报销金额”列的单位为例,单击【开始】 选项卡【编辑】组中的【查找和选择】命令,在弹出的下拉菜单中选择【替换】命令(见图3)。...这可能是因为表格中存在隐藏的非打印字符,可以通过 Power Query 可以一步完成整理。...Power Query 是内置在 Excel 2016 专业增强版及以上版本中的 Power BI 组件之一,能够高效地完成很多数据清洗的步骤,以及快速实现二维表和一维表 的转换。 ...图10 关于 Power Query 的界面和操作,在《从零到一学Excel》一书的后续章节会继续介绍。...为了满足初学者的学习需求,本书从基础内容讲起,并逐渐延伸到函数、数据透视表、可视化图表,以及数据分析。
这些方法的主要区别在于,这个方法可以在任何拥有 Power Query 的工具上工作,而且它还会为【追加】到查询的每个表记录一个不同的 “Appended Query(追加的查询)” 步骤。...虽然编辑每个步骤的名称以使其更具描述性是很诱人的,但对于一个真正的 Power Query 专家来说,挑战在于他们现在需要花更多的时间来检查每个步骤,来理解公式实际上是什么。...来看一些具体的例子,从 “第 08 章 示例文件 \Append Tables.xlsx” 开始。 这个特定的文件包含三个表,其业务表示某水疗中心每月发行的礼品券。...完成筛选后,会从 Power Query 中得到一个正面的结果,只加载 62 行数据,没有任何错误,如图 8-23 所示。...因为 Power Query 的纵向追加数据功能,原有的工作时间被大幅缩短,并且不存在用户意外地复制粘贴数据导致数据重复的风险,这里根本不需要复制粘贴,只需要将一组数据追加到另一组,删除重复的标题。
4.实操案例 下面的Excel表里记录了某电商平台上用户的购物记录。表中含有的字段:用户名称、订单号、商品编号、购买数量、下单日期。...微软的办公软件P开头的有PowerPoint(PPT)、Excel中的Power Query(PQ)、Power Pivot(PP)。 PowerPoint我们都知道是PPT,主要用于演示报告。...而Excel中的Power Query功能是查询,Power Pivot是超级透视。...(1)Power Query 日常处理数据的人都知道,Excel2010版本开始,有一个叫Power Query的插件,其作用是能弥补Excel的不足,大大提升处理数据的能力。...(2)Power Pivot Excel中数据透视表,英文名是Pivot Table,而Power Pivot可以被翻译成数据建模,功能要比数据透视表强大很多。
还有,把他上个月销售记录附在这张表后面,发我看看。 问题来了:这个时候如果是你,你会怎么完成这个任务?(前提,数据库中有所有人的全部记录。)...常规思路是,直接在数据库中查找这个人,按条件返回即可,只不过还得写一个导出到文件,然后打开文件复制到原来的表中,说实话还真有点繁琐。 PowerQuery能帮助我们很简便地解决这个问题。...喝着喝着,我就开始琢磨这个查询了。 我按销售额从大到小的顺序排列,然后在查询结果表中点击右键刷新,发现: 诶?出问题了吧,一看查询到的结果,全都是infi的记录,这是怎么回事呢?...我们到查询编辑器中看看: 注意第三行: NAME = 更改的类型{1}[NAME], M语言允许我们通过坐标的方式获取表中单一的值,[NAME]代表NAME列,而{1}代表第2行,因为表都是从标号为0的行开始的...那在Power Query中有没有可能设置主键呢?
Power Query 介绍 Power Query 是微软提供的工具,Excel 2013 版作为插件加载使用,从 Office 2016 版开始,Power Query 的功能集成到 Excel 中...Power Query 的功能在 Excel 和 Power BI Desktop 中可用。...Power Query 实现工作表汇总 给出一个在 Excel 中处理有点难度的东西:工作表数据合并,如下图所示: [watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_...从这里可以看出,Power Query 将我们数据处理过程中的步骤都记录下来了,并且在每一步,都能够可视化查看数据的变化,而这一切都是基于 M 语言的。...处理过程的每一个步骤都通过 M 语言脚本被记录下来,从而实现处理过程自动化。 参考 What is Power Query? Power-Query-概述和学习 示例素材 github
导入数据 通常来说直接从表导入会自动判定首行数据为标题,那直接合并会导致数据错位。 ? 那要解决这个问题,只需要在导入后把标题改为一致即可。 2....备注:请把需要作为标题的表作为合并时的第一个表 3. 合并前添加索引 这里可以利用索引来进行区分,在合并前对于原表进行添加索引以区分标题列。 ? 4....Query菜单操作表的函数 Power Query中M语言的3大主要语句结构 Power Query中Excel数据的导入介绍 Power Query的数据转换方法(From) Power Query...——时间篇(1) 如何在Power Query中提取数据?...——时间篇(2) 从如何在Power Query中提取数据——记录片 如何在Power Query中提取数据——列表篇(1) 如何在Power Query中提取数据——列表篇(2) 如何在Power Query
现在最常用的存储引擎是 InnoDB,从 MySQL 5.5 版本开始, InnoDB 成为了 MySQL 的默认存储引擎。...如果 SQL 是查询语句(select 语句),MySQL 就会先去查询缓存( Query Cache )里查找缓存数据,看看之前有没有执行过这一条命令,这个查询缓存是以 key-value 形式保存在内存中的...InnoDB 引擎全扫描的接口,让存储引擎读取表中的第一条记录; 执行器会判断读到的这条记录的 name 是不是 iphone,如果不是则跳过;如果是则将记录发给客户的(是的没错,Server 层每从存储引擎读到一条记录就会发送给客户端...层; 如此往复,直到存储引擎把表中的所有记录读完。...> 20 的第一条记录; 存储引擎定位到二级索引后,先不执行回表操作,而是先判断一下该索引中包含的列(reward列)的条件(reward 是否等于 100000)是否成立。
Ø 现在,PowerQuery完全是Excel里的一项功能,只是由于从插件演变为功能的历史原因,以及这项功能是如此强大,以至于大家觉得它像个额外的东西而已。...【答】Excel会基本操作就能开始学Power Query,因为Power Query里面大部分也只是点点点的操作而已,详情可参考文章《什么人适合学Power BI(Query)?》...---- 【问-9】对Power Query一点都不了解,怎么开始学才好? 【答】那就一边了解一边练。...【特别说明】由于公众号创办初期部分文章可能使用了一些带版权的图片,现正删除、换图、修改、重发中,所以,原来整理的系列文章链接可能已经失效,后续将根据重发情况重新整理成系列。...【答】那是Power Query的M语言及函数部分内容,属于高阶内容,开始时完全不需要理会。