开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何避免Power Query在合并查询/扩展时对数据进行重新排序

Power Query 是一种用于数据提取、转换和加载（ETL）的功能强大的工具，它可以帮助用户从各种数据源中获取数据，并对数据进行清洗、转换和整合。在使用 Power Query 进行合并查询或扩展时，有一些方法可以避免对数据进行重新排序，以提高查询性能和减少数据处理的复杂性。

以下是一些避免 Power Query 在合并查询/扩展时对数据进行重新排序的方法：

使用合适的连接类型：在 Power Query 中，有几种连接类型可供选择，包括内连接、左连接、右连接和全连接。选择合适的连接类型可以避免数据重新排序。例如，如果你只需要保留两个表中共有的行，可以选择内连接，而不是全连接。
使用索引列：在合并查询或扩展时，可以使用索引列来指定数据的顺序，从而避免重新排序。通过在源数据中添加索引列，并在合并查询或扩展时使用该索引列进行连接，可以确保数据的顺序不会改变。
使用排序步骤：在 Power Query 中，可以使用排序步骤来显式地指定数据的排序顺序。通过在合并查询或扩展之前添加排序步骤，可以确保数据按照指定的顺序进行连接，而不会重新排序。
使用高级编辑器：Power Query 提供了高级编辑器，可以手动编辑查询的代码。通过使用高级编辑器，可以更精确地控制数据的连接和排序过程，从而避免重新排序。

总结起来，为了避免 Power Query 在合并查询/扩展时对数据进行重新排序，可以选择合适的连接类型，使用索引列或排序步骤来指定数据的顺序，或者使用高级编辑器手动编辑查询的代码。这些方法可以提高查询性能，减少数据处理的复杂性，并确保数据的顺序不会改变。

腾讯云相关产品和产品介绍链接地址：

腾讯云数据万象：https://cloud.tencent.com/product/ci
腾讯云数据湖分析：https://cloud.tencent.com/product/dla
腾讯云数据集成服务：https://cloud.tencent.com/product/dps
腾讯云数据传输服务：https://cloud.tencent.com/product/dts

相关搜索:在Django中扩展AbstractUser时，如何对管理字段进行重新排序？如何解决ValueError:合并两个Pandas数据帧时必须对左键进行排序？R在更改条形图颜色时对数据进行重新排序。我如何防止这种情况发生？使用react路由器在ReactJS中渲染参数组件时，如何避免对特定组件进行不必要的重新渲染在使用ListViewSet时，如何对序列化程序MethodField上的序列化程序数据进行排序？js偏函数应用 js的存储数据包装函数 js 区块链部署JS js 自调函数

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

VLookup及Power Query合并查询等方法在大量多列数据匹配时的效率对比及改善思路

： 2、Index+Match函数，按常用全列匹配公式写法如下图所示： 3、Lookup函数，按常用全列匹配公式写法如下图所示： 4、Power Query合并查询，按常规表间合并操作如下图所示：...Index+Match函数的效率基本一样； Lookup函数在大批量数据的查找中效率最低，甚至不能忍受； Power Query的效率非常高。...PowerQuery进行合并查询的思想是否可能借鉴用于公式查询？...在思考这些问题的时候，我突然想到，Power Query进行合并查询的步骤，其实是分两步的：第一步：先进行数据的匹配第二步：按需要进行数据的展开也就是说，只需要匹配查找一次，其它需要展开的数据都跟着这一次的匹配而直接得到...当然，使用公式的方法，即使在一定程度上进行改进，和Power Query相比仍然有很大的差距。因此，在数据量较大，数据处理较为复杂的情况下，建议使用Power Query来进行。

4.7K2 0

Excel里部分人工资调整，要引入到原表中，并保持未调整的人员数据和位置不变

，下面先以公式法为例进行说明： 1、给调整表加个辅助列比如直接复制一份员工编号，方便后续直接扩展公式，并且方便检查数据 2、用函数直接读取调整表辅助列到工资总表中，以确定有调整的人员...A: 3、在工资总表中筛选需要调整的人员 4、填充公式完成数据的替换通过以上简单的几步即完成数据的替换，而工资总表中的数据位置等完全不变，若需要去除公式，可进行选择性粘贴为值...继续以这个例子为例，通过Power Query，可以对工资表和调整表进行合并筛选达到替换的效果，而经过这一次的操作，以后再出现调整时，只需要一键刷新即可得到最新结果，具体操作如下： 1、依次将工资总表和调整表数据接入...Power Query 结果如下（为方便后续区分相关表格，对查询进行重命名）： 2、给工资总表添加索引列 3、将工资总表的索引合并到调整表 4、追加合并工资总表 5、根据员工编号等标志删除重复项...6、按索引重新排序通过以上简单的几步，不需要写任何公式，就完成了数据的替换工作，并且，在数据出现新的调整时或者每个月再需要做同样的工作时，只需要一键刷新即得到最新结果，而不需要再重复地去写公式或做任何操作

4.9K1 0

Power Query 真经 - 第 9 章 - 批量合并文件

步骤 2：合并文件。步骤 3：对示例转换文件进行数据清洗。步骤 4：通过主查询进行数据清洗。在这一章中，将通过这个标准模式的每个部分，向用户展示它是如何工作的，以及为什么这些步骤很重要。...在验证了用户可以访问数据源之后，用户会得到初始预览窗口，此时用户可以选择【加载数据】，或者在加载前到 Power Query 编辑器中重新塑造数据。...如果能在追加数据之前对这些数据进行【逆透视】，从而避免那种令人头痛的问题，那不是很好吗？好消息是，可以做到。更好的消息是，当利用这些辅助查询时，它是非常容易的。...那么如何把这些信息找回来呢？在这一点上，回顾一下 Power Query【合并文件】时在主查询中生成的步骤是有帮助的，其中第一个步骤是“Filtered Hidden Files1”。...特别是考虑到 Power Query 不能被配置为只更新新的或数据发生改变的文件。每次用户单击【刷新】按钮时，Power Query 都会重新加载文件夹中所有文件的所有数据。

4.9K4 0

Power Query 真经 - 第 10 章 - 横向合并数据

当 Power Query 出现后，用户可以不用学习 SQL 连接、Excel 复杂公式或者学习如何建立关系型数据库结构，就可以使用另一种轻松的方式将两个表合并在一起。...在这个查询的数据预览下方，有一个下拉菜单，可以选择解决方案中的任何查询，就是用户希望与当前数据合并的表。【注意】这个对话框也允许用户对查询本身进行合并，这是一种高级技术，将在第 14 章看到。...现在看一下这两个表之间可以进行的七种具体的连接配置，可以用于合并数据，或提取感兴趣的部分。【注意】在合并数据时，数据类型是非常重要的。...【注意】这里从 “源” 表开始的原因仅仅是因为通常希望在完成时将这些列放在输出的左侧，这样可以避免以后对列进行重新排序。如果用户想从 “查找” 表开始并【追加】“源” 表，那么这个方法仍然有效。...然后对 “Order ID” 列进行第二次排序（如果有多个排序条件，则需要对多个 ID 列进行排序），这样做可以确保 “Price” 表中的行始终位于 “Order” 表中的行之前。

4.3K2 0

一次性学懂Excel中的Power Query和Power Pivot使用

全书共11章：第1章介绍Excel中的Power Query和Power Pivot两大商务智能组件及其功能；第2章至第6章介绍如何使用Power Query来获取数据并进行处理，主要包含Power...Query的基本操作、M函数和M公式的基础知识、常用的M函数，以及数据处理的综合案例；第7章至第11章介绍如何使用Power Pivot进行数据建模和分析，主要包含Power Pivot的基本操作、...3.8 追加查询与合并查询 3.8.1 实例1：使用追加查询批量合并多个Excel工作表数据 3.8.2 认识合并查询的6种类型 3.8.3 实例2：使用合并查询完成各种数据匹配第4章 M函数和M...Pivot和数据透视表 9.1.1 实例1：在数据透视表中使用自定义排序：按列排序 9.1.2 实例2：在数据透视表中创建KPI规则——设置“条件格式” 9.2 在DAX中使用VAR变量 9.2.1...关于VAR变量 9.2.2 使用变量时应该避免的错误 9.3 常见的DAX函数和实际案例应用 9.3.1 实例1：使用CONCATENATEX函数进行文本值透视 9.3.2 实例2：使用ALLSELECTED

9.1K2 0

Power Query 真经 - 第 1 章 - 基础知识

事实上，本书就是在讲解如何这样做的。但是，在开始时，梳理并理解 Power Query 的宏观运行流程还是很有帮助的。...当依次执行两个 “类似” 的操作时，Power Query 将把它们合并到一个步骤中。这样做的原因很简单：它使步骤列表更短，更容易阅读。由于许多文件需要进行大量的数据清洗，所以这对用户来说是合理的。...【注意】与 Excel 不同，Power BI 会默认按第一列对数据进行排序。要在 Excel 中做到这一点，需要在数据加载之前添加一个明确的步骤来对数据进行排序。...1.6.3 检查步骤一旦回到 Power Query 编辑器后，就可以选择查询在【应用的步骤】窗口中的任意步骤，对查询进行检查。...它可以连接到各种数据源。它记录用户采取的每个行动，并建立一个查询。它永远不会改变源数据，允许用户尝试不同的命令，删除或重新设置生成的步骤可以在将来数据改变时进行刷新。这种价值是巨大的。

5K3 1

Power Query中避免出错的几种情况

在Power Query中对于数据的类型要求比较严格，如果在中间步骤不是计算必要的数据类型，可以暂时不更改，而等到最后的时候在进行数据类型的更改，这样也能够更方便的发现问题的所在。 ?...但是如果下次的数据比本次所拆分的更多，那在刷新时就无法进行同步更新，就会出错。此时最好的做法就是把数据拆分成行，这样就能避免固定的列的限制，如图15这样的操作。 ?...(九) 合并查询中的展开表合并查询在Power Query中使用的比例还是相对挺高的，在使用后都会把匹配的数据给展开，这里就会涉及到一个注意事项，如图18所示，合并查询展开时的公式， ?...(十) 删除重复项在创建维度表的时候，会常用的操作就是去除重复项，要不然在Power BI中会产生多对多的关系，就会引起错误，不过在去除重复项的时候也需要进行仔细辨别。 1....字母的大小写在Power BI的模型关系中，不会区分大小写，如果只是大小写的区分，则会直接判断为多个关系，所以在Power Query中进行清洗的时候就要特别留意，以避免因为大小写产生的错误导致数据表之间的关系错误

5.4K4 1

Power Pivot中忽略维度筛选函数

如何获取TNT燃油附加费率? 如何快速转换数字金额到会计写法金额？如何批量抓取企业的公示信息？如何获取图片中的文字信息？如何在Excel及Power BI中对中文日期进行排序？...升级篇 Power Query中单列数据按需转多列在Power Query中如何进行类似"*"的模糊匹配查找？如何在Power Query中达到函数Vlookup的效果?...(合并查询) 函数应用案例：如何快速找出包含英文关键词的数据？...（合并查询）如何快速的根据要求判断各个店铺/仓库是否断码？（动态引用，分组依据，透视，替换，合并列）如何通过汇总来实现多行数据合并成一行？...（Text.Format，Text.PadStart，Text.PadEnd，Text.Insert）如何批量对每一行或者每一列进行排序？

8K2 0

优化Power BI中的Power Query合并查询效率，Part 3：Table.Join和SortMerge

前两篇文章中：优化Power BI中的Power Query合并查询效率，Part 1：通过删除列来实现优化Power BI中的Power Query合并查询效率，Part 2：合并查询前or后删除多余的列有区别吗...我们讲过了合并查询时，删除不必要的列可以极大地提升性能和效率。本篇文章，再介绍一个新的技巧，同样可以提升性能。当对两个表进行合并查询时，系统默认使用的是Table.NestedJoin函数。...今天我们重点来说一下SortMerge，排序合并连接。在之前的文章中提到过，之所以合并查询大数据量的文件会比较慢是因为计算过程中会把表存入内存中。...但是需要我们注意的是：虽然单单看合并查询的时间，使用Table.Join要远远比Table.NestedJoin要少，但是别忘了，在使用Table.Join和SortMerge之前，我们先对两个表进行了排序工作...另外，当你准备从两个不同的数据库中导入数据并进行合并查询，比如SQL Server 和 Oracle，两者都支持从文件夹中获取数据并排序，这个过程中的排序的时间，很有可能会小于使用Table.Join和

4.2K1 0

Power Query 真经 - 第 2 章 - 查询管理

正如第 1 章所示，Power Query 实际上在它所创建的每个查询中都执行了这个完整的 ETL 过程。现在的问题是如何更好地进行维护以及当问题规模扩大时仍然可控。...总是可以看到所有的东西是如何在一个单一的视图中联系在一起的，并对查询进行最小修改，从而使转换过程处于最理想的状态。当使用查询诊断工具和检查更高级的特性（如查询折叠和检查查询计划）时，这非常有用。...尽管没有对 “Sales” 查询进行修改，但在这里却看到了不同的数据。这实际上是符合预期的，因为对 “Sales” 所引用的查询进行了修改。...【注意】可以通过创建每个查询，在完成时将其加载到适当的目的地，然后再创建下一个查询来避免这个问题。...在这种情况下，想重新为文件夹排序，把最重要的查询放在顶部，而把审查最少的放在底部。换句话说，希望看到的顺序是 “数据模型”、“暂存查询”，最后是 “原始数据”。

2.8K4 0

明明结果是对的，为什么被合并查询后得到的结果却出错了？| Power Query躲坑

最近，有位朋友在一个实际工作问题中，在表2使用合并查询从表1的结果中匹配最高（阶段）项，眼看着表1的结果是对的，但表2里却得到了错误的返回结果，具体情况如图所示：为什么会这样？...为了合并查询得到最高阶段项，对表1进行降序排序：然后通过删除重复项保留最高阶段数据：从表1的结果来看，的确保留了最高阶段的数据。...然后，在表2里使用合并查询获取表1中的结果并展开：咦！！！表1的处理结果明明是阶段4（报价），为什么合并查询得到的结果却是阶段2（售前）？这难道是Power Query的Bug吗？...实际上，经过这么多年的发展，Power Query已经相当成熟了，合并查询这种基本的功能，不大可能存在这样的Bug或低级错误的。...这里的问题根源其实是表1的处理问题，我以往发布的多篇文章案例中，在涉及Power Query中使用排序的问题时会强调，Power Query的排序需要增加添加索引或Table.Buffer的步骤，使排序的结果真正

2.9K1 0

Power Query 真经 - 第 7 章 - 常用数据转换

看看 Power Query 是如何真正改变用户数据清洗的方式。打开 “第 07 章示例文件 \UnPivot.xlsx” 文件，并对数据进行【逆透视】。...7.4 筛选和排序在大多数情况下，筛选对于 Power Query 的用户来说是相当容易的，因为使用过 Excel 或其他办公软件的人对筛选结构是相当熟悉的。...但如果数据将被加载到 Excel 或 Power BI 中的数据模型为了后续制作透视表，那么对输出进行排序是不必要的，因为在展示层可以再进行排序，解决这个问题。...幸运的是，Power Query 有一个分组功能，允许用户在转换过程中对行进行分组，使用户能够以所需要的精确粒度导入数据。这对于减小文件的大小非常有用，因为它可以避免导入过多不需要的细节行。...现在已经配置好了数据分组方式，接下来看看如何对数据进行聚合。默认情况下，Power Query 会通过计算表的行数对所选的字段进行计数。

7.4K3 1

杂乱文本按”相似度“进行匹配？Power Query实现不难！

最近，碰到好多个在问怎么实现两列杂乱文本按“相似度”进行匹配的问题。...也有大神给出一些VBA的解法——其实这个问题的关键不在于用Power Query还是用VBA，一般来说，VBA里面能写的算法，Power Query里面也都能实现，而且通常实现起来相对简单，并不需要特别专业的人员都能掌握...下面，我举个简单的例子以及在Power Query里的实现过程，供参考，是否是你想要的？又或者说，对于你的数据来说，相似度是怎么定义的？欢迎留言。...首先，看看要进行匹配的两列简单数据，如下图所示。...这两列数据比较简单，都添加到PowerQuery里，并在每个表后面增加一列相同的内容做合并查询以生成两个表的全部可能匹配项（具体操作方法可参考文章《PQ-综合实战：根据关键词确定订单最大体积重量比》，在此不赘述

1.5K2 0

优化Power BI中的Power 优化Power BI中的Power Query合并查询效率，Part 1：通过删除列来实现

合并查询在Power Query中是很成熟的应用，相当于SQL中的各种JOIN（抽时间会写几篇SQL的join，算是SQL的小核心）。...但同时，在Power Query中合并查询是一个常见的影响刷新效率的因素。在我的工作中，经常会遇到对一些非文件夹性质的数据源进行合并查询操作，所以我一直在想，有没有办法可以对其进行优化。...当每个表中含有两列时合并查询会提交584MB数据，而如果时合并查询两个7列的表，最大会提交3GB的数据。所以最后，我们可以从容地得出结论：在合并查询前，去掉不必要的列，的确可以提升刷新效率。...其实合并查询删掉不必要的列，可以有两种方式，一种是如今天说的，在合并查询之前删掉；另外，我们也可以在合并查询后对不需要的列进行删除。从逻辑上来看，合并查询后再删除列，很明显要比今天说的浪费时间。...节省算力：提前知晓同一字段的所有筛选器，先进行合并，再进行计算，避免对同一字段重复计算。这就是下一篇的内容了。

4.6K1 0

Power Query 真经 - 第 8 章 - 纵向追加数据

本章不会解决用户在转换中触发错误的问题（尽管以后的章节会解决），但会向用户展示 Power Query 如何合并两个或更多的数据集，而不必担心用户把最后几行的数据粘贴过来导致数据重复。...现在，要重新考虑 Power Queries 在加载到 Excel 表格时的一个不幸的问题。...图 8-13 Power Query 如何知道 “TranDate” 列值应该进入 “Date” 列呢当【追加】两个表时，Power Query 将从第一个查询中加载数据。...而当用户想刷新这个解决方案时，只需要单击【全部刷新】按钮就可以更新它。Power Query 将启动对 “Transactions” 表的刷新，这将启动对三个单独的数据表的刷新，为它提供数据。...至此，已经探索了用外部数据源的手动追加，以及如何为工作簿中的数据生成自动更新系统，有没有可能把这些合并起来，创建一个系统，可以推广到合并一个文件夹中的所有文件，而不必在 Power Query 中手动添加每个文件

6.7K3 0

PQ-综合实战：根据关键词匹配查找对应内容

小勤：但这个公式有个问题，关键词分类表增加内容后，得去再调整公式，因为公式的引用范围只能是对全部分类表的绝对引用，不能引用空行进行预留扩展。大海：这倒是。因为预留空值就都得不到正确结果了。...大海：这种问题用Power Query比较合适，操作也不复杂，关键是能随数据一键刷新。...Step-1：以仅创建链接的方式获取关键词表数据（最后不需要上载该部分数据到工作表中） Step-2：在关键词查询里添加自定义列（用于与待分类表做连接合并） Step-3：获取待分类表中的数据...Step-4：对待分类表添加自定义列（用于与关键词查询做连接合并） Step-5：用前面步骤添加的自定义字段进行合并查询 Step-6：展开合并表展开后，关键词表的所有行都会重复到待分类表中的所有行中...Step-8：先对物料名称升序排序，再对判断列降序排序，为删除重复项（剔除不包含关键字）做准备通过该步骤，将相同物料名称包含所有关键词的情况排在一起，并且使得包含关键词的情况排在前面，而不包含的情况往后排

1.6K3 0

由简单问题“在表A里标记出表B也有的数据”产生的一些思考

还是每次输入数据后在重新下拉一遍？...，公式列将自动得到结果，如下图所示：三、改进思路之2：通过Power Query提取所需数据并实现报表全程自动化上面通过表格的方式实现公式的自动扩展，但是，实际工作中，数据分析或整理的需求往往不仅仅这一个识别数据是否在另一个表里的步骤...，而往往还有进行其他的相关处理，比如识别出来后，要筛选出来提交给别人，等等，那么，这种情况下，则可以采用Power Query来实现全过程的自动化，如下所示： 3.1 将两表数据放入Power Query...3.2 合并查询 3.3 展开合并数据 3.4 按需要筛选及进行后续处理 3.5 结果返回Excel中对这些筛选出来的数据你还可以在Power Query里进行各种各样的处理...，然后再返回Excel中，而当你以后需要根据新的数据制作相应的报表时，只需要一键刷新即可，如下图所示：通过Power Query能够实现各种需要重复制作的报表的全过程的自动化，从而极大减轻工作量

6184 0

Power Query 真经 - 第 5 章 - 从平面文件导入数据

作为一名数据专家，日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是，许多人都没有机会接触到拥有精心策划过的数据的大数据库。...这一点至关重要，因为这意味着当数据被导入到另一个程序（如 Excel 或 Power BI ）中时，必须对其进行解析。...现在知道了这些设置的控制位置，来看看为什么在使用 Power Query 时这很重要。 5.1.2 程序如何解析平面数据程序在解析数据时，需要知道如下三件事。...图 5-5 所有的都是文本，所以可以看到正在处理的内容 5.2.5 使用区域设置此时，希望对 “Date” 列进行明确的控制，告诉 Power Query 如何解释日期并将其转换为正确的日期序列号。...当用户扫描预览窗口时，会注意到该文件没有用任何一致的分隔符分隔，而且，正因为如此，Power Query 没有对数据进行任何猜测，在【应用的步骤】窗口中也只有 “Source” 这个步骤。

5.2K2 0

优化Power BI中的Power Query合并查询效率，Part 2：合并查询前or后删除多余的列有区别吗？

中讲解了在Power BI中对两个表进行合并查询，数据集大小影响了效率。尤其是在进行合并查询之前删除了不需要的列，可以较大地提升合并查询的效率。...答案是：因为我们是在合并查询之后马上进行了删除多余列的操作，所以Power Query编辑器并不会真的将多余的列也进行合并查询，然后再删除这些多余的列。...节省算力2：CALCULATE计算时，提前知晓同一字段的所有筛选器，先进行合并，再进行计算，避免对同一字段重复计算。...今天我们再加上一条：节省算力4：合并查询时，提前知晓某些列将要被删除，那么它会将先删除这些列，再进行合并查询，避免无效计算。...关于以上这个Power Query的引擎计算原理在Ben Gribaudo的一系列文章中说的很清楚，可以参考文末的文档。

3.2K1 0

一个简单的学历排序问题，隐藏3种建模思路 | PBI实战

数据下载链接：https://t.zsxq.com/05UrZzjm2 - 1 - 直接增加自定义列 Step-01 在Power Query里，直接添加自定义列，得到与学历对应的学历编码列： = if...BI界面，设置按列排序 - 2 - 建立单独学历编码表合并查询到数据表中编码表不加载到模型 Step-01 输入数据，得到学历编码对照表 Step-02 通过合并查询的方式，将学历编码匹配合并到员工信息表中...“学历”字段小勤：对于方法一，添加自定义列是在Power Query中做的，能不能直接用DAX做？...大海：不可以的，因为你新建的列是完全根据原列建立的，当你设置按列排序时，一定会遇到以下循环依赖问题：小勤：难怪说尽量通过Power Query整理数据/增加必要的列，DAX还是更适合后续模型中的动态计算...大海：实际工作中，我一般偏向于用第二种，通常来说，要做类似上面的特殊分析或展示的情况不多，所以，常规分析情况下，我们把这种简单对照维度，合并查询到业务数据表中，直接使用即可，而不加载该表，也能减少加载到

3402 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭