Kusto / KQL查询以获取distinct输出，然后在后续查询中使用
Kusto是一种用于大规模数据分析和查询的云原生数据分析引擎，而KQL（Kusto Query Language）则是Kusto的查询语言。通过Kusto / KQL查询，可以获取distinct（去重）输出，并在后续查询中使用。
Kusto / KQL查询以获取distinct输出的步骤如下：
- 使用"distinct"关键字：在Kusto / KQL查询中，可以使用"distinct"关键字来获取去重的输出。该关键字用于从查询结果中仅返回唯一的值，去除重复项。
示例查询语句：
TableName
| distinct ColumnName其中，"TableName"是要查询的表名，"ColumnName"是要获取distinct输出的列名。
- 后续查询中使用distinct输出：获取了distinct输出后，可以在后续的查询中使用该输出进行进一步的数据分析和处理。
示例查询语句：
TableName
| distinct ColumnName
| where AnotherColumn > 10在这个示例中，我们首先获取了"ColumnName"列的distinct输出，然后在后续的查询中使用了该输出进行了条件过滤（"where AnotherColumn > 10"）。
Kusto / KQL查询以获取distinct输出的优势：
- 去重功能：distinct关键字可以方便地去除查询结果中的重复项，使数据更加清晰和准确。
- 灵活性：distinct输出可以与其他Kusto / KQL查询语句结合使用，进行更复杂的数据分析和处理。
Kusto / KQL查询以获取distinct输出的应用场景：
- 数据分析：在大规模数据分析中，经常需要对数据进行去重操作，以便更好地理解和分析数据。
- 数据清洗：在数据清洗过程中，去除重复数据是一个常见的步骤，可以通过distinct查询来实现。
- 数据可视化：在数据可视化的过程中，distinct查询可以帮助我们获取唯一的数据值，以便更好地展示和呈现数据。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据仓库 ClickHouse：https://cloud.tencent.com/product/ch
- 腾讯云数据仓库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc
- 腾讯云数据仓库 TDSQL-M：https://cloud.tencent.com/product/tdsqlm
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
在Kusto KQL中有没有连接列的方法？
例如，对于某些在MySQL (V8)中具有列name的world数据集：
select group_agg(name) from world;
将导致：
| string_agg |
|-----------------------------------------------|
| Afghanistan,Azerbaijan,Bahrain,Bangladesh,... |
浏览 3提问于2020-02-03得票数 2
回答已采纳
我在Azure日志中有以下日志：
以上查询如下：
输出如下所示，看起来像一个‘散点图’，但我正在寻找一个类似于时间图的连接点，但未能做到：
我如何连接这些点，或者是否存在限制，或者上面的KQL (Kusto查询语言)的编写方式？
浏览 14提问于2021-02-27得票数 0
我能够获得公共演示表来学习和使用KQL查询。现在，我想将我的天蓝色集群链接到Kusto以使用KQL查询。Kusto插件只是导入了一些示例演示集群。除了使用KQL乱搞，我无法链接我的集群或日志分析工作空间。
我无法弄清楚如何添加我自己的集群。(基本上是如何构建URL )
浏览 6提问于2022-09-23得票数 0
是否有任何方法可以使用KQL查询大型本地文件(10k+行)，例如Excel、CSV等，以及存储在Kusto ()中的数据？
下面是我的场景:我广泛使用KQL来探索Kusto (Azure data Explorer)集群中托管的数据。大多数情况下，这些探索是非常动态的，并且是在一次性的情况下调查情况。
对于一些数据，我只有Excel和CSV文件，我想加入Kusto数据。我知道我可以用Pandas来做这件事，但是我特别想知道是否有任何方法可以用KQL来完成，最好不要设置集群并将数据吞到Kusto表中。
浏览 14提问于2022-11-23得票数 0
回答已采纳
1回答
我试图使用Kql魔术版0.1.114.post16在木星中运行kusto查询。我想删除500 k行限制，我认为在运行%kql --help "client-request-properties"时列出的%kql --help "client-request-properties"选项应该可以解决我的问题，但是我不知道如何在kql魔术中插入它。它不作为其他选项或命令工作。
浏览 16提问于2022-03-23得票数 0
我想利用KQL从不是Kusto集群的JSON字符串中查询数据。
我可以使用Kusto C# SDK加载json数据，然后使用KQL进行查询吗？
浏览 15提问于2021-12-13得票数 0
回答已采纳
1回答
我发现自己通过Azure language使用(KQL)，我很难找到一种方法来获得任何详细的执行报告或查询计划。
在PostgreSQL中，我会使用EXPLAIN来生成关于DBMS打算如何执行查询的报告，或者用EXPLAIN ANALYZE来表示查询是如何实际执行的。在KQL中有类似的东西吗？
对"kql查询计划“、"kusto解释查询”等的搜索基本上没有结果，但这可能只是意味着我不知道正确的术语。
浏览 7提问于2022-03-15得票数 2
需要使用KQL/Kusto查询在Azure监视中实现一系列警报。它是非常基本的，例如心跳、空闲磁盘空间(基于代理输出到)。
查看Terraform文档，我不确定要使用哪些资源。我希望我需要先在资源中构建查询，然后构建警报资源。但是，从文档来看，似乎应该将查询添加到此Resource中。
无论如何，如果有人能分享一个为虚拟机Win/linux实现天蓝色监视器警报的例子，那就太棒了。
浏览 5提问于2021-10-20得票数 0
回答已采纳
我正在尝试构建基于KQL查询的仪表板。我使用的仪表板工具知道如何呈现减价，但我不知道如何根据Kusto内部的查询结果(不使用外部工具)生成减价。
浏览 5提问于2022-09-20得票数 1
有没有办法在Kusto language (KQL) / Azure Data Explorer查询中注释行/解释带有注释的查询代码？
提前感谢
浏览 0提问于2019-05-12得票数 5
回答已采纳
根据的文章，人们可以创建SSIS作业来使用KQL查询来查询Kusto。
如何做到这一点？如何连接到SSIS包并从SSIS包查询ADX？
浏览 5提问于2021-10-23得票数 0
1回答
我有一项任务要把仪表板从Splunk转换到Kusto，我看到了由于Splunk在UTC时区有数据表的不同，但是我认为Kusto正在占用我的本地时区。1)是否有一种在Kusto中查询数据以识别当前时区的方法。2)将Kusto表或查询转换为使用UTC时区与Splunk数据匹配。谢谢。
浏览 2提问于2021-10-05得票数 0
回答已采纳
我有来自Kusto/KQL查询的数字输出，在这里，我希望格式化输出以有逗号分隔。我也想把它整到最近的整数。例如，它不是1000.2865，而是1,000。是否有任何内置的KQL功能来完成这一任务？我查过文件，但找不到。我希望能找到这样的东西：
format_number(myNumberColumn, 0, "commaThousands")
注意:如果它以字符串的形式出现，我对此也没意见，我还意识到Azure数据资源管理器中显示的输出具有可视化的格式。但是，一旦我将数据移到外部，我就失去了这种格式，就像我粘贴到Excel中或者使用仪表板的查询来显示一个关键指标一样。
浏览 10提问于2022-09-08得票数 1
在我azure监视器日志输出中，数据是数组格式，我想使用kusto来查询和获取表格格式的数组数据。您可以帮助如何做到这一点，而不是在KQL中手动粘贴JSON数组。
JSON输出数组：
{
"count": 6,
"value": [
{
"Total_Record_Count": 6,
"date": "2021-02-01"
},
{
"Total_Record_Coun
浏览 3提问于2021-03-02得票数 0
总的来说，我正试图设置一个天蓝色警报，当一台电脑通过“心跳表”关机时，我会发电子邮件给我。
假设我的Azure订阅中有5台机器，它们每分钟向一张名为Heart节拍的桌子报告一次，所以看起来如下：
目前，我可以查询“==‘Computer’name‘computer’name‘TimeGenerated >ago(500万)”，并找出一台计算机在过去5分钟内没有报告，并且已经停机()。
我对任何查询语言都不是很有经验，所以我想知道是否有一个查询可以检查是否有任何计算机在最后5-10分钟期间停止发送它的日志，因此会被关闭。Azure使用KQL或Kusto查询语言进行查询，上面的链接
浏览 3提问于2022-05-19得票数 2
回答已采纳
我正在尝试翻译以下MySQL (v5.6)查询： SELECT name FROM world WHERE capital LIKE CONCAT(name, '%city') 到Kusto KQL中，但以下代码不起作用： world | where capital matches regex strcat(name,".*city") | project name 可能是因为matches regex只接受一个字符串值，而concat(name,".*city")是一个列。 甚至下面的代码也不起作用： world | extend a =
浏览 67提问于2020-01-30得票数 0
我一直在使用Kusto Query Language (KQL)，并通过以下链接中的魔术命令%%kql从Jupyter Lab运行查询：
最近，对于相同的查询，我开始收到以下错误，而我过去运行这些查询时没有任何问题。有时，当我刷新我的jupyter实验室并连接到kql时，问题消失了，但似乎没有任何一致性，而且问题最近似乎变得更糟。
错误：
ChunkedEncodingError：(“连接断开: ConnectionResetError(10054，‘现有连接被远程主机强制关闭’，无，10054，无)”，ConnectionResetError(10054，‘现有连接被远程主机强制关闭’，无
浏览 1提问于2021-04-07得票数 0
1回答
目前，我可以使用查询单个集群和单个数据库：
KQL查询：
StormEventInfo
| take 10
| where environment contains "templ"
| where userType == "user" or isempty(userType)
python代码如下：
client = KustoClient(
KustoConnectionStringBuilder.with_aad_application_key_authentication(
KUSTO
浏览 34提问于2022-09-06得票数 1
我正在开发一个逻辑应用程序，它将创建一个bug，我必须在工作项中显示描述，如下所示：
{
"Description":
{
"Title":"",
"Validation step":"",
"OperationActivityId:":"",
"Environment detailsLink":"",
"Please click here"
浏览 3提问于2020-11-06得票数 6
是否有像jq这样的Linux命令行工具，但它运行的是Kusto查询？所以我可以做这样的事：
$ cat somedata.json | kql 'where user="ml" | count'
42
我的意思是在我自己的服务器上运行它，而不是使用Azure服务。
浏览 3提问于2022-01-26得票数 0
如何实现以下SQL查询使用偏移量在KQL中进行分页查询。
select * from testtable where code = '88580' limit 1000 offset 111
我在KQL中找不到像SQL中的偏移量那样的函数
浏览 27提问于2022-05-13得票数 2
回答已采纳
1回答
我正试图使用KQL查询语言获取Kusto数据库中用户的最后登录详细信息。但是，下面的查询没有得到确切的结果。
GlobalID -唯一的GUID值，它将在每次用户登录时创建。
UserId -登录UserId值
LastSuccessFullLoginTimeStamp -最大时间戳值
//Fetch Last Logged in userID details
let window = 2h;
Events
| where Timestamp >= ago(window)
| extend UserId = tostring(Properties.UserId)
| wher
浏览 5提问于2022-03-15得票数 0
回答已采纳
2回答
在将KQL语法提交到集群之前，是否有一种检查KQL语法的方法(在Powershell中最好，但也有其他方法)？
我想在我的CI管道中检查KQL代码回购的正确性。
谢谢!
浏览 5提问于2021-11-30得票数 3
回答已采纳
假设我有一个列表，我想要对列表中的每一项运行Kusto查询。 (在jupyter nb上) List=Aa，Bb，Cc，.... %%kql 让城市Where dt=Stormevent ==“Aa”/“Bb”....； Dt
浏览 13提问于2020-10-10得票数 1
我希望像偏移量一样在ADX表(kql)上实现分页，然后再取一些我们通常在Server中做的行，但是我无法在kusto查询lang中跳过/偏移选项。在ADX表记录上是否有实现分页的替代方法。
请提供一种不使用row_number()在ADX记录上应用分页的替代解决方案。
我们有取用或限制选项，寻找跳过记录的选项。
浏览 2提问于2022-03-25得票数 0
2回答
我正在尝试找到MySQL (v8) with子句的替代方法。
我有一些很长的查询，它使用with子句为一些结果设置别名。
with top5 as (
SELECT ....
)
SELECT .... from top5
UNION ALL .... from top5
我正在尝试找到Kusto KQL中的with子句的等价物。
任何帮助都将不胜感激。
浏览 34提问于2020-02-03得票数 1
回答已采纳
小问题:是否有人知道是否可以通过JDBC将Kusto函数(Azure Data )公开为视图。背景：
我们有一些可以连接到JDBC目标的工具(第三方不能更改)。不幸的是，它们中的大多数都不能看到或使用过程/函数，而只能在视图和表上操作。我们有一些非常复杂的查询用KQL实现，我们希望在这些工具中使用，并且不能在SQL.中轻松完成。
Kusto函数由JDBC驱动程序作为过程公开。是否有一种方法可以指定某些函数被导出为视图(在语义上是这样的)。我们在文件中没有发现任何东西。
浏览 1提问于2020-10-01得票数 0
1回答
我正在尝试使用查询参数和.NET Kusto SDK对Azure Data Explorer集群执行KQL查询。 我已经尝试将参数放在大括号{}中，而不放在大括号中。 我已经阅读了关于将参数传递给查询的文档，但我找不到任何示例来说明当通过Azure SDK传递到.NET数据资源管理器时，查询应该是什么样子。 当我在Kusto.Explorer工具中设置参数时，我的查询可以在该工具中工作，但在使用SDK时就不走运了。 var queryParameters = new Dictionary<string, string>()
{
浏览 37提问于2019-05-29得票数 2
1回答
我有一个Kusto查询，它返回一系列行，每个行都包含一个分号分隔列表。我已经能够将每一行的内容分割成一个列表，但是我还无法将该列表扁平化。不幸的是，我对使用Kusto非常陌生，所以我有点挣扎。
我尝试使用函数"union“、"join”、"flatten“，并查找包含单词"merge”或“select多”的函数(在c#中，我将使用这个函数在linq中扁平)。我也尝试过搜索类似的sql函数，所以我可以在Kusto中查找类似的查询，但是我没有任何运气。
我使用的查询：
| where Nicknames != ""
| project split(N
浏览 0提问于2019-07-31得票数 3
回答已采纳
我试图使用ADF完成从Azure Devops到Azure Kusto集群的增量加载。由于Kusto没有更新或删除特定记录的选项，我按照以下步骤实现增量数据加载。
数据将第一次作为满载加载到主表(表A)中。
我将从表A获得最大修改日期，并且只使用以下过滤器将最新修改的数据加载到库斯托的TableStg中。(>=(最大修改日期-1天)
我将在Kusto中创建一个临时表(TableTemp)，将修改后的/新数据(来自TableStg)合并到单个表中，然后使用下面的KQL将主表(表A)替换为临时表。
.set-or-replace TableTemp with (dist
浏览 1提问于2020-12-19得票数 0
1回答
我有一个Kusto时刻表，它有来自查询的联想。我想删除该图例中的附加文本，它在图表中可见。你能告诉我我是怎么用KQL做的吗？
例如，在下面，我想从图例中删除单词ValueName和Value，只显示Win_T3。
ValueName: Win_T3 : Value -> Win_T3
提前谢谢。
你好，尼哈
浏览 5提问于2022-04-19得票数 0
1回答
如果您想在项目或扩展操作符之后使用不同和不同的计数命令，我真的不明白有什么问题。
let planting_table = ['events.all']
| where FullName_Name == "plant_seed"
| extend SeedName = EventData.Payload.SeedName,
OasisName = EventData.Payload.OasisName,
TileName = EventData.Payload.TileName
| project-aw
浏览 14提问于2022-05-05得票数 1
回答已采纳
1回答
我正在尝试使用星火连接器从ADX集群加载数据，并将其保存在Azure存储中。但是ADX数据库中的表将每周更新一次，所以我如何编写KQL查询来只从集群加载最新数据并将其保存在存储中？
提前感谢！
这是火花连接器的代码。
query=“”表
数“”
dataframe= spark.read. \
format("com.microsoft.kusto.spark.datasource"). \
option("kustoCluster", kustoOptions["kustoCluster"]). \
浏览 12提问于2022-11-16得票数 0
我需要获取json数组中的第一个条目的值，并在Microsoft Defender ATP中使用Kusto KQL。
数据格式如下(匿名)，我想要“UserName”的值：
[{"UserName":"xyz","DomainName":"xyz","Sid":"xyz"}]
如何拆分或以任何其他方式获得"UserName“值？
浏览 6提问于2020-01-28得票数 1
回答已采纳
我正在检查kusto文档，以检查是否可以创建直方图，但我似乎没有找到任何与直方图相关的内容。只有条形图和柱状图。
是否有在KQL中创建直方图的方法，或者这是不可能的？
浏览 4提问于2022-05-10得票数 2
回答已采纳
当使用联合来包含2个日志分析工作区时，我遇到了KQL的问题。我的任务是计算来自两个不同的日志分析工作区的所有失败的ADFPipelineRun；A和B 以下是我从Log Analytics Workspace A和include Workspace B运行Kusto查询的语法： ADFPipelineRun //which is Workspace A
|union
workspace("<WorkspaceID for workspace B>").ADFPipelineRun
| where Status == "Failed"
| whe
浏览 21提问于2021-08-25得票数 0
Azure Data Explorer使用Kusto Query Language (KQL)。为什么Microsoft不使用SQL？
LogEvents
| where StartTime > datetime(2021-12-31)
| where EventType == 'Error'
| project StartTime, EventType , Message
在sql中也可以这样写，这样可以帮助开发人员学习一种新的语言。
select StartTime, EventType, Message from LogEvents where startime
浏览 8提问于2022-11-29得票数 0
回答已采纳
2回答
我有一个类似下面的查询()
SELECT State, EventType, DamageProperty From StormEvents where DamageProperty >= ALL(select DamageProperty from StormEvents where State = 'NEW YORK') AND EventType = 'Wildfire'
我想将此查询转换为KQL，但在转换ALL运算符时遇到了问题。
以下查询将收到相同的结果：
StormEvents | where (DamageProperty >= tos
浏览 0提问于2020-01-27得票数 0
我在zend开发，有一个相当大的mysql查询。查询运行良好，我得到了我想要的列表。我正在使用Select->Where...执行此操作。下面是查询。
SELECT DISTINCT `d`.* FROM `deliverable` AS `d` INNER JOIN `groups` AS `g1` ON d.id = g1.deliverable_id INNER JOIN `groupmembers` AS `gm1` ON g1.id = gm1.group_id LEFT JOIN `connection` AS `c` ON d.id = c.downstreamnode_i
浏览 3提问于2012-03-16得票数 1
我一直在尝试使用Azure门户上的Kusto查询语言获取磁盘/VM的最后活动时间。有可能追踪它吗？如果该资源在14天内未被使用，我希望此信息通知用户。
另外，有人能帮我找出在订阅中查询未使用资源列表(比如N天)的其他方法吗？
谢谢!
浏览 18提问于2022-03-24得票数 1
我正在运行查询，以获取数据-哪些用途，从而概括我们的日志分析成本
Usage
| where IsBillable == true
| summarize BillableDataGB = sum(Quantity) by Solution, DataType
| sort by Solution asc, DataType asc
然后输出如下：
如果我想深入研究更多(比如ContainerInsights/InfrastructureInsights/ServiceMap/VMInsights/LogManagement )，我应该使用什么样的查询来获得更详细的数据，那么名
浏览 13提问于2022-03-17得票数 0
1回答
我对Kusto完全是个新手，希望有人能给我建议和帮助。
我有一个包含大量数据的文件。这是一个非常简短的示例：
我想要做的，是比较name，userID，并计算这2列在分钟(基于时间戳)或天(只是为了方便，我可以将天转换为分钟)的时间范围内重复自己多少次。
到目前为止，我使用的代码似乎只考虑其中一列并计数，它不检查它们以前是否出现过。
这就是我所使用的：
"| summarize count() by bin(_timestamp, 4320m), name, userID"
使用正确的查询，我希望收到所有列的返回(假设时间戳为13:38:01)，即有一个名为count
浏览 0提问于2021-05-28得票数 0
我正在尝试根据时间戳选择行。在下面的示例数据中，一些列包含重复的计算机名称。我对有最新时间戳的那一排感兴趣。
+------------------------+----------+---------+------------+
| TIMEST AMP | COMPUTER | VERSION | MORE COLS. |
+------------------------+----------+---------+------------+
| 2019-10-02 10:32:40 | COMPA | 1234 | ... |
+
浏览 7提问于2020-10-08得票数 1
回答已采纳
我有一个Kusto图表，其中包含查询中的变量名称(Platform)。我想从这个图例中删除额外的文本。我做了一些研究，并且能够从SQL中看到类似的结果，但请您告诉我如何在KQL中实现它。
例如，在下面，我想从图例中移除平台和包的大小，只显示Win_T3 & Linux_T3
PackageSize"Platform"：“Platform”："Win"_"T3“：”Linux“_T3: PackageSize
下面是数据表
下面是图例在图表中的显示方式
我希望图表图例只显示windows_C4。从图例中移除“图例”和“补丁”大
浏览 3提问于2021-10-05得票数 3
我们正在使用Azure DevOps服务器2019 (on-prem)。因此，构建分析是非常不存在的。因此，我们设置了一个过程，将完成的构建度量上载到Azure AppInsights，这允许我们编写各种有趣的仪表板。
我的经理想知道三件事：
构建多久会失败一次？
建造需要多长时间？
这个建筑会持续多长时间？
前两个很简单，但最后一个很难。
首先，我将问题转化为Sql，并借助解决了这个问题。
在收到了Sql的答案之后，我能够将它翻译成Kql (AppInsights使用的Kusto查询语言)，如下所示：
customEvents
| where customDimensio
浏览 0提问于2020-01-24得票数 2
回答已采纳
我在Apps中运行了Azure函数应用程序，并且我能够在Metrics中按实例级别获得Http错误的数量(Pls见图)。我想通过Kusto查询获得相同级别的化妆品，并尝试了所有无法找到的日志表。是否有可能通过实例使用Kusto获得这些指标？
我签了AzureMetrics，没有存储任何实例级的数据:下面是用于获取所有Here错误的查询。
AzureMetrics
| where ResourceGroup == "RG"
| where TimeGenerated {TimeRange}
| where ResourceId in ("ResourceId
浏览 4提问于2022-01-21得票数 0
可以用KQL创建一个数据库吗？ 我在文档中的Databases management下看不到这个选项。 我知道我可以使用SDK/CLI创建一个数据库，但我经常使用Kusto，如果我能找到这个选项就太好了。 我的场景是-端到端测试的数据库和一般的游乐场(不是生产的东西)。
浏览 24提问于2020-11-02得票数 0
回答已采纳
给定示例查询：
StormEvents | evaluate funnel_sequence(EpisodeId, StartTime, datetime(2007-01-01), datetime(2008-01-01), 1d,365d, EventType, dynamic(['Tornado', 'Hail']))
返回3个表结果，PrevNext、Prev和Next，如何在KQL中访问其中一个结果？我感兴趣的是：
let PrevNext, Prev, Next = StormEvents | funnel_sequence(...);
Next |
浏览 13提问于2022-02-04得票数 1
回答已采纳
1回答
我有一个关于KQL查询的问题。我想在KQL查询中使用一个时间，它只显示08:00到17:00之间的结果。
如何在KQL查询中构建这些？我只找到DateTime变量，但我只需要时间？
非常感谢。
你好，菲尔
浏览 9提问于2022-10-26得票数 -1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
