BigQuery:将数组中的键值对转换为列
BigQuery是一种由Google Cloud提供的云原生数据仓库和分析引擎。它具有快速且高度可伸缩的特性，用于处理大规模数据集并提供复杂的分析功能。
在BigQuery中，将数组中的键值对转换为列可以使用UNNEST函数。UNNEST函数将数组拆分为多行，并为每个键值对创建一个新的行。通过使用UNNEST函数，可以轻松地查询和分析包含数组字段的数据。
以下是使用UNNEST函数将数组中的键值对转换为列的示例：
SELECT
column1,
column2,
key_value_pairs.key AS key,
key_value_pairs.value AS value
FROM
dataset.table,
UNNEST(array_column) AS key_value_pairs上述示例中，我们假设有一个包含数组字段的表（dataset.table），该数组字段名为array_column。通过使用UNNEST函数，我们将数组字段拆分为多行，并为每个键值对创建新的列，其中包括键（key）和值（value）。在查询中，我们还可以包括其他列，例如column1和column2。
BigQuery的优势包括：
- 强大的处理能力：BigQuery可以处理大规模数据集，支持高并发查询和快速的数据分析。
- 可扩展性：BigQuery具有高度可伸缩的架构，可以根据需要自动扩展计算资源。
- 灵活的查询语言：BigQuery使用类似于SQL的查询语言，使得用户可以轻松地编写和执行复杂的查询。
- 无服务器架构：作为云原生服务，BigQuery无需用户管理基础设施，减少了维护成本和管理工作量。
- 安全性：BigQuery提供了多层次的安全控制，包括访问控制、数据加密和审计日志，确保数据的安全性和隐私性。
BigQuery适用于各种应用场景，例如数据分析、业务智能、日志分析、机器学习等。它可以处理结构化和非结构化数据，并提供了丰富的分析功能和数据可视化工具。
作为腾讯云的相关产品，可以考虑使用TencentDB for BigQuery。TencentDB for BigQuery是腾讯云提供的与Google BigQuery兼容的云原生数据仓库服务，为用户提供快速、高可用的数据分析和查询功能。您可以通过访问以下链接获取更多关于TencentDB for BigQuery的信息：
相关·内容
我是蒙戈人的新手，我收集的文件如下：
[
{
"group": "Alpha"
"test_1": {
"description": "test description",
"value": 1
},
"test_2": {
"description": "test description",
"value": 2
},
"tes
浏览 7提问于2022-08-22得票数 0
回答已采纳
1回答
我想把下面的输入转换成给定的输出。我的要求是将键/值对转换为将键和值作为对象中的单个元素的对象。
输入：
{
"data": [
{
"Amount": 20,
"CostPrice": 50,
"SellingPrice": 100,
"FinalPrice": 120,
"Quantity": 2,
"Tax":
浏览 2提问于2022-09-20得票数 1
回答已采纳
我的数据：
{"_id": "0x026EFF", "Stations": {"MP": false, "AS": true, "RW": true, "FT": true}},
{"_id": "0x026F00", "Stations": {"MP": null, "AS": true, "RW": true, "FT": false}},
{"_id"
浏览 5提问于2022-08-30得票数 0
回答已采纳
1回答
我的MongoDB数据库中有以下类型的文档：
[
{
"_id": {
"$oid": "63267309592e38db589c576d"
},
"name": "ASOS DESIGN tapered smart shorts in white and navy stripe",
"color predictions": [
{
"Beige": {
"$numberInt&#
浏览 9提问于2022-09-18得票数 0
回答已采纳
1回答
{
"_id": 1,
"title": {
header1:{ "name":"A" , age:10, "active":true},
header2:{ "name":"B" , age:15, "active":false},
header3:{ "name":"C" , age:20, "active":true},
header4:{ "name":&#
浏览 3提问于2021-12-21得票数 1
回答已采纳
我有一个模式
// mongoose schema
const MySchema = new Schema({ objWithDynamicKeys: { type: Map, of: String } });
const OtherSchema = new Schema({
limit: Number,
refToMySchema: { type: Schema.Types.ObjectId, ref: 'MyModel' },
name: String,
});
MySchema模型的文档如下
const doc = {
_id: new ObjectId
浏览 1提问于2022-08-13得票数 2
回答已采纳
2回答
探索:我们如何将time和sv连接起来。转换正规化数组stract
{
"data": [
{
"time": "1998-08-31T03",
"sv": {
"05": {
"13": 0,
"14": 1
}
}
}
]
}
例如，预期的文档将是。
{
"data" : {
浏览 4提问于2021-09-16得票数 1
回答已采纳
1回答
我正在尝试编写一个查询，它将给出多级分组的结果。
如下所示：
firstLevel: [
{
SecondLevel-1:
[
{//Some Data},
{//Some Data}
]
},
{
SecondLevel-2:
[
{//Some Data},
{//Some Data}
]
}
]
下面是我的MongoPlayGround地址
我能够得到第一级分组
浏览 1提问于2020-12-09得票数 0
1回答
我试图通过数据字符串传递一个值，但由于某种原因，id没有通过。在这里，代码：
<script type="text/javascript">
$(document).ready(function()
{
$(".sourcecountry").change(function()
{
var id=$(this).val();
var dataString = 'id='+ id;
console.log(id);
浏览 2提问于2016-03-02得票数 1
回答已采纳
2回答
找不到以前的文章来回答我的问题……我正在学习如何在Ruby中使用破坏性的和非破坏性的方法。我找到了我正在做的练习的答案(破坏性地将一个数字添加到散列值中)，但我想弄清楚为什么我以前的一些解决方案不起作用。答案是这样的：
def modify_a_hash(the_hash, number_to_add_to_each_value)
the_hash.each { |k, v| the_hash[k] = v + number_to_add_to_each_value}
end
这两种解决方案都是非破坏性的(因为它们都使用“每个”，我不知道为什么。要使某些东西具有破坏性，是上面的
浏览 3提问于2014-09-15得票数 4
回答已采纳
1回答
例如，我的数据库中有一些东西，比如在客户集合中。
{
Max: {
shoping_list: {
food: { Pizza: 2, Ramen: 1, Sushi: 5 }
}
},
John: {
shoping_list: {
food: { Pizza: 2, Ramen: 1, Burger: 1 }
}
}
}
在我的后端，我想得到食物的总和。
const request = await customers.aggregate([
{
$group: {
_id: null,
浏览 4提问于2022-12-01得票数 0
回答已采纳
当我导航到order页面时，除<p标记field...Blank字段外，所有字段的值都会显示并得到以下错误
无法读取未定义(读取'label')的属性
我用的是角版13
所有代码如下所示
orders-list.component.html
<ng-template pTemplate="header">
<tr>
<th pSortableColumn="dateOrdered">
Date Orde
浏览 9提问于2022-06-06得票数 0
回答已采纳
1回答
如何将数组的元组转换为dict？
、、、、
我有以下的元组：
t = (array([0, 1, 2, 3], dtype=uint8), array([1568726, 346469, 589708, 91961]))
我需要像下面这样转换成一个数据集：
dict = {0: 1568726, 1: 346469, 2: 589708, 3: 91961}
我在试着
d = dict((x, y) for x, y in t)
但这并不能解决我对元组的筑巢问题。有什么建议吗？
看起来很相似，但事实并非如此:它的主要问题是重新转换dict元素，而这个问题主要关注如何将一个元组中的2个数组连接到一个dict中。
浏览 2提问于2017-05-11得票数 3
回答已采纳
目前我是这样做的
字符串url = (")；
WebClient xmlClient = new WebClient();
xmlClient.DownloadStringCompleted += new DownloadStringCompletedEventHandler(XMLFileLoaded);
xmlClient.DownloadStringAsync(new Uri(url));
但是，如何添加应该与下载字符串一起发送的值？例如，在android中，我可以使用namevalue对。
httpp
浏览 0提问于2011-12-15得票数 0
回答已采纳
我有一个数组，必须迭代并将列表外的对象追加到列表中的每个对象中。这是不正常的。因为提供是一个数组，如果它对每个对象都有多个对象，那么我需要该对象的typeId。
请求
[
{
"offers": [
{
"type": {
"id": "5"
},
"offerings": [
{
"id": "10"
},
浏览 2提问于2021-10-28得票数 2
回答已采纳
1回答
我将客户Id发送到具有Nifi的MongoDB，并想查询此客户的MongoDB。 如何从另一个处理器提取数据，查询数据库并将其发送到下一个处理器？ ?
浏览 108提问于2021-01-07得票数 0
1回答
我有一个很大的二进制文件，我希望将其作为48x1414339数组读取。我是这样读的：
f = open(fname, 'rb')
s = f.read()
import array
a = array.array('f',s)
但是这给了我一个一维的字符串。有没有办法让这些列保持不同呢？
浏览 1提问于2013-10-13得票数 0
以下是Javascript AJAX代码：
var anything=document.getElementById("textarea").val;
我已经实现了Javascript AJAX：
httpRequest.open('POST',anyURL,true);
http.send(anything);
现在，我的问题是，由于这是post数据，这实际上与任何html标签或id没有关联，我如何在php中接收它？
<?php
$parameter=$_POST[' '];
?>
我应该在那里的空白处放些什么？
浏览 2提问于2015-01-16得票数 0
我试图按值对地图进行排序，其中值是数组。
例如，下面的地图：
{'let1': ['art', 'can'], 'let2': ['own', 'kit', 'dig'], 'let3': ['art', 'zero']}
我想把它分类如下：
{'let1': ['art', 'can'], 'let3': ['art', 'zero'],
浏览 3提问于2020-08-03得票数 0
回答已采纳
我有一个UserInfo集合，其中有一个名为UserThemes的字段。如果有值大于100的主题，我希望得到用户。
这是UserInfo集合：
public record UserInfo:BaseDocument
{
public string UserName { get; set; }
public BsonDocument UserThemes { get; init; } = new BsonDocument();
}
这是一个存储数据的示例：
{
"_id" : ObjectId("62f8fe33127584b3e027060e&#
浏览 4提问于2022-08-14得票数 0
回答已采纳
我有一个这样的JSON，我想删除所有拥有一个对象数组的键，这些对象的值都是未定义的。
{
'2020-07-27': [{
name: "Study",
time: "11:30 - 12:30",
week: "monday"
}],
'2020-08-01': [{
name: "undefined",
time: "undefined",
week: "undefined"
}],
'
浏览 2提问于2020-07-31得票数 0
回答已采纳
我当前的集合包含以下格式的文档
{'name': 'Bob',
'school': 'UCLA',
'sport': 'Basketball'
}
{'name': 'Bob',
'school': 'UCLA',
'sport': 'Soccer'
}
{'name': 'Bob',
'school': 'UCLA',
'sp
浏览 3提问于2021-05-09得票数 0
我正试图尽可能优雅地将字典解析成一行字符串。
字符串可以包含从1到10之间的任何一个键值对。
我有一本字典：
var dict = {
rel: 'preload',
as: 'image',
type: 'image/webp'
}
我试图将其解析为查询字符串，将其转换为：
return "rel='preload' as='image' type='image/webp'"
我知道，使用Object.keys和forEach，我可以遍历Dict，但是如何在相同的语
浏览 16提问于2022-06-04得票数 -1
回答已采纳
我收到一个错误：“有吗？”不能转换为“Profiles”，我不知道如何纠正。我在试着扩充字典。我需要轮廓结构中的结构显示。
struct Profiles {
var id: Int
var name: String
}
extension NSDictionary {
var profileDictionary: [String : Profiles] {
var dictionary: [String : Profiles] = [:]
let keys = self.allKeys.compactMap { $0 as? String }
for
浏览 2提问于2022-10-16得票数 0
回答已采纳
我有一个集合，存储玩家的名字作为字段，他们的对手的名字和回合播放作为嵌入文档。
"player1" : { "player2": 10,"player3": 25,"player4":8,"player5": 12}
这意味着"player1"与player2共玩了10轮，与player3玩了25轮，与player4玩了8轮，与player5玩了12轮。
最后，我想询问一下与一名特定球员一起打过最多回合的前3名对手。我想让他们的名字和回合播放，并让他们按轮降序。
所以对于player1，我想返回&#
浏览 1提问于2017-04-26得票数 0
回答已采纳
我有一个键值对的列表。
var y = this.Request.Cookies.ToList();
会有多个Key="Key",Value="value"对。
这必须转换为字符串=> "key","Value"对的列表。
有什么建议吗？
浏览 5提问于2022-04-16得票数 0
回答已采纳
1回答
我在test集合中有一个文档模式，如下所示：
{
"_id" : NumberLong("A unique number"),
"text" : {
"characters_map" : {
"a" : 4,
"f" : 3,
"b" : 6,
..
浏览 3提问于2017-04-26得票数 0
回答已采纳
我有一个价值观列表(初级、中级、高级、流利、母语)，我想：
充当选择列表的模型，用作将in转换为在多个控制器和视图中使用的HTML 中的值的模型，以保持业务规则的顺序(在未来的某个时间点，由skill 命令<code>F 211</code>)
是否有一种方法来实现这个列表来满足我的全部或大部分需求？
浏览 3提问于2010-03-08得票数 5
回答已采纳
3回答
我试图使用如下数组对BigQuery列进行分组：
with test as (
select 1 as A, 2 as B
union all
select 3, null
)
select *,
[A,B] as grouped_columns
from test
但是，这是行不通的，因为B行2列中有一个null值。
事实上，这也是行不通的：
select [1, null] as test_array
然而，当说应该允许Nulls的时候。
在BigQuery中，数组是由相同数据类型的零个或多个值组成的有序列表。您可以构造简单数据类型(如INT64 )和复
浏览 5提问于2021-01-13得票数 1
回答已采纳
我的结构是..。
{ _id = object_id,
user: name,
days: { "4/1/2010": {"checked": true},
"4/2/2011": {"checked": false)}
}
我想要得到用户的总天数。如果days是一个数组，我会这样做...
db.collection.aggregate([{"$group": {"_id": null, {"$sum": {"$size": "
浏览 12提问于2018-07-23得票数 1
回答已采纳
我在Mongo中有3个集合(v5.0)，我希望使用其他集合中的值来获取集合的子集。我使用了$redact、$lookup等选项，但没有得到正确的结果。最重要的部分是数组中的数组查找。
用户
[
{ "id": "a@example.com", "region": "US"},
{ "id": "b@example.com", "region": "EU"},
{ "id": "c@example.com", "region
浏览 7提问于2022-05-31得票数 0
我的主要目标是对字典进行排序:例如2: 4，1: 2，4: 8，3: 6，从1到4。
我可以将这些对作为数组中的项打印，但是它们是字符串，所以当键进入两位数时，就不会按升序对它们进行排序。这就是为什么我觉得，如果我可以在相同的语句中打印它们，而不把它们放在字符串中，它就能工作。但如果有更简单的方法我也会接受的。
var dict=[2: 4, 1: 2, 4: 8, 3: 6]
var array=[String]()
for (key, value) in dict
{
array.append("\(key):\(value)")
}
array.sort()
浏览 0提问于2019-06-22得票数 0
我试图预先创建循环XML文件。首先，它从XML文件转到JSON，然后转到PHP数组，我试图用foreach函数(使用)循环它。
问题是，当XML文件只有一个活动，那么整个代码就不能工作；当XML文件有一个以上的活动时，代码就会工作：
<?php
header('Content-type: application/javascript; charset=utf-8');
set_include_path(implode(PATH_SEPARATOR, array(
'library',
get_include_path()
)));
re
浏览 3提问于2017-05-02得票数 0
回答已采纳
3回答
我有一个类似下面的对象。如何根据嵌套对象中的公共属性对类似的内容进行排序。我期望的输出是player2基于较高分数排在第一位。
我的挑战是访问要排序的每个对象的属性。
下面是我的想法和尝试，但它没有进行排序。
Object.keys(data).sort(function(p1, p2){
return p1.score - p2.score;
}).forEach(function(key) {
var value = data[key];
delete data[key];
data[key] = value;
});
我的数据
var data =
浏览 2提问于2018-01-24得票数 14
回答已采纳
2回答
用dict写csv文件
、、、
我使用python2.7，需要创建一个数据集，为此，我有一个字典，其中我将把它的内容放在csv文件中。这是我现在的字典：
dict = {"arthur1.jpg": [0.123,0.456,0.864], "arthur2.jpg": [0.124,0.764,0.965]}
在csv文件中，如下所示：
arthur1.jpg 0.123 0.456 0.864
arthur2.jpg 0.124 0.764 0.965
第一列是dicts的键所在的位置，同一行中的下一组列是相应键的值。
浏览 0提问于2015-05-31得票数 0
回答已采纳
我正在尝试将json数组加载到bigquery表中。数据结构如下：
[{"image":"testimage1","component":"component1"},{"image":"testimage2","component":"component2"}]
每个json记录对应于BigQuery中的一行。BigQuery中的列是: image和component。当我试图摄取数据时，它会失败，并出现解析错误。如果我试图将结构更改为这个，它就能工作。
{"
浏览 1提问于2022-02-24得票数 0
回答已采纳
1回答
我在这个问题上绞尽脑汁已经好几个小时了。
我有一个多维数组，我需要根据两个“列”选择唯一的项。
有没有一种有效的.Net或其他方法来实现这一点并实现所需的输出？
数据看起来像这样：
ComputerName、IPAddress、MacAddress、FirstObserved
我希望根据MacAddress和ComputerName确定唯一值，并根据最早的FirstObserved日期保留唯一值。
我已经尝试过用PowerShell的方法来做这件事，但至少可以说它太慢了。
$data | Group-Object -Property ComputerName,MacAddress | ForE
浏览 3提问于2019-06-03得票数 0
1回答
我现在拥有的是：
gcloud dataproc workflow-templates create $TEMPLATE_ID --region $REGION
gcloud beta dataproc workflow-templates set-managed-cluster $TEMPLATE_ID --region $REGION --cluster-name dailyhourlygtp --image-version 1.5
--master-machine-type=n1-standard-8 --worker-machine-type=n1-standard-16 --nu
浏览 1提问于2021-01-21得票数 3
回答已采纳
1回答
我正在寻找一种方式来存储嵌入产生的语言模型，如(T5)，在谷歌的BigQuery。
嵌入以Numpy阵列或张量的形式进行。
我找到了三种方法：
storageconvert TFRecord，将其写入TFRecord文件并存储到云TFRecord numpy数组以字符串形式存储，并将其存储为表存储中的字符串列，并以模式重复的方式存储到列中。(不确定是否可以保留嵌入向量条目的顺序)
希望任何人都能提出一些建议或其他方法。
非常感谢
浏览 1提问于2021-06-03得票数 6
摘要:我的尝试是接受这个firstObj对象，并创建一个更改了值的新对象secondObj，并使用尽可能干净的代码。
const firstObj = {
one: '100px',
two: '200px',
}
const secondObj = {
one: '50px',
two: '150px',
}
我已经尝试过了。
尝试1：
let t1 = []
Object.values(firstObj).forEach((index) => {
t1.push(`${(parseInt(index
浏览 1提问于2020-12-16得票数 1
回答已采纳
我在bigquery上有一大组tweet，现在我想过滤那些包含至少一个哈希标签列表的tweet。哈希标签保存在数组列中(从R中的list列上传)。如何在数组中的任何位置选择包含多个值之一的行？
在R.中用于分析的代码下面，dbplyr无法翻译purrr部分，我很高兴自己学习创建SQL，但还没有找到一个很好的起点。谢谢你的指点。
PS:我还没有上传Tweets到bigquery，他们目前生活在80 GB的RDS文件中。如果任何简单的数据转换会使这更容易，我仍然可以包括在上传。
tweets_sample <- tibble::tribble(
~text, ~hashtags,
&
浏览 1提问于2020-10-14得票数 0
回答已采纳
我需要你的支持，vlookup从一个文件到我的BigQuery电子表格的列。
目前，我在Google BigQuery中有一个包含多个列的查询，其中一个列的字段名为“project.dataset.spreadsheet”。在我的Google Cloud Storage中，我有另一个电子表格作为xlsx文件，其中有"query“和"group”列。
我想将此文件字段中正确的“组”值添加到我的BigQuery电子表格中。
提前感谢，来自奥地利的干杯！
网元
浏览 0提问于2019-08-14得票数 0
我想知道object中的字段数。
假设集合是test，对象是：
{
"_id" : ObjectId("5b710714773d477d6779a0ac"),
"_class" : "com.test.finddevice",
"deviceId" : {
"_id" : "abc",
"kind" : "abc"
},
"id" : 123,
"d
浏览 2提问于2018-08-13得票数 1
当使用客户端库时，我可以传递要插入到BigQuery中的对象列表，就像Go 中的这个
但如果我想做这样的事：
INSERT INTO table_name (col1, col2)
VALUES
("a", FARM_FINGERPRINT("a")),
("bcd", FARM_FINGERPRINT("bcd")),
也就是说，只提供值"a"，"bcd“插入到两列中，其中一列只是另一列的函数。
例如，如何在Go库中使用流插入来实现这一点？就像这个伪代码：
...
inserter :=
浏览 12提问于2021-12-12得票数 0
回答已采纳
在这个参考中，
为了将CSV数据加载到BigQuery中，它们使用：
var file = DriveApp.getFileById(csvFileId);
var data = file.getBlob().setContentType('application/octet-stream');
// Create the data upload job.
var job = {
configuration: {
load: {
destinationTable: {
projectId: projectId
浏览 0提问于2019-09-20得票数 1
回答已采纳
我已经从美国运通的门户下载了一年的.CSV文件。我想使用Google脚本来获取这些数据并将其放入Google BigQuery中。由于BigQuery UX没有提供将数据附加到表中的机制，所以不能真正地进行交互。因此，我已经写了一个脚本来做它：
var firstFileData = firstFile.getBlob().setContentType('application/octet-stream')
var firstFileDataString = firstFileData.getDataAsString()
var firstF
浏览 7提问于2022-02-09得票数 1
回答已采纳
1回答
我希望将解析树的一部分抽象为映射。具体地说，我想要一些具体的东西，比如：
syntax RecType = RECORD: "{" {(Ident "=" Num) ";"}* "}"
让我们分别说Ident和Num以及str和int。
抽象成像这样的东西：
public data RECTYPE = RECORD(map[str, int] rec);
这是可能的吗？我从这里得到了一些构造函数错误。
谢谢!
浏览 2提问于2015-05-12得票数 0
我需要从数百个类似于此的文档中检索数字数据：
{
"_id": "123",
"Notes": {
"1222": "Something is here"
},
"BehavioralData": {
"Folder1": {
"Sex": "Male",
"Age": "22",
"Date": "",
浏览 1提问于2022-07-25得票数 0
回答已采纳
2回答
我一直试图使用spread操作符将嵌套的对象属性复制到另一个对象中。但是我有个错误。
因此，我尝试将嵌套的对象分开展开：
try {
console.log(
...{
autre_panne: { nbr_op_sav: 12, percentage_op_sav: 0 },
fonctionnement_bluetooth: { nbr_op_sav: 13, percentage_op_sav: 0 },
memoire_interne: { nbr_op_sav: 15, percentage_op_sav: 0 },
non
浏览 0提问于2020-05-29得票数 0
回答已采纳
1回答
在我的Angular项目中，我从未排序的后端获取数据。数据以JSON格式的键值对形式出现。今天，我只使用keyvalue管道将键和值拆分为两列。我仍然希望这样做，但我希望数据以特定的顺序排序。我选择使用数组来按正确的顺序放置数据。(自定义管道)问题是我不知道如何获取存储在此数组中的键值对的元素。现在它只打印出object对象。有没有别的管道或东西可以让我用来获取数据？ 现在，我的代码看起来像这样： <tr *ngFor="let f of mydata$ | async | custompipe | keyvalue">
<
浏览 21提问于2020-04-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
