Regexp_extract BigQuery
是Google Cloud Platform中的一种数据分析工具，用于在BigQuery中使用正则表达式来提取数据。
正则表达式（Regular Expression）是一种用来匹配、查找和操作文本字符串的模式。它可以用来从字符串中提取特定的信息或执行复杂的文本替换操作。Regexp_extract BigQuery允许用户使用正则表达式来提取BigQuery中的数据，以满足各种数据分析和处理需求。
Regexp_extract BigQuery的主要特点和优势包括：
- 灵活性：正则表达式提供了强大的模式匹配和提取能力，可以应对各种复杂的数据处理场景。
- 高效性：BigQuery作为Google Cloud Platform的数据仓库，具有强大的计算和存储能力，可以高效地处理大规模的数据。
- 可扩展性：Regexp_extract BigQuery可以与其他BigQuery的功能和工具进行集成，如SQL查询、数据可视化等，可以灵活地构建复杂的数据处理流程。
- 数据安全性：Google Cloud Platform提供了严格的数据安全控制和身份验证机制，确保数据在处理过程中的安全性和隐私性。
Regexp_extract BigQuery可以应用于各种场景，例如：
- 数据清洗：使用正则表达式提取文本中的特定信息，例如提取电话号码、电子邮件地址等。
- 数据分析：使用正则表达式提取日志数据中的关键信息，如IP地址、URL等，以便进行数据分析和统计。
- 数据预处理：使用正则表达式对数据进行格式化、清理和转换，以适应特定的数据需求。
推荐的腾讯云相关产品： 腾讯云提供了类似的云计算产品和服务，可以与Regexp_extract BigQuery相媲美，例如：
- 腾讯云数据分析服务（Tencent Cloud Data Analysis）：提供了类似于BigQuery的数据分析和处理服务，支持正则表达式提取和处理数据。
- 腾讯云云数据库（Tencent Cloud Database）：提供了高性能的数据库服务，可以与数据分析服务集成，实现更复杂的数据处理和分析需求。
产品介绍链接：
- 腾讯云数据分析服务：https://cloud.tencent.com/product/adp
- 腾讯云云数据库：https://cloud.tencent.com/product/cdb
相关·内容
我有一个新行分隔的JSON文件，我将被上传到BigQuery。
JSON文件的每一行都包含许多字段，我想将其中的两个字段添加到一起，以形成一个包含两个相加的值的新列。
但是，有数百万条记录，在JSON完全上传之后，我不希望使用SQL来做这件事。
有没有什么流程可以完成我正在寻找的东西？
也许是JSON模式中的某些内容？或者可能是我将JSON和JSON schema上传到BigQuery的过程中出现的问题？
非常感谢！:)
浏览 0提问于2018-08-09得票数 1
我从具有hstore类型的Postgres下载数据，并使用字符串类型将其上传到Bigquery上。该列如下所示。
"bar"=>"12356","website_url"=>"http://www.google.com","baz"=>"1722.0"
如何使用http://www.google.com查询获得网站url字段BigQuery。
浏览 1提问于2018-10-02得票数 1
回答已采纳
我有一张BigQuery的桌子-
with temp as (
select "john.doe@company-Y.com" as email_id
union all
select "hello.world@company-X.com" as email_id
)
select * from temp
我想从firstname, lastname, company字段生成3个新列( email_id )，这样输出将是-
firstname, lastname, company
john doe company-Y
hello
浏览 2提问于2019-01-23得票数 1
回答已采纳
4回答
我有一个很大的CSV文件，包含错误的时间戳格式(8/1/2014 0:03:00)，希望导入到BigQuery中。如何转换成不同的格式(2014-08-19 07:41:35.220) ?？
处理过程中出现错误
File: 0 / Line:1 / Field:1, Could not parse '8/1/2014 0:03:00' as a timestamp. Required format is YYYY-MM-DD HH:MM[:SS[.SSSSSS]]
浏览 0提问于2015-11-17得票数 1
我编写了一个RegEx模式，该模式标识紧接数字字符的alpha字符，目的是在BigQuery的REGEXP_EXTRACT函数中使用它。
下面是模式：([A-Z]|[a-z])*(?=[0-9])
但是，由于BigQuery使用了RE2表达式库，正向查找函数无法工作。在不将数字字符包括在提取的字符串/匹配中的情况下，有什么替代方法来识别数字字符？
用例：
提取英国邮政编码的前1或2字母，例如
NW9 9KLM1 0TEph3 2eeN10 10
浏览 1提问于2022-05-04得票数 0
回答已采纳
我在BigQuery 或re2 中都找不到答案。
在BigQuery参考的正则表达式部分的所有示例中，每个正则表达式之前都有一个'r‘，但我在任何地方都找不到它的含义。例如：
REGEXP_EXTRACT(word，r'(\w\w\'\w\w)')
在我看来，它似乎是“regex”之类的类型转换，因为它允许在下面的字符串中使用“\”和“”。
感谢任何知道并发布答案的人:)
浏览 0提问于2014-11-09得票数 4
1回答
我无法在bigquery中的定制目标列上应用适当的。
标准MSSQL：：
SELECT * from mytable where CustomTargeting like = '%u=%' -- is all okay
与Bigquery(旧式-sql) :
SELECT REGEXP_EXTRACT(CustomTargeting, r'[^u=\d]') as validate_users
from [project:dataset.impressions_4213_20181112] Limit 10
错误：
必须指定一个捕获组。
更新：
却不能
浏览 0提问于2018-12-04得票数 11
我希望使用regexp表达式将bigquery中的电话号码划分为2个字段
PhoneNumberBusiness扩展
输入看起来像
预期的输出应该如下所示
浏览 9提问于2022-03-28得票数 -1
下面是tomcat访问日志中的一行：
127.0.0.1 - - [24/May/2016:17:53:05 -0700] "POST /users HTTP/1.1" 200 10676
这里是否有一种方法可以解析各种字段，如客户机IP、HTTP请求方法、请求路径、响应代码等，并将其加载到BigQuery表中的单独列中？
底部的表链接到，但我认为应该以一种可配置的方式以不同的方式解析和加载不同的日志，以便于查询？
还是我错过了一些最基本的东西？
浏览 3提问于2016-06-02得票数 0
回答已采纳
我有一个URL列表/这里有一个例子-
如何使用BigQuery在问号前获得所有字符？我想从这个字符串中得到。
非常感谢!
浏览 1提问于2020-07-13得票数 3
回答已采纳
2回答
在bigquery表中的一列中，下面的值作为字符串。我需要使用BigQuery视图提取内容值。
{type:System.Int32,content:202104}
我已经像下面这样转换了字符串，并尝试了JSON_EXTRACT语法的工作。
SELECT
JSON_EXTRACT(JSON'{"type":"System.Int32","content":202104}', '$.content')
AS json_data;
但是我已经手动地将这个转换为
{type:System.Int32,content:
浏览 13提问于2022-08-10得票数 0
回答已采纳
如果我有数据集test_dataset和test_table，并且在进行选择时只想从urls中提取id号。有没有办法在标准的bigquery sql中做到这一点？
也就是说我有一张桌子
url_name
http://www.website.com/ids/1234567/subfolder/data
http://www.website.com/ids/2345678/subfolder/data
etc
我想做的是
select DISTINCT(only_ids from url_name) as ids from test_dataset.test_table
# Output
id
浏览 3提问于2019-08-14得票数 0
回答已采纳
我有一列URL列。
我喜欢将URL分解成域和路径。我可以通过在BigQuery语法中使用域名(URL)来完成域。
我的问题是如何获得URL的路径？
例如
我想把X，Y和abc作为单独的专栏。
浏览 4提问于2014-02-25得票数 3
回答已采纳
2回答
我们希望运行一个查询，返回出现在多行中的两个单词短语。例如，以字符串“数据忍者”为例。因为它出现在数据集中的多个行中，所以查询应该返回。查询应从数据集中的所有行中查找所有此类短语，方法是在数据集中的行中查询两个相邻的单词组合(形成短语)。这两个相邻的单词组合应该来自我们加载到BigQuery的数据集。
我们如何用Google BigQuery编写这个查询？
数据集只是一长串英语句子。
浏览 0提问于2013-09-10得票数 2
回答已采纳
Bigquery： SELECT *,
REGEXP_EXTRACT(AM_EMAIL, '^[a-zA-Z0-9_.+-]+') as x_ALIAS,
"https:" AS COL1
FROM `agm-data-.global_i.P_ROUTING`; 想要将这个大查询转换成雪花，请建议在REGEXP_EXTRACT上的大查询雪花类似的功能？
浏览 36提问于2020-10-16得票数 1
是否有一种简单的方法可以将科学符号中的数字转换为浮动在BigQuery中？例如：
8.32E-4 to 0,08
浏览 4提问于2017-08-04得票数 1
回答已采纳
我在Bigquery的dataset中有一个表A。该表有多个列，其中一个名为hits_eventInfo_eventLabel的列的值如下所示：
{ID:AEEMEO，分数:8.990000；ID:SEAMCV，分数:8.990000；ID:HBLION；属性ID:DNSEAWH，Score:0.391670;ID:CP1853;ID:HI2367;ID:H25600;}
如果以表格形式写出此字符串，则它包含以下数据：
**ID | Score**
AEEMEO | 8.990000
SEAMCV | 8.990000
HBLION | -
DNSEA
浏览 5提问于2015-08-13得票数 2
回答已采纳
我想使用正则表达式在"u1=“和第一个分号之间提取一组字符。例如，给定以下字符串：id=1w54;name=nick;u1=blue;u2=male;u3=ohio;u5=
所需的regex输出应该是blue。
我在上测试了，它可以工作。但是，当我在BigQuery中使用regexp_extract(string, '(?<=u1=)[^;]*')运行此操作时，会得到一个错误，即“无法解析正则表达式:无效perl运算符：(？<)”。
我搞不懂为什么这不适用于烧烤。任何帮助都将不胜感激。
浏览 0提问于2021-06-01得票数 0
回答已采纳
我试图从如下字符串中提取用户名(x)：“请求来自用户'x‘，使用'y’应用程序.”
我想提取x。
我试着用以下方式做这件事：
SELECT *,
REGEXP_EXTRACT(message,r"(?<=User ')[^']*") AS user_id
FROM `dataset...`
但我从BigQuery那里得到了一个错误：
无法解析正则表达式:无效的perl运算符：(?< )
对怎么做有什么想法吗？
提前谢谢你！
浏览 9提问于2022-02-15得票数 1
回答已采纳
使用Google-BigQuery，我创建了一个包含近100个字段的查询，按其中96个字段分组：
SELECT
field1,field2,(...),MAX(field100) as max100
FROM dataset.table1
GROUP BY field1,field2,(...),field96
我得到了这个错误
Error: Maximum number of keys in GROUP BY clause is 64, query has 96 GROUP BY keys.
因此，没有机会使用google-bigquery对超过64个字段进行分组。有什么建议吗？
浏览 0提问于2015-06-25得票数 3
1回答
拉弦值
、
我希望有一个regex函数，它能够提取xxx值的=>、=>和其他任何东西。任何在人群中的bigquery大师-非常感谢！
{'system_ID'：'5ed0cd139c99000f15e70'，'xxx'：'5ed4b27908106a000ee0c501'}}
我真的很感激！！
浏览 3提问于2020-06-03得票数 0
我有这样的数据：
id val
1 ajkdks - jkdj
2 djs - djsd
我只想取第二个价值。即：
id val
1 jkdj
2 djsd
如果使用MySQL，我知道查询：
SUBSTRING_INDEX(SUBSTRING_INDEX(val, " - ", 2)," - ",-1)
但是，如果我使用bigquery，那么查询是什么呢？
浏览 4提问于2022-09-21得票数 0
我在bigquery中查询github sample_files数据集，我想获得不包括文件名的路径。
因此，如果我有/path/ to /file.txt，我希望它返回/path/to
在python中，我可以这样做：
"/".join(str.split(a, "/")[0:-1])
但是我不确定如何在bigquery/sql中做到这一点，有什么想法吗？谢谢!
浏览 2提问于2020-09-25得票数 0
我是Google Data的新手，目前还在解决以下问题。我在BigQuery中有一些日志数据，我正在尝试使用从日志中可视化一些信息。
问题是，当我在数据的一个特定维度上使用REGEXP_MATCH时，它不能与RegEx匹配。当我对日志数据的任何其他维度使用REGEXP_MATCH时，它可以正常工作。
我想知道，这可能是由于我在那个特定的维度中的长串，还是还有其他的想法？
顺便说一句，我可以使用REGEXP_REPLACE对该维度进行更改，但甚至不能针对REGEXP_REPLACE在其中替换的文本执行REGEXP_MATCH。
我已经在这方面工作了几天了，任何建议都会非常感谢。
浏览 6提问于2017-11-20得票数 0
回答已采纳
我在BigQuery上有一张关于日复一日发出的合同数量的表格：
date contract
2014-05-04 {jeans = 5, caps = 12, CDs = 1, Microwaves = 7, other = 6}
2014-05-05 {cups = 7, other = 5}
我需要申报发出了多少份未保密的合同。现在，我通过下载CSV并在Excel中计算出来来实现它。
我怎么能在这样的餐桌上吃到：
date other_contracts
2014-05-04 6
2014-05-05 5
谢谢!
浏览 4提问于2015-09-03得票数 1
回答已采纳
我正在尝试使用SUBSTR并获得像- +4，+06这样的值。来自BigQuery中的(UTC+4:00)，(UTC+06:00)。但是，我没有看到FIND函数可以知道:的位置和+的位置，这样我就可以直接使用：
SUBSTR(X,FIND(X,"+"),FIND(X,";")-1)
是否有替代的解决方案来实现这一点，或者我们需要使用REGEXP函数。
浏览 9提问于2020-02-08得票数 0
回答已采纳
我试图将代码从SQL服务器移到Bigquery，但在SELECT语句中的某些列中遇到了问题：
SELECT
CAST(regexp_extract(local_chores, '([^&]+)&([^&]+)&.*', 1) as string) as origin_place_code,
CAST(regexp_extract(local_chores, '([^&]+)&([^&]+)&.*', 2) as string) as origin_equipment_cod
浏览 7提问于2022-05-30得票数 0
回答已采纳
我在BigQuery上查询github。我试图使用以下regex表达式从给定的文件路径获取文件名，即:给定的/src/components/App.vue，它应该返回App
SELECT regexp_extract(f.path, r'[A-Za-z0-9_\-\.]+?(?=\.)') as filename
这将给出问题标题中所述的错误。有什么办法可以让我实现我所需要的吗？
浏览 8提问于2022-03-29得票数 1
回答已采纳
我正在尝试加载一个CSV文件，它是control+A分离到bigquery中的。我应该为bq load命令的-F参数传递什么选项？我尝试过的所有选项在加载时都会导致错误。
浏览 0提问于2016-12-21得票数 1
2回答
我在BigQuery中有一个包含数百万行的表，我希望将adx_catg_id列拆分为多个新列。请注意，adx_catg_id列包含由空格分隔的任意数量的单词。
如果字符串只包含少于五个单词，则下面的查询示例可以将adx_catg_id拆分为多个列。我可以扩展它以支持更多的单词，但我需要将其自动化。
SELECT
TS, str0, str2, str4, str6, str7
from
(select REGEXP_EXTRACT(str5, r'^(.*) .*') as str7
from
(select SUBSTR (str5, LENGTH(REG
浏览 1提问于2014-03-04得票数 3
回答已采纳
嗨，我在BigQuery列中有这样的字符串
cancellation_amount: 602000
after_cancellation_transaction_amount: 144500
refund_time: '2022-07-31T06:05:55.215203Z'
cancellation_amount: 144500
after_cancellation_transaction_amount: 0
refund_time: '2022-08-01T01:22:45.94919Z'
我已经使用这个逻辑来获得cancellation_amount
re
浏览 2提问于2022-09-24得票数 1
新年快乐，堆积如山！
我试图在bigquery中使用一些regex函数，但其中一些函数返回错误，就好像我的名字不对一样。
SELECT REGEXP_CONTAINS(path, r'^abc$') FROM [tablename]
Query Failed
Error: 2.24 - 2.26: Unrecognized function regexp_contains
当我执行类似的regex函数时，编辑器中的函数文本会改变颜色，并且查询工作。
SELECT REGEXP_EXTRACT(path, r'^abc$') FROM [tablename]
它
浏览 5提问于2017-01-03得票数 2
回答已采纳
2回答
在google-bigquery中，我需要拉取位于**和**之间的字符串，如下面的示例所示，该字符串位于列"Site_Data“下。
有人能帮帮我吗?10倍！
浏览 14提问于2017-03-09得票数 1
回答已采纳
来自以下字符串：
123456789 asd @ . 1234567 asdhhch 1234567890
as@ 12345 asdcc 1234567 1234567890
.1 .123456 .12345678 .123456789
asd 11111 1234567800
如何在bigquery标准中提取第一个7到10位数字？
123456789
1234567
12345678
1234567800
浏览 0提问于2021-07-07得票数 0
回答已采纳
我想提取bigquery外部表元数据。我经历过
但我无法找到与gcs外部表位置相关的字段。那么，还有其他元数据表给我外部表的位置信息吗？
浏览 3提问于2022-02-01得票数 0
我需要在BigQuery中的各种URL上使用，并从中提取不同的字符串。
例如，我有这个URL：
url = https://www.whatever.com/record-a-beautiful-and-professional-voice-over?sec_context=recommendation&context_alg=nodes&sec_context_referrer=search
我想使用BigQuery REGEXP_EXTRACT函数并提取名为context_alg=的参数后面的字符串(在&中的第一个URL之后出现)。意思是-我的输出将是nodes。
浏览 0提问于2016-10-18得票数 1
我遇到了一个BigQuery参数化的问题。我向函数传递了开始日期和结束日期，以及数据库中存在的潜在字段数组。开始和结束日期格式为"yyyymmdd“。
目标是能够传递一组日期和一组字段，并收集与这两个日期之间的字段数组相关的数据。
日期操作按预期工作。
字段数组的传递方式如下："user_pseudo_id“、"event_name”、"event_timestamp“为例(数组中可能有其他条目)
实际上，我希望进一步参数化查询，使其看起来类似于下面的内容，其中@search_params替换了查询的SELECT部分中的各个变量。其目的是使字段数组具有更高的可伸
浏览 0提问于2018-08-31得票数 0
回答已采纳
如何从Bigquery中的product_name列中只提取1111111：
AB~1111111|Omega | Shoes
我尝试了以下几点：
REGEXP_EXTRACT(product_name, r"^([0-9]+)|") AS Product_ID
浏览 2提问于2022-05-17得票数 0
我在bigquery表中有一个包含这些值的textPayload列
textPayload
# User@Host: root[root] @ [44.27.156.25] thread_id: 67301 server_id: 1220687984
我需要以以下方式将用户名和主机名提取为单独的字段：
Host:44.27.156.25，：用户
本专栏的所有值都将包含上面张贴的文本。
我正在尝试像这样的Select Regexp_Extract(textPayload, ->无法获得Regex
我是regexp_extract的新手，我无法提取第二个单词，那就是regexp_ext
浏览 2提问于2021-05-27得票数 1
回答已采纳
我在Tableau中创建Google Analytics数据源。数据源具有"new user“的段。
现在，我想在Google Bigquery中推送Google Analytics，并在Tableau中通过从Google Bigquery创建一个数据源来创建相同的数据源。
在Google Bigquery项目中检查GA数据源后。Bigquery中没有细分。
如何在Google Bigquery中按细分查询“新用户”？？
浏览 3提问于2017-05-21得票数 2
我在bigquery表中有一列包含大量逗号分隔的URL参数。
大多数URL参数都包含了花括号中的ifmobile和ifnotmobile值。
我想提取这些内容，并将它们写在单独的列中。但是值和长度并不是确定的，但它们总是放在括号中，并以ifnotmobile或ifmobile开头。
以下是一些例子：
URL参数
{"track":"{ifnotmobile:-215181}{ifmobile:-1039775}"}
{"track":"{ifmobile:-1173731}{ifnotmobile:-1173730}"}
浏览 1提问于2019-08-25得票数 0
回答已采纳
3回答
我在BigQuery有一张桌子：
ab_col_jfsfhfd_ggg_sdf
arfd_am_fdsf_fddg_fg
d_fdf_fdddg_ffddd_f
我想提取那些紧跟在第一个字符之后，然后是第二个字符的字符。我想得到以下信息：
col
am
fdf
我使用了以下正则表达式来提取字符，但它不像预期的那样工作：
^.*\_(\D+)\_.*$
regexp_replace(id,'^.*\\_(\\D+)\\_.*$' , '\\1')
请帮帮我！
浏览 6提问于2020-12-27得票数 0
回答已采纳
我试图从多个URL中提取一个字符串，这些URL都有一个共同点，尽管它们构建方式不同。让我举几个例子：
/cz/category/79478/productname
/https://www.store.net/de/category/49448/productname
/https://www.store.net/category/62448/productname
/category/79455/productname
我正在使用BigQuery，我能够为单个示例编写一个Regexp_extract子句，但是，我正在寻找一种方法来提取category/之后的数字(作为字符串)，(从第一个ur
浏览 5提问于2022-02-19得票数 -1
1回答
我真的对regex视而不见。我想在“page=”一词之后提取
page=course; uri=%2Fcourse
page=homepage
在这种情况下，它将是“课程”和“主页”。我试过了
REGEXP_EXTRACT(context, r"(?<=page=)+[a-zA-Z]*")
但是它说“不能解析正则表达式:无效的perl运算符：(?<" in Google BigQuery )。
有什么建议吗？谢谢!
浏览 2提问于2020-04-23得票数 0
2回答
我有包含以下模式的nginx日志文件：
111.111.111.xxx -16/9/2017:00:00 +0000 "GET /some.php?action_name=&idsite=4430 HTTP/1.1“200 290 .
我需要的是将它导入BigQuery。或者，首先我将日志转换为json格式，然后BigQuery可以轻松地将其吞并。
有方便的解决办法吗？
浏览 4提问于2017-09-29得票数 0
我现在坚持使用正确的REGEXP来提取BigQuery中的数字值，它既可以捕获整数，也可以捕获带有小数点的数字。 例如，如果数据按如下方式存储： "fee":"1“ 以下REGEXP不起作用： 选择REGEXP_EXTRACT(data，r‘“费用”：“(0-9+.0-9+)’) 这只捕获带有十进制值的值，但是如果它们没有十进制值并且只有1，那么如何在REGEXP中捕获这些值呢？ 任何帮助都将不胜感激。谢谢!
浏览 45提问于2021-07-21得票数 1
回答已采纳
1回答
我想在bigquery上解析来自github的比特币私钥，但我无法运行此代码 SELECT
f.repo_name,
f.path,
c.pkey
FROM
`bigquery-public-data:github_repos.files` f
JOIN (
SELECT
id,
REGEXP_EXTRACT(content, r'(?:^|[^a-zA-Z0=9])(5[HJK][123456789abcdefghijkmnopqrstuvwxyzABCDEFGHJKLMNPQRSTUVWXYZ]{48,49})(?:$|[^a-zA-Z0-9])&
浏览 9提问于2019-05-07得票数 0
回答已采纳
我只需要从这个较大的字符串中提取'"Loc":"CART"，‘： hits_eventInfo_eventLabel = {"AV":6,"CV":1,"PV":1,"AS":"1,2,3,4","Loc":"CART","PN":"Supreme Lover's® - 12\" Medium","PS":"6716a12c-0067-4d72-b560-a0dbd119
浏览 6提问于2019-12-06得票数 2
回答已采纳
我正在尝试从谷歌BigQuery的嵌套字段中提取":“之后的所有值，并将它们添加到单独的列中。但是，返回的结果为空。
我认为问题出在所使用的正则表达式r'^:(.*?)‘
SELECT
ARRAY(
SELECT regexp_extract(x, r'^(.*?)\:')
FROM UNNEST(split(GCAM,',')) AS x
WHERE regexp_extract(x, r'^(.*?)\:') IS NOT NULL
) AS GCAM_field,
ARRAY(
浏览 15提问于2019-07-27得票数 0
回答已采纳
在没有运算符“.”的情况下，有没有办法对BigQuery中的JSON字符串对象执行递归搜索？哪个显然是不支持的？
动机:在不知道“学生”和“班级”的情况下访问“姓名”。
查询
SELECT JSON_EXTRACT(json_text, '$..name') AS first_student
FROM UNNEST([
'{"class" : {"students" : {"name" : "Jane"}}}'
]) AS json_text;
期望输出
+-----------------+
|
浏览 1提问于2021-09-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
