如何在Apache Druid中将嵌套数据转换为扁平化数据
模型出错了，请稍后重试~
相关·内容
我将apache 0.22.1安装为集群(主节点、数据和查询节点)，并将其添加到common.runtime.properties中的数组common.runtime.properties中，从而启用了“德鲁伊-谷歌-扩展”。最后，我将GOOGLE_APPLICATION_CREDENTIALS (它的值为中定义的服务帐户json )定义为运行德鲁伊服务的用户的环境变量。然而，当我尝试从GCR桶中摄取数据时，我得到了以下错误：
org.apache.druid.data.input.google.GoogleCloudStorageInputSource，错误:无法构造问题的实例:无法提供，请
浏览 13提问于2022-01-11得票数 0
回答已采纳
首先，我将两个mysql表插入到kafka中，然后在druid.Now中加载kafka主题。我在druid中有两个数据源，其中一个数据源包含多达6000条记录，另一个数据源包含多达720000条记录。我试图使用druid join查询从两个数据源获取记录，但它显示以下错误： Resource limit exceeded / Subquery generated results beyond maximum[100000] /
org.apache.druid.query.ResourceLimitExceededException 查询： SELECT * FROM unsold_all
浏览 116提问于2020-10-06得票数 0
我会解释我的情况。我有一个本地Apache Druid，我设法让Druid在Dataproc集群上执行Hadoop摄取作业(Mapreduce)。作业运行正常，但在Dataproc仪表板上看不到问题。 注意: Dataproc集群和Druid之间的唯一连接是主节点和Druid集群之间的VPN连接。
浏览 11提问于2020-09-29得票数 1
回答已采纳
1回答
昨天，我从Hive创建了我的第一个数据源Druid。今天，我不确定这是否行得通..。 首先，我运行以下代码来创建我的数据库： SET hive.druid.broker.address.default = 10.20.173.30:8082;
SET hive.druid.metadata.username = druid;
SET hive.druid.metadata.password = druid_password;
SET hive.druid.metadata.db.type = postgresql;
SET hive.druid.metadata.uri = jdbc:pos
浏览 52提问于2019-10-15得票数 2
回答已采纳
我有一个Apache Druid数据库，我想用Prometheus监控Apache Druid数据库。我研究发现Druid Exporter支持Prometheus从Apache Druid收集指标，我找到了下面的文档：
我把所有东西都安装在docker里。
遵循指引，我在德鲁伊的common.runtime.properties文件中设置：
> druid_emitter_http_recipientBaseUrl=http://<druid_exporter_url>:<druid_exporter_port>/druid
> druid_emitte
浏览 31提问于2021-07-19得票数 0
2回答
我错误地从Hadoop中删除了数据。我在Druid中有这些数据，现在我想将这些数据从Druid恢复到Hadoop，以避免进一步的数据恢复问题。
浏览 1提问于2018-12-13得票数 0
1回答
面对快速摄取德鲁伊的问题。在org.apache.hadoop.mapred.LocalJobRunner - map任务执行器完成后，事情开始中断。它能够获取输入文件。
我的规范json文件-
{
"hadoopCoordinates": "org.apache.hadoop:hadoop-client:2.6.0",
"spec": {
"dataSchema": {
"dataSource": "apps_searchprivacy",
浏览 3提问于2017-02-03得票数 1
目标： 我正在测试Apache Druid的不同发行版。我的目标是最终在docker-compose设置中使用Druid。 预期结果： 在本地安装并运行(使用start-micro-quickstart)的Druid 0.21.1与使用docker-compose运行的Druid 0.21.1相同。 实际结果： 在本地安装和运行的Druid有一个数据摄取页面，如下所示： ? 来自Druid存储库的docker-compose.yml没有按原样运行，因为当0.21.1是最新可用的镜像时，它引用了一个druid:0.22.0镜像。当对0.22.0的引用更改为0.21.0时，docker-co
浏览 28提问于2021-08-30得票数 0
回答已采纳
我正在尝试从PostgreSQL到Druid摄取数据。创建索引任务并抛出NullPointerExcpetion失败。
摄食规格
{
"type": "index",
"spec": {
"dataSchema": {
"dataSource": "dataset_new10"
},
"ioConfig": {
"type": "index"
浏览 0提问于2019-07-10得票数 2
回答已采纳
1回答
我已经使用德鲁伊文档中提到的配置设置了一个集群德鲁伊。
我正在使用AWS S3进行深度存储。下面是我的公共配置文件的片段
druid.extensions.loadList=["druid-datasketches", "mysql-metadata-storage", "druid-s3-extensions", "druid-orc-extensions", "druid-lookups-cached-global"]
# For S3:
druid.storage.type=s3
druid.storage
浏览 5提问于2020-10-05得票数 0
我正在使用docker-compose部署Apache-druid镜像。我收到以下错误，错误:无法找到或加载主类io.druid.cli.Main。
我已经正确地设置了CLASSPATH。文件在CLASSPATH中。
有什么建议吗？谢谢你的帮助。
谢谢，舒巴达
浏览 1提问于2020-03-27得票数 0
Apache索引服务使用avro_stream作为解析器类型，avroBytesDecoder集类型为schema_registry和url模式注册表url。当使用kafka数据和logParseExceptions为真时，获取以下日志：
2021-01-06T02:48:33,022 ERROR [task-runner-0-priority-0] org.apache.druid.indexing.seekablestream.SeekableStreamIndexTaskRunner - Encountered parse exception on row from partition[
浏览 6提问于2021-01-06得票数 0
回答已采纳
我用宁静把数据注入德鲁伊。数据源是可见的，通过霸主的控制台，所有的好我可以查询。
宁静 0.1.0
Druid 12.3
超级集 0.1.0
当我将Druid的数据源附加到Superset时，我看到所有定义的列都是String类型的。这很奇怪，因为我在宁静模式中定义了以下类型：
"dimensionsSpec": {
"dimensions": [
"some_id",
{
"type": "double",
"name": "
浏览 0提问于2019-03-19得票数 0
1回答
我的环境在下面。
MacBook Pro (13英寸，2019年，4个迅雷3端口)
2.8 GHz四CoreIntel核心i7
16 GB 2133 MHz LPDDR3
Intel Iris Plus Graphics 655 1536 MB
码头: 19.03.12
德鲁伊: 0.19.0
尽管我遵守了官方的指示，但我未能在本地构建或运行德鲁伊。
关于这个：
我输入了以下命令。
git clone https://github.com/apache/druid.git
docker build -t apache/druid:tag -f distribut
浏览 0提问于2020-08-06得票数 1
我是第一次设置德鲁伊，在尝试使用docker-compose启动德鲁伊时遇到了以下问题， 2020-04-10T14:40:01,837错误qtp1667348377-84 org.apache.druid.server.router.QueryHostFinder -灾难性故障！根本找不到服务器！请求失败！：{class=org.apache.druid.server.router.QueryHostFinder} 2020-04-10T14:40:01,837 WARN qtp1667348377-84 org.eclipse.jetty.server.HttpChannel - /dr
浏览 159提问于2020-04-11得票数 5
有没有人可以通过docker-compose文件使用MySql来存储德鲁伊的元数据？我已经花了几个小时，但我仍然在德鲁伊代理组件中得到错误。
我想使用mysql而不是postgres的原因是因为一个供应商的docker容器错误地连接到了Druid的postgres服务器，而不是它自己的服务器，并且更改postgres的端口也没有帮助。
下面是我在'broker‘中看到的错误。
2021-02-23T15:15:22,464 DEBUG [qtp575779772-162] org.apache.druid.jetty.RequestLog - 172.16.1.16 POST //17
浏览 10提问于2021-03-05得票数 0
1回答
从蜂巢到德鲁伊交互时出错
、、、
我正在尝试从Hive创建一个Druid数据源，并为此使用了表Hive。
首先，我创建了一个数据库Hive：database_hive，然后在这个数据库中创建了一个表。
CREATE TABLE database_hive.hive_table (
timemachine int,
userId String,
lang String,
location String,
name String,
network String,
posted String,
sentiment String,
text String,
);
浏览 6提问于2019-10-14得票数 0
回答已采纳
我在普雷姆机器上安装了德鲁伊的微型服务器。我想用HDFS作为德鲁伊的深层存储。我使用了以下、和作为参考。
我在/apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties中做了以下修改
druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"]
#
浏览 9提问于2019-12-03得票数 0
回答已采纳
druid hive处理程序的jar文件就在那里。Clients表已在包含数据的配置单元中。配置单元库文件夹hive-druid-handler-3.1.2.jar中的文件名。
当我尝试为德鲁伊在hive中创建表时，我得到了错误an
FAILED: SemanticException Cannot find class 'org.apache.hadoop.hive.druid.DruidStorageHandler'
下面是SQL语句。
CREATE TABLE ssb_druid_hive
STORED BY 'org.apache.hadoop.hive.
dru
浏览 5提问于2019-12-17得票数 3
我正在尝试创建一个基于现有的德鲁伊表格的德鲁伊表格使用下面的查询，我面临着错误。
查询：
CREATE TABLE IF NOT EXISTS database.druid_table2 STORED BY
'org.apache.hadoop.hive.druid.DruidStorageHandler' AS SELECT '__time' as `__time`,column1, column2, column3 FROM database.druid_table1;
错误：
org.apache.hive.service.cli.HiveS
浏览 0提问于2020-09-25得票数 1
我正在尝试了解Apache Druid中原生查询的某些方面的性能。有没有办法获得原生查询的执行计划？对于Druid中的SQL，我们有...
EXPLAIN PLAN FOR SELECT * FORM ds
对于原生查询，有没有等效的命令？
浏览 7提问于2020-08-10得票数 2
我正在尝试使用火龙带从PostgreSQL到Druid的数据。
我在conf文件中添加了druid.extensions.loadList=["postgresql-metadata-storage"]，但是任务失败
java.lang.ClassCastException:不能将java.util.LinkedHashMap转换为java.nio.ByteBuffer
摄食规格文件
{
"type": "index",
"spec": {
"dataSchema": {
浏览 0提问于2019-07-10得票数 0
回答已采纳
2回答
如何使用spark和Avatica驱动程序从Druid读取数据？
使用python和Jaydebeapi模块从Druid读取数据，就像下面的代码一样，我成功了。
$ python
import jaydebeapi
conn = jaydebeapi.connect("org.apache.calcite.avatica.remote.Driver",
"jdbc:avatica:remote:url=http://0.0.0.0:8082/druid/v2/sql/avatica/",
浏览 10提问于2020-10-21得票数 0
长话短说:德鲁伊没有摄入腐朽的卡夫卡唱片。我怎么能跳过呢？
我使用schema_registry成功地将德鲁伊配置为从卡夫卡摄取数据。一切按预期工作，直到德鲁伊击中，在某些偏移，一个坏的记录，没有有效的数据，因为它已损坏。如果我查看任务日志，就会发现以下异常：
2022-03-14T13:46:03,647 ERROR [task-runner-0-priority-0] org.apache.druid.indexing.seekablestream.SeekableStreamIndexTaskRunner - Encountered exception while running tas
浏览 6提问于2022-03-14得票数 0
回答已采纳
1回答
当我尝试这个的时候，它起了作用：
B = FOREACH A {
X = STRSPLIT(agegroup,'-',0);
}
输出：
((20,30))
((20+))
((20,40))
and so on...
现在，我尝试了这样的FLATTEN：
B = FOREACH A {
X = FLATTEN(STRSPLIT(agegroup,'-',0));
}
我得到了以下错误：
Pig Stack Trace
---------------
ERROR 1200: <file PigScript.pi
浏览 8提问于2016-04-21得票数 0
回答已采纳
我试图将apache druid连接到apache超集，但我在源窗口中找不到druid数据库选项，所以如果有人可以帮助我，请。 我尝试使用pydruid进行连接，但遇到了这个问题: sqlalchemy: druid://127.0.0.1:8082/druid/v2/sql/sales_1 调试:urllib3.connectionpool:正在启动新的HTTP连接(1)：127.0.0.1:8082调试:urllib3.connectionpool：http://127.0.0.1:8082 "POST /druid/v2/sql/sales_1HTTP/1.1“404 0意外错
浏览 39提问于2020-06-28得票数 1
回答已采纳
我正在尝试使用PreparedStatement占位符作为SQL聚合函数的参数。如果我用一个数值替换?占位符并去掉setDouble调用，查询就能正常工作。
public static String QUERY = """
SELECT DS_GET_QUANTILE(DS_QUANTILES_SKETCH("logins"), ?) as "rank"
FROM (SELECT ip, sum("login-counts") AS "attempts
浏览 2提问于2021-03-15得票数 2
回答已采纳
我已经建立了一个多节点的德鲁伊集群，其中: 1) 1节点作为协调器运行，2)每个节点运行历史管理器和中间管理器。(r3.2xl) 3) 1节点运行代理(r3.2xl)
现在，我已经运行了一个EMR集群，我想将它用于摄取任务，问题是每当我试图通过CURL命令提交作业时，作业总是以本地hadoop作业的形式在两个中间管理器中启动，而不是提交到远程EMR集群。我的数据位于S3中，S3也被配置为深度存储。我也把所有的罐子从电子病历母版复制到hadoop-dependencies/hadoop-client/2.7.3/。
德鲁伊版本: 0.9.2电子病历版本: 5.2
请查找附加的索引作业、常见的运行
浏览 4提问于2017-01-11得票数 0
当我试图向德鲁伊用户界面(通过路由器)提交摄取规范时，我得到了“未能提交主管:状态代码502的请求失败”的错误。摄入规范在独立的德鲁伊服务器中工作。
我使用4台机器设置了集群--1台用于协调器和霸主(主)，1台用于历史和中间管理器(数据)，1台用于代理(查询)，1台用于路由器，其中包含一个单独的用于动物园管理员的实例。日志中没有错误。
摄入规范如下：
{
"type": "kafka",
"dataSchema": {
"dataSource": "table1",
"parser&
浏览 1提问于2019-05-20得票数 1
回答已采纳
Druid集群和Hive/Hadoop集群分别运行正常。我们在Hive中创建了一个从Druid (用于ETL)读取数据的表，然而，在最初的测试中，我们发现我们不能从它执行简单的SELECT *，后面跟着这个错误：
hive> select * from druid_hive_table;
OK
druid_hive_table.__time druid_hive_table.op_ts druid_hive_table.op_type druid_hive_table.pos druid_hive_table.table
Failed with exception java
浏览 1提问于2020-02-10得票数 1
mysql版本: 5.7.20
mysql-connector-java: 5.1.37
编码:utf-8UNICODE(Utf8mb4)
映射器中的sql：
<insert id="insert" parameterType="cc.xx.xx.entity.PersonInfo" useGeneratedKeys="true" keyProperty="id" >
insert into person_info ( name, age)
values (
#{name,jdb
浏览 1提问于2018-10-31得票数 0
首先，我对蜂巢和德鲁伊比较陌生。我已经设置了一个连接到德鲁伊数据源的hive外部表。我可以查询简单的SELECTS，就像这样。示例：
SELECT id FROM druidtable;
result:
+------------+
| id |
+------------+
| 10001 |
| 10000 |
+------------+
现在我想添加一个order by id语句。然而，这会导致某种连接错误吗？
堆栈跟踪：
INFO : Compiling command(queryId=hive_20190730090350_28947166-b
浏览 14提问于2019-07-30得票数 1
回答已采纳
我是Apache超集的新手，我想实现图表，它应该表示粘性意味着每日活跃用户/每月活跃用户的比率。使用Druid作为数据源。我的数据库中的列"userId"，"event"，"timestamp“。
浏览 21提问于2020-12-28得票数 1
我在整合蜂巢和德鲁伊时遇到了麻烦。我想从hive插入一些数据到Druid，但我总是收到这个错误。
失败:执行错误，从org.apache.hive.druid.io.druid.java.util.common.UOE:返回代码%1。1992-01-01T00:00:00.000Z/1993-01-01T01:00:00.000+01:00和1993-01-01T00:00:00.000+01:00/1994-01-01T00:00:00.000+01:00无法添加具有相同版本org.apache.hadoop.hive.ql.exec.DDLTask的重叠段
我认为这是因为我的HDP集群使用
浏览 0提问于2018-07-08得票数 0
我正在我的企业Kube上部署Druid-operator。我正在得到OOM终止错误：
NAME READY STATUS RESTARTS AGE
druid-operator-c68cf5bc8-n6pzt 1/1 Running 0 107m
druid-tiny-cluster-brokers-0 0/1 OOMKilled 1 62s
druid-tiny-cluster-coordinators-0 0/1
浏览 9提问于2021-03-30得票数 1
我想将火花批处理结果数据写入Apache。我知道德鲁伊有本地批处理入口，，如index_parallel。Druid运行Map-在同一个集群中减少作业。但我只想用Druid作为数据存储。我想聚合数据外部星区集群，然后将其发送到Druid集群。
德鲁伊有Tranquility的实时摄取。我可以使用宁静发送批处理数据，但这并不有效。如何有效地将批处理结果发送到德鲁伊？
浏览 4提问于2019-11-11得票数 0
2回答
我正在使用下面的代码来解析小的xml文件，它正在成功地工作。但是当我解析巨大的数据文件时，我得到了一个堆栈溢出错误。因此，我决定将此方法转换为迭代样式。最初，在编写此方法时，我创建了逻辑并成功地编写了它，但在转换为迭代样式时，我完全迷失了方向，并且无法获得所需的输出。这是我的递归代码：
private void xmlParsing(Node node,int indent) throws IOException {
if (node.hasChildNodes()) {
Node firstChild=node.getFirstChild();
xml
浏览 0提问于2011-12-29得票数 2
回答已采纳
我有传入的Avro记录，大致遵循下面的格式。我能够读取它们并在现有的NiFi流中转换它们。但是，最近的一项更改要求我从这些文件中读取数据，并解析本例中的嵌套记录employers。我阅读了Apache NiFi的博客文章，，但是我想不出如何让AvroRecordReader解析嵌套记录。
{
"name": "recordFormatName",
"namespace": "nifi.examples",
"type": "record",
"fields": [
浏览 1提问于2018-05-21得票数 1
回答已采纳
我有一个数据的hadoop摄取过程(就像一样)
当前的德鲁伊索引器版本是0.14.2-incubating
数据是GCS上的TSV文件。
以前使用的是德鲁伊索引器的旧版本，没有任何问题。升级到新版本后出现了错误。
一些细节
下面是我的规范中的一个解析部分：
"parser": {
"parseSpec": {
"dimensionsSpec": {
"spatialDimensions": [
{
浏览 1提问于2019-07-26得票数 0
1回答
我正在尝试使用druid hook将数据从hdfs加载到druid，下面是我的dag脚本：
from datetime import datetime, timedelta
import json
from airflow.hooks import HttpHook, DruidHook
from airflow.operators import PythonOperator
from airflow.models import DAG
def check_druid_con():
dr_hook = DruidHook(druid_ingest_conn_id='DRUID_IN
浏览 1提问于2017-08-10得票数 0
我对Apache Kafka和数据分析都是新手。
我可以用Java使用来自Apache kafka消费者的消息。
现在，我想获取这些实时数据，并将其显示为仪表板。
我想使用任何开源工具来可视化所有这些数据。
我发现的一个工具是Druid，但提供的文档不足以学习和继续使用它。
我还了解到，在生产环境中安装和部署Druid非常困难。
还有没有其他工具可以做到这一点？任何帮助都是非常感谢的。
浏览 2提问于2017-03-06得票数 2
1回答
我有两个这样的Java对象：
public class PSubject
{
@Column
@Field(index=Index.YES, analyze=Analyze.YES, store=Store.NO)
@org.apache.solr.client.solrj.beans.Field("name")
private String name;
@Column
@Field(index=Index.YES, analyze=Analyze.YES, store=Store.NO)
@org.
浏览 7提问于2012-12-20得票数 3
回答已采纳
1回答
连接宾得与阿帕奇德鲁伊
、、、
有人能告诉我使用Tableau连接Apache的步骤吗？
我尝试了以下步骤：
使用以下参数选项将Avatica文件复制到tomcat/libCreate一个新的通用数据库(JDBC )-
MSTR_JDBC_JAR_FOLDER=/opt/mstr/MicroStrategy/install/JDBC；DRIVER=org.apache.calcite.avatica.remote.Driver； URL={jdbc:avatica:remote:url=；
注- 1.未启用用户is /密码，即无需登录凭据即可访问Druid
能够使用Apache和Tableau applications.访
浏览 3提问于2020-01-27得票数 0
我遵循的是druid文档，但是当我运行以下命令时 curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/tutorial/wikipedia-top-pages.json http://localhost:8082/druid/v2?pretty 我得到了回复 [] 出什么事了？我的机器里也有quickstart文件夹。
浏览 13提问于2019-04-30得票数 0
我有一个用Scala编写的数据管道来改进。
即: Flink 1.8 -> (宁静，正式支持Druid0.9.2) -> Druid 0.20.1
未来: Flink 1.11 -> Kafka -> Druid 0.20.1使用推荐的.
Flink应用程序生成Scala类的DataStream (在下面的代码中为ExampleData)。
根据，Scala类属于“Flink提供的特殊序列化器”，但我不确定它是如何被序列化的，因此当Druid从Kafka主题读取它时，它是如何被反序列化的(即以什么格式)。
(我不想向Flink应用程序添加依赖项，除非有充
浏览 5提问于2021-08-06得票数 0
回答已采纳
.NET/Java应用程序每秒生成许多json对象(15.00-90.000)，其中包括有关金融事务的各种信息。这些消息被发送到Apache上的特定主题，该主题将由Druid (OLAP数据库)使用。
请在下面找到生产者和消费者之间的数据流。
Produce -- Persist/Distribute -- Consume
Application (.Net/Java) --> Apache Kafka Topic <--- Apache Druid (Kafka Indexing Service)
消息有效负载( json对象列表
浏览 0提问于2019-05-06得票数 0
我正在Druid上摄取和查询数据。但是，当我查询时，我只使用下面的命令行：
curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/ingest_statistic_hourly_generate.json localhost:8090/druid/indexer/v1/task
有谁能告诉我如何利用HttpClient和Apache将查询发送到HttpClient服务器以获得响应？非常感谢。
浏览 2提问于2016-09-13得票数 1
回答已采纳
西罗·伊维奥尼，
我是Data Factory的新手，我需要从Dynamics Business Central的Rest API复制信息。我正在努力处理"Details“类型的实体，比如"invoiceSalesHeader”。
该实体的api强制我提供一个头ID作为过滤器。从这个意义上说，我必须循环x次(几千次)，并调用Rest API来检索每个销售发票的行。我发现这完全是荒谬的，并试图寻找其他方式来获得信息。
为了避免这样做，我试图通过调用"salesInvoice“实体并使用"$expand=salesInvoiceLines”来获取信息。
这使我获得了
浏览 1提问于2020-11-20得票数 1
我使用HDP insight 2.4.1.1-3在Azure集群上运行了druid 0.9.0。hadoop客户端为2.7.1。在无数次尝试解决杰克逊的问题之后，具体地说：
Error: class com.fasterxml.jackson.datatype.guava.deser.HostAndPortDeserializer overrides final method deserialize.
我已经尝试了这里记录的所有解决方法。
无济于事。
根据另一个面临相同问题的用户的建议，在对jackson依赖项进行着色之后，重新编译不成功。
我尝试的最后一种情况是将
"mapredu
浏览 0提问于2016-04-27得票数 4
我正在尝试将Spark Streaming作业的结果写入到Druid数据源。Spark成功地完成了任务，并将其交给了Druid。Druid开始索引，但没有写入任何内容。
我的代码和日志如下：
import org.apache.spark._
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext
import org.apache.kafka.clients.consumer.ConsumerRecord
import or
浏览 3提问于2017-12-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
