我有一个可以收听Kafka主题的Spark流媒体应用程序。当获得数据时，我需要对其进行处理，并将其发送到Kudu。目前，我正在使用org.apache.kudu.spark.kudu.KuduContext API，并对数据框调用插入操作。有没有一种方法可以在不调用collect()的情况下创建数据帧/将数据插入到Kudu中？
我们使用的是Spark 1.6
浏览 7提问于2018-08-08得票数 1
: No support for Spark SQL type DateType at org.apache.kudu.spark.kudu.SparkUtil$.org$apache$kudu$spark$kudu$SparkUtil$$c
浏览 34提问于2020-12-17得票数 1
我想把一个巨大的表从SQL写到Kudu表，我无法将它写到Kudu表中。使用以下代码： .option('kudu.master',kudu_master)
.option('kudu.table',"impala::"+
浏览 2提问于2018-09-18得票数 0
我刚接触Apache Kudu，我在我的Ubuntu系统上安装了它，后来使用Apache Spark shell在其中创建了一个表。现在，我正在尝试使用insertRows()将数据插入到该表中，我使用的是下面给出的命令，其中customersDF是数据帧，spark_kudu_tbl是Kudu数据库中的表。我正处于错误之下，
java.la
浏览 2提问于2017-04-18得票数 0
我想用Kudu编写和更新。这是maven依赖项： <groupId>org.apache.kudu</groupId> <version>1.1.0</version>
</dep
浏览 1提问于2018-01-09得票数 1
回答已采纳
4回答
我想读一下卡夫卡的话题，然后用火花流的方式把它写到kudu表上。StructField("bandNo", IntegerType, false) :: .select(from_json(col("value").cast("string"), schema).alias("parsed_value"))
浏览 51提问于2017-10-26得票数 2
回答已采纳
Scala火花代码：import org.apache.kudu.spark.kudu._
火花代码:获取模块未找到
浏览 3提问于2020-12-17得票数 0
1回答
有没有针对Scala 2.12的Apache Kudu驱动程序？如果没有，他们有没有计划？ , "org.apache.kudu" % "kudu-client" % "1.6.0-cdh5.14.4"
// At this tim
浏览 4提问于2019-12-24得票数 2
每个集群避免多个Kudu客户端。
一个常见的Kudu-火花编码错误是实例化额外的KuduClient对象。
浏览 1提问于2019-06-29得票数 2
回答已采纳
我正在尝试使用PySpark 2.1.0读取以Kudu格式存储的数据>>> from pyspark.sqlimport SparkSession>>> spark = SparkSession.builder \
.masterhive.metastore.warehouse.dir", &qu
浏览 0提问于2017-08-24得票数 0
1回答
我试图通过Kudu将Oracle DB中的表复制到具有相同结构的Impala表中。当代码试图将Oracle NUMBER映射到Kudu数据类型时，我会收到一个错误。如何更改星火DataFrame的数据类型，使其与Kudu兼容？我希望Spark+Kudu能自动映射所有数据，只需复制数据即可。相反，Kudu抱怨说它不能映射DecimalType(38,0)。SQL type DecimalType(38,0)
// See https://github
浏览 3提问于2019-05-15得票数 0
回答已采纳
我是spark的新手。下面的代码将加载所有数据，还是只从kudu中过滤数据？val df: DataFrame = spark.read.options(Map( "kudu.table" -> s"impala${table}")).kudu
val recor
浏览 1提问于2019-08-14得票数 1
我下载了apache kudu的快速入门VM，并遵循了页面中出现的示例，实际上我创建了一个名为"sfmta“的表，但当我尝试使用spark-shell访问kudu表时，使用了以下语句：
val df =spark.sqlContext.read.options(Map("kudu.master" -> "quickstart.cloudera:7051","kudu.table" -> "sfmt
浏览 1提问于2017-05-24得票数 2
1回答
-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> <groupId>org.apache.spark-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-client -->
<de
浏览 2提问于2020-03-24得票数 0
回答已采纳
我在Spark和Scala中有这样的功能：import org.apache.spark.sql.functions._import org.apache.spark.sql.{DataFrame, Dataset, Encoders, SparkSession}
import org.apache.kudu.<em
浏览 13提问于2017-03-22得票数 1
回答已采纳
看看过去的JDBC连接方法，比如通过SPARK / SCALA进行mySQL，通过这种连接进行复杂的更新的可能性不大，这是可以理解的。不过，有了古都，我想情况会发生变化。查看有关使用Apache KUDU开发应用程序的KUDU - Apache KUDU的文档，这些问题如下：
还不清楚我是否可以通过IMPALA JDBC驱动程序(由于KUDU的安全问题)从SPARK我看到我们可以使用Spark将(默认情况下作为UPSERT )插入到Kudu</em
浏览 2提问于2017-11-08得票数 1
回答已采纳
如果我在KuduRDD上执行过滤器，那么首先Spark作业从Kudu表中读取所有数据并在Spark应用程序中执行过滤器作业，或者过滤发生在Kudu服务器上，而Spark应用程序只接收过滤后的数据？
浏览 2提问于2018-01-21得票数 0
1回答
我使用kudu和spark streaming作为实时仪表板，我的问题是，当我使用kudu表连接spark streaming中的批处理时，它不会对其进行谓词下推，并且需要2-3秒来获取整个spark表
浏览 5提问于2019-10-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
