3回答
我正在尝试在Hive中创建一个外部表，并在BigQuery中创建另一个表，使用与Spark编写的Avro格式存储在Google Storage中的相同数据。我使用的是带有Spark 2.2.0、Spark-avro 4.0.0和Hive 2.1.1的Dataproc集群
Avro版本/包之间有相同的差异，但如果我使用Hive创建表，然后使用Spa
浏览 30提问于2017-12-18得票数 1
BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。
IS
浏览 3提问于2016-11-17得票数 5
回答已采纳
我正在使用google cloud Dataproc Spark集群来运行Spark streaming作业，该作业从多个PubSub订阅中读取数据并写入BigQuery。每个元素的大小约为140字节，并且是Avro消息格式。 "com.sksamuel.avro4s" %% "
浏览 5提问于2019-07-22得票数 3
我正在尝试从avro读取数据，按字段重新划分数据并将其保存为avro格式。下面是我的示例代码。在调试过程中，我不能在我的数据帧上显示(10)。它会失败，并显示以下错误。代码：
val df = spark.read.format("avro").load("s3://test-bucekt/source.avro<
浏览 40提问于2019-11-27得票数 0
我认为我遵循了正确的documentation来让pyspark编写avro文件。我正在运行Spark 2.4.4，我正在使用Jupyter lab来运行pyspark shell。os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-avro_2.12:2.4.4 pyspark-shell':spark-avro_2.12
浏览 104提问于2019-10-16得票数 1
回答已采纳
根据我在这个例子中所看到的，它只能通过Gson来实现。是否可以通过直接将Avro对象加载到BigQuery表中？当Avro规范开始超越简单的原语值时，从avro到BigQuery Json的转换变得很痛苦。(例如工会)
干杯
浏览 1提问于2016-05-24得票数 1
回答已采纳
我试图在安装了Spark2.4.8的cluster集群1.4上运行我的Spark/Scala代码2.3.0。我在阅读avro文件时遇到了一个错误。这是我的密码：此代码如预期一样失败。然后我将这个添加到我的pom.xml文件中：
浏览 10提问于2021-12-17得票数 3
回答已采纳
我们正在使用Google进行数据转换，我们的所有数据都驻留在Dataproc Hive表中。如何将这些数据传输/移动到BigQuery。
浏览 5提问于2017-12-20得票数 1
我通过读取avro文件创建了一个数据框，但在scala IDE的spark应用程序中读取该文件时出现错误。File") .format("com.databricks.spark.avro")
avroDF.pr
浏览 22提问于2020-05-28得票数 0
1回答
val df = spark.read.avro(file)尝试手动创建架构，但现在遇到以下问题.option("inferSchema", "false") .avro(file)
com.databricks.spark.avro.SchemaConverte
浏览 0提问于2018-06-15得票数 1
Google BigQuery在上“在BigQuery API或命令行工具中增加了对Avro源代码格式的加载操作和联邦数据源的支持”。它说“这是Avro格式支持的Beta版本，任何SLA或弃用策略都没有涵盖这一特性，并且可能会受到向后不兼容的更改。”但是，我希望这个特性能起作用。我没有找到任何关于如何使用Avro格式加载的代码示例。我没有找到关于如何使用bq-tool进行加载的示例
浏览 5提问于2016-04-20得票数 1
回答已采纳
我想从齐柏林笔记本上阅读位于亚马逊S3中的avro文件。我知道Databricks有一个非常棒的spark-avro包。为了引导这个jar文件到我的集群并使它工作，我需要采取哪些步骤？当我把这个写在笔记本上时，val df = sqlContext.read.avro("s3n://path_to_avro_files_in_one_bucket/")
我得到以下错误- <console>:
浏览 6提问于2016-08-01得票数 1
回答已采纳
1回答
我正在运行几个使用google云存储上的Avro数据的batch Spark管道。我需要更新一些管道，使其更实时，并且想知道spark structured是否可以以流的方式直接消费来自gcs的文件，即parkContext.readstream.from(...)可以应用于从外部源的存储桶下连续生成的Avro文件。Apache beam已经有像File.MatchAll().continuously()，Watch
浏览 1提问于2018-01-05得票数 2
3回答
我正在写一个使用python的spark作业。然而，我需要读入一大堆avro文件。 path,
"org.
浏览 5提问于2015-04-21得票数 14
回答已采纳
1回答
当我读取ORC文件时，我可以像spark.read.format("orc").load("filepath")一样简单地读取它们，但是对于avro，我似乎不能这样做，尽管我试图像这样导入jar：spark.conf.set("spark.jars.packages",
"file:///projects/apps/lib/spark-avro_2.1
浏览 0提问于2019-04-25得票数 2
回答已采纳
1回答
我正在尝试用不同的模式读取由pyspark编写的avro文件。小数列精度的差异。下面是由pyspark编写的avro文件夹的文件夹结构/mywork/avro_data/day2/part-*day1= spark.read.format(
浏览 4提问于2020-07-07得票数 0
回答已采纳
我想导出一个90 TB的BigQuery表到。根据的说法，BigQuery存储API (beta)应该是因为与其他方法相关联的导出规模配额(例如ExtractBytesPerDay)。该表是按日期划分的，每个分区占300 GB.我有一个运行在GCP上的Python笔记本，它通过这个从改编的脚本运行分区(并行)。from google.cloud import bigquery_storage_v1
client = bigq
浏览 4提问于2020-05-20得票数 1
我将Spark 2.4与Hive Warehouse Connector和Scala 2.11结合使用。目前由Hortonworks提供的蜂巢仓库连接器与Spark2.4不兼容。因此，我从编译了jar文件，这使得它与Spark2.4兼容。
我的Spark应用程序从Kafka输入流读取，并使用Hive Warehouse连接器提供的Hive输出流写入Hive表(ORC格式)。这是我的
浏览 1提问于2020-04-01得票数 3
1回答
最近，我使用“预览”图像在上启动了一个Spark集群。根据文档，预览映像的Spark版本是'2.1.0'，但是运行spark-shell --version显示集群实际上运行的是Spark2.2.0。这对我们来说是个问题，因为我们的spark-avro版本与Spark2.2.0不兼容。还有其他人经历过这个问题吗？我还没有找到任何从谷歌官方宣布的
浏览 3提问于2017-07-18得票数 0
回答已采纳
我正在从BigQuery表中导出数据，该表将名为prop12的列定义为数字数据类型。请注意，目标格式为AVRO，不能更改。bq extract --destination_format AVRO datasetName.myTableName /path/to/file-1-*.avro如果在bq导出过程中不可能，我是否只有读取spark中的二进制数据
浏览 0提问于2019-06-18得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
