如何在pyspark上使用结构和数组的嵌入式数组连接两个hive表
在Pyspark中使用结构和数组的嵌入式数组连接两个Hive表的步骤如下：
- 首先，我们需要导入所需的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import expr- 创建一个SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 读取两个Hive表，并创建相应的DataFrame：
table1_df = spark.table("table1")
table2_df = spark.table("table2")- 使用
explode函数将结构和数组拆分为多个行：
table1_explode_df = table1_df.selectExpr("col1", "explode(array_col) as array_col_exploded")
table2_explode_df = table2_df.selectExpr("col1", "explode(array_col) as array_col_exploded")- 使用
join函数连接两个DataFrame，可以根据需要选择内连接(inner)、左连接(left)或右连接(right)：
joined_df = table1_explode_df.join(table2_explode_df, "col1", "inner")- 使用
groupBy函数按照需要的列进行分组，并使用collect_list函数将嵌入式数组重新组合：
result_df = joined_df.groupBy("col1").agg(expr("collect_list(array_col_exploded) as array_col"))- 可选：将结果保存到Hive表中：
result_df.write.saveAsTable("result_table")完成上述步骤后，你可以得到连接后的结果DataFrame，并可以选择将结果保存到Hive表中。这个方法适用于在Pyspark上使用结构和数组的嵌入式数组连接两个Hive表的场景。
请注意，上述代码仅提供了一个基本的示例，实际场景中可能需要根据具体情况进行适当的调整和修改。此外，推荐的腾讯云相关产品和产品介绍链接地址，请参考腾讯云官方文档或联系腾讯云客服获取详细信息。
相关·内容
1回答
我无法配置Spark以使我能够访问中的Hive表(不使用JDBC，而是从Spark本地访问)
我使用单一的配置文件conf/hive-site.xml同时用于Server和Spark。我将javax.jdo.option.ConnectionURL属性设置为jdbc:derby:;databaseName=/home/user/spark-2.4.0-bin-hadoop2.7/metastore_db;create=true。我还将spark.sql.warehouse.dir属性设置为指向spark-warehouse目录的绝对路径。我使用./start-thriftserver.sh运行
浏览 0提问于2019-01-14得票数 0
在连接两个表时，我想从一个在databricks上的pyspark sql上有许多列的大表中选择除其中两列之外的所有列。
我的pyspark sql：
%sql
set hive.support.quoted.identifiers=none;
select a.*, '?!(b.year|b.month)$).+'
from MY_TABLE_A as a
left join
MY_TABLE_B as b
on a.year = b.year and a.month = b.month
我跟踪了
但是，它对我不起作用。所有列都在结果中。我想删除
浏览 5提问于2020-07-28得票数 0
1回答
如何在python中解密密码
、、、、
我的代码是使用pyspark连接到sql server。对于这个连接，我得到了jceks的加密密码。如何解密密码并用于从sql server加载表。请提个建议。
import pyspark
import re
from pyspark_llap import HiveWarehouseSession
from pyspark.sql.functions import struct
from pyspark.sql.functions import *
from pyspark.sql.session import SparkSession
spark = SparkSession \
浏览 14提问于2019-08-06得票数 4
回答已采纳
1回答
皮斯卡尔:远程蜂巢仓库位置
、、、、
我需要读/写存储在远程Hive中的表。我只知道这个远程蜂巢是在码头下运行的。在Hadoop中，我为一个iris表找到了两个urls，我试图从中选择一些数据：
我有一张桌子的亚稳态网址：
http://xxx.yyy.net:8888/metastore/table/mytest/iris
和表格地址网址：
hdfs://quickstart.cloudera:8020/user/hive/warehouse/mytest.db/iris
我不知道为什么最后一个url包含quickstart.cloudera:8020。也许这是因为蜂巢在码头下运行？
在讨论如何访问Hive表时，Pyspark教
浏览 3提问于2017-09-05得票数 2
我有一个奇怪的行为，我的用例是使用
sqlContext.sql("INSERT OVERWRITE TABLE <table> PARTITION (<partition column) SELECT * FROM <temp table from dataframe>")
奇怪的是，当使用来自主机A的pyspark shell时，这是可行的，但是连接到同一个集群的相同代码，使用相同的单元表在jupyter笔记本中不起作用，它返回：
java.lang.NoSuchMethodException: org.apache.hadoop.hive.
浏览 1提问于2017-09-08得票数 0
1回答
我们遇到了将相同的表复制到Hive、Teradata和vertica的情况。
我们必须测试并确认这些表是否在所有表之间进行了精确复制。
到目前为止，我们使用python将表下载到csv并进行比较，但由于表的大小，我们发现这种方法很困难。
with open('hive.csv', 'r') as t1, open('teradat.csv', 'r') as t2:
hivedata = t1.readlines()
teradata = t2.readlines()
with open('differe
浏览 3提问于2019-07-02得票数 0
1回答
我正在尝试使用用户名/密码/jdbc url查询PySpark中的远程配置单元元存储区。我可以很好地初始化SparkSession，但无法实际查询表。如果可能的话，我想把所有的东西都放在python环境中。有什么想法吗？ from pyspark.sql import SparkSession
url = f"jdbc:hive2://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}"
driver = "org.apache.hive.jdbc.HiveDriver"
# initialize
spark = SparkS
浏览 14提问于2020-09-28得票数 0
1回答
我正在尝试使用pyspark远程读取配置单元表。它会显示无法连接到Hive Metastore客户端的错误。
我已经在SO和其他来源上阅读了多个答案，它们大多是配置，但它们都不能解决为什么我无法远程连接。我阅读了并观察到，无需在任何配置文件中进行更改，我们就可以将spark与hive连接起来。注意:我已经通过端口转发了一台运行hive的机器，并将其带到了localhost:10000上。我甚至使用presto连接了同样的系统，并且能够在hive上运行查询。
代码是：
from pyspark import SparkContext, SparkConf
from pyspark.sql imp
浏览 5提问于2019-03-25得票数 5
回答已采纳
我希望使用PySpark将数据保存到一个Hive表中。
指出：
"spark.sql.hive.convertMetastoreParquet:当设置为false时，Spark将使用Hive SerDe来处理拼花表，而不是支持内置的。“
查看，似乎可以设置此属性：
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
sqlContext.sql("SET spark.sql.hive.convertMetastoreParquet=false")
# code to create
浏览 2提问于2015-07-17得票数 9
回答已采纳
2回答
我是新来的火花和蜂巢。我需要了解当蜂箱表在星火中被查询时后面发生了什么。我正在使用PySpark
例如：
warehouse_location = '\user\hive\warehouse'
from pyspark.sql import SparkSession
spark =SparkSession.builder.appName("Pyspark").config("spark.sql.warehouse.dir", warehouse_location).enableHiveSupport().getOrCreate()
DF = s
浏览 0提问于2018-05-07得票数 0
回答已采纳
我正在为每日增量加载过程编写一个脚本，使用Pyspark和一个Hive表，该表最初已经装载了数据。
我一直试图通过左侧创建一个UC dataframe，将INC dataframe和BASE dataframe连接到两个PK列src_sys_id & acct_nbr上，其中INC dataframe列为NULL。
我尝试了以下语法：
uc_df = base_df.join(base_df, inc_df("src_sys_id") == base_df("src_sys_id") &
inc_df("fleet_acct_nbr
浏览 4提问于2022-03-03得票数 0
我有在databricks中运行的pyspark笔记本。我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
1回答
我有一个Hive表，它有一个struct数据类型列(下面的示例)。表是在avro文件上创建的。
通过使用pyspark，如何将记录扁平化，以便在每个列中获得简单的数据类型值(而不是struct、数组或列表)来加载另一个Hive表。
我可以使用Hive表或avro文件作为源。
样本数据-
蜂巢列名: Contract_Data
{"contract":
{"contractcode":"CCC",
unit:
{"
浏览 0提问于2018-11-19得票数 0
1回答
我从两个不同的源中挖出两个数据集到Hive中。我使用以下命令在hive中创建了两个表的联合
create table db.table as select table 1 union select table 2
我在HiveContext的pyspark中使用了这个表来执行一些分析功能，比如对列进行字符串索引。
hc=HiveContext(sc)
data = hc.sql("select * from db.table")
from pyspark.sql import SQLContext, Row, HiveContext
from pyspark.ml.featur
浏览 0提问于2016-08-11得票数 0
我已经使用Pyspark构建了一个决策树模型，并希望使用docker容器部署该模型。我使用的是spark 1.6.0。数据存储在Hive表中，并位于我的本地计算机中。有没有一种方法可以将PySpark从我的停靠容器连接到我本地计算机中的配置单元表？ 我的配置单元表中的数据可能会更新，所以我不想挂载驱动器，或者只是将文件夹从本地复制到我的容器中，而是在PySpark和配置单元表之间建立连接。
浏览 7提问于2018-12-30得票数 0
在火星雨里，
注册了临时表
from pyspark import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.sql("select * from test").collect()
df.registerTempTable("testing")
sqlContext.sql("show tables").show()
+--------------------+-----------+
| tableName|isTemporary|
+-----
浏览 0提问于2016-04-13得票数 1
2回答
我对MetaStore的目的有点困惑。当您在蜂巢中创建一个表时：
CREATE TABLE <table_name> (column1 data_type, column2 data_type);
LOAD DATA INPATH <HDFS_file_location> INTO table managed_table;
因此，我知道这个命令接受HDFS中文件的内容，并创建它的MetaData表单并将其存储在MetaStore中(包括列类型、列名、它在HDFS中的位置等)。它实际上并没有将数据从HDFS移动到Hive中。
但是存储这个MetaData的目的是什么呢？
浏览 0提问于2018-01-31得票数 2
回答已采纳
有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以Pyspark Dataframes的形式读取Hbase表？
我对Hbase比较陌生，找不到一个直接的Python示例来将Hbase表转换为Pyspark数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2提问于2017-10-05得票数 1
1回答
我是Hadoop/Spark/Hive的新手！
我已经创建了一个本地运行的单节点linux (Ubuntu 18.04.1 LTS) VM；Hadoop 3.1.0；Spark: Spark 2.3.1，Hive: Hive-3.0.0
我的Hive使用标准的Derby DB，我可以通过终端访问hive并创建数据库、表，然后很好地查询这些表。我的metastore_db位于~/hivemetastore/metastore_db
我还创建了以下内容：
hadoop fs -mkdir -p /用户/配置单元/仓库
hadoop fs -mkdir -p /tmp/hive
(注意-我在$HIV
浏览 0提问于2018-10-04得票数 1
我使用sqoop创建和导入hive表，并使用pyspark获取数据。该表由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue hive sql查询获得整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点型字段，而浮点型字段总是显示空值。色调配置单元sql结果：
zeppelin pyspark输出：
hive表的详细信息：
浏览 18提问于2017-06-29得票数 0
1回答
我是新来的火花，目前我正在处理从远程服务器连接的蜂巢数据库。我已经学习了许多关于如何将星星之火连接到hive的示例，而不是太多的工作。其中之一是使用下面的配置，但是，当将表提取到spark时，行值是列名。我的查询或火花配置有什么问题吗？
from pyspark import SparkContext, SparkConf
from pyspark.sql import HiveContext, SparkSession
spark = SparkSession \
.builder \
.master('yarn') \
.appName('C
浏览 1提问于2021-12-02得票数 0
当我使用pyspark连接到hive时，我想获取表的注释，我使用了"DESCRIBE table table_name"，但它不起作用
sql = """(DESCRIBE TABLE table_name) as t"""
jdbcDF = spark.read \
.format("jdbc") \
.option("url", "********") \
.option("dbtable", sql) \
.option("
浏览 38提问于2019-07-16得票数 0
1回答
用Hive容器保存数据
、、、
我正在使用一个基于码头的星火/Hadoop/蜂巢环境。
使用到目前为止的所有配置，我能够持久化HDFS容器数据，与所有其他容器通信，从多个文件格式创建和处理Hive上的数据库和表。
问题是:一旦关闭Hive Server容器的交互式Docker终端，所有的数据库和表都消失了；-我用来创建Hive表的拼板文件仍然保存在HDFS上，但Hive上的表本身却没有了；
我能够持久化数据库和表吗？我在坞-撰写文件中遗漏了什么吗?或者环境变量？还是我误解了蜂巢在我的系统中的用途/功能？
浏览 3提问于2022-03-29得票数 0
我正在创建一个到Hive的连接字符串，并在该连接上的Hive表上运行一些SELECT查询。
在对检索到的数据执行一些转换之后，我将创建一个数据框架df_student_credits，如下所示
NAME_STUDENT_INITIAL CREDITS_INITIAL NAME_STUDENT_FINAL CREDITS_FINAL LOAD_DATE
John 23 John 25 21/03/2017
Alan
浏览 0提问于2019-08-21得票数 2
回答已采纳
1回答
我已经安装和设置了和集成。通过使用spark-shell / pyspark，我还遵循并实现了创建Hive表，加载数据，然后正确选择。
然后转到下一步，设置。通过使用hive / beeline，我还可以创建Hive表，加载数据，然后进行适当的选择。蜂箱在纱线/火花上正确地执行。我怎么知道它起作用了？hive外壳显示以下内容：
hive> select sum(col1) from test_table;
....
Query Hive on Spark job[0] stages: [0, 1]
Spark job[0] status = RUNNING
---------------
浏览 0提问于2020-02-23得票数 0
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
我尝试过使用PySpark访问Hive事务表(它在HDFS上有底层的增量文件)，但是我无法通过sparkContext/hiveContext读取事务表。
/麦迪姆/德尔塔0117202_0117202
/麦迪姆/德尔塔0117203_0117203
浏览 5提问于2019-08-01得票数 1
回答已采纳
为了在EMR上从PySpark查询Glue目录，我在集群配置中设置了参数hive.metastore.glue.catalogid。
可以从连接不同Glue目录的表(在不同的AWS帐户上)吗？
我试图从一个AWS租户到另一个AWS租户使用雅典娜创建一个视图，但显然PySpark无法查询SQL。
浏览 4提问于2021-11-27得票数 4
回答已采纳
1回答
从星火中访问蜂巢表
、、、
我正面临一个问题:我不能访问星火的蜂巢表，使用火花提交，而我可以使用火花公子壳。这是一段代码：
from pyspark.sql import SparkSession, HiveContext
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.enableHiveSupport() \
.getOrCreate()
spark.sql("SHOW TABLES").show()
下面是pyspark (
浏览 2提问于2017-07-18得票数 0
1回答
我有：
path) 现有数据库集群Azure blob存储( wasb )安装到HDFSA数据库，其位置设置为wasb(通过挂载路径)上的路径(通过挂载路径)A Delta表(该表最终将达美格式的拼花文件写入blob存储)
A kubernetes集群在数据库使用的相同的Azure blob存储区中以拼花和/或Delta格式读写数据(通过spark提交以增量格式写入数据)。
我想做的是：
利用数据库中的托管蜂巢转移作为Azure blob存储区中所有数据的数据目录
为了达到这个目的，我想从我的外部工作连接到亚稳态，这样我就可以使用一致的代码来拥有一个准确地表示我的数据的目录。
换句话说，如果
浏览 1提问于2021-08-19得票数 2
1回答
下面的代码是用Python语言编写的，我想把这段代码转换成pyspark，基本上我不确定语句- pd.read_sql(query，connect_to_hive)转换成pyspark的代码是什么 需要从EDL中提取数据，因此使用PYODBC连接到EDL，并使用sql查询提取数据。 pyodbc连接到企业数据湖： connect_to_hive = pyodbc.connect("DSN=Hive", autocommit=True)
transaction=pd.read_sql(query, connect_to_hive)
connect_to_hive.close()
浏览 55提问于2021-04-19得票数 2
回答已采纳
是否有人使用pyspark将hana数据卸载到hive？？我面临着海量数据的内存问题。请提个建议。我在较小的数据集上尝试，它是有效的。在巨型上，它给了JDBCDriverException:无法分配足够的内存。我正在使用sapJDBC驱动程序连接
查询=从hana表中选择列
jdbcDF = spark.read.format("jdbc").option("driver", driver).option("url", url).option("dbtable", query).option("user", use
浏览 2提问于2020-08-05得票数 1
1回答
我正在尝试使用Pyspark中包含25亿条记录的Hive表。我假设表中有一些格式错误的或其他“坏”数据。我使用的是spark版本1.6.2和python版本2.6.6：
from pyspark import SparkContext, SparkConf
from pyspark.sql import HiveContext
with SparkContext() as sc:
tbl = “mydb.mytable”
hc = HiveContext(sc)
df = hc.table(tbl)
来读取表。如果我试着跑
df.take(5)
我遇到了一个Va
浏览 1提问于2017-01-28得票数 1
1回答
我的hive表test_tbl有一个字符串字段tag_score，其中包含由“；”分隔的一些json字符串：
----------
tag_score |
--------------------------------------------------------------------------------
{"keyword":"abc","score": "0.6"};{"keyword":"烟花","score":"0.516409816917747"}
浏览 6提问于2021-03-10得票数 1
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。
但是，我很难使用Databricks和PySpark查询Hive表。似乎要为HiveContext设置连接字符串，我通常会将其写入hive-site.xml文件中。然而，Databricks没有给我这个选项。
我在Hive 2.1.1 & Databricks 6.4上(包括ApacheSpa
浏览 2提问于2020-04-16得票数 2
1回答
这个问题可能是的重复，但给出的答案并不令人满意。
我已经在齐柏林飞艇上运行了以下简单的代码：(同样的情况下，也使用pyspark )
%spark2.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.read.format("csv").option("header", "false").option("mode", "DROPMALFORMED").load("/data/da
浏览 0提问于2018-10-16得票数 0
我希望使用schemaname.tablename检查Hive中是否存在表pysparkSQL。
Scala spark.catalog.tableExists("schemaname.tablename").However中有一个选项，相同的功能在pySpark中不可用。
寻找一种快速和干净的方法来使用PySpark检查Hive表是否存在
浏览 8提问于2019-09-23得票数 7
回答已采纳
2回答
真正基本的问题pyspark/hive问题：
如何追加到现有表中？我的尝试如下
from pyspark import SparkContext, SparkConf
from pyspark.sql import HiveContext
conf_init = SparkConf().setAppName('pyspark2')
sc = SparkContext(conf = conf_init)
hive_cxt = HiveContext(sc)
import pandas as pd
df = pd.DataFrame({'a':[0,0],
浏览 0提问于2017-11-30得票数 2
回答已采纳
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？ 我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe返回。 请指教
浏览 15提问于2019-03-06得票数 0
回答已采纳
1回答
我已经从下载了spark-2.3.3-bin-hadoop2.7。我正在使用Jupyter Notebook运行pyspark.ml代码，但遗憾的是，它给出了一个它无法实例化的错误: apache hadoop.hive
我在看到了类似的问题，但那里的人说我需要创建hive-site.xml，我不知道我应该在哪里做：
---------------------------------------------------------------------------
Py4JJavaError Traceback (most recent
浏览 80提问于2019-07-31得票数 0
2回答
下面是我编写的代码，用于连接到关系数据库管理系统，然后创建临时表，在该临时表上执行SQL query，通过databricks模块将SQL查询输出保存为.csv格式。
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import SQLContext, Row
sqlContext = SQLContext(sc)
from pyspark.sql import HiveContext
sqlContext = HiveConte
浏览 30提问于2017-12-22得票数 0
回答已采纳
我有一个PySpark代码，它开发查询并在另一个内部映射到HBase表的Hive表上运行insert into命令。当我使用spark sql在Hive表上运行insert into命令时，我得到了以下异常。
java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat
我检查了数据类型和tblproperties，但无法通过此异常。
我使用的版本是：
PyS
浏览 1提问于2017-07-25得票数 3
我需要在PySpark中的交叉连接数据集上运行一些自定义函数。我想我可以分两步来做这件事: 1>先做交叉连接，然后在第一步的结果上运行2>。
在Hive中，这可以通过运行UDF和CROSS JOIN一步完成。也许Hive在内部像PySpark一样分两步完成这件事(假设我的理解是正确的)？或者，有没有办法在PySpark中做同样的事情？
浏览 9提问于2018-07-15得票数 0
回答已采纳
我已经写了下面的代码来从HIVE表中读取数据，当我试图运行时，没有编译错误，也没有数据显示。
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, HiveContext, SparkSession
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars hive-jdbc-2.1.0.jar
pyspark-shell'
sparkConf = SparkC
浏览 0提问于2018-04-20得票数 0
是否可以将SparkSQL数据格式o/p插入到Hive表，并并行使用与另一个SaprkSQL操作的子查询相同的数据格式。下面的伪码应该给出我想要达到的目标-
from pyspark import SparkConf, SparkContext
from pyspark.sql import HiveContext
conf = SparkConf().setAppName("test_app")
sc = SparkContext(conf=conf)
hive_context = HiveContext(sc)
query1 = "select col1, col
浏览 1提问于2018-06-21得票数 1
回答已采纳
2回答
我用docker创建了一个Hive容器，我创建了poke表，当我执行Select (一个after ()函数)时出现了这个错误。
守则：
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession, HiveContext
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.config("hive.metasto
浏览 1提问于2018-04-25得票数 0
2回答
星火作业中不存在蜂窝表。
、、、、
我正在使用电子病历中的蜂巢Metastore。
我可以通过HiveSQL或SparkSQL手动查询表。
但是当我在星火作业中使用相同的表时，它会说表或视图找不到
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco pyspark.sql.utils.AnalysisException:
u"Table or view not found: `logan_test`.`salary_csv`; line 1 pos 21;
'Aggregate
浏览 1提问于2017-12-20得票数 3
回答已采纳
在此之前，我可以完全在spark.sql api中工作，以便与蜂巢表和火花数据帧进行交互。我可以查询使用同一个api注册的spark或hive表中的视图。
我想确认一下，用Hadoop3.1和pyspark 2.3.2已经不可能了？要对蜂窝表执行任何操作，必须使用“HiveWarehouseSession”api，而不是spark.sql api。是否有任何方法继续使用spark.sql api并与hive交互，或者我必须重构我的所有代码？
hive = HiveWarehouseSession.session(spark).build()
hive.execute("arbitrar
浏览 0提问于2019-08-29得票数 1
我试图在访问Hive表的Cloud4.2Enterprise上的BigInsights上运行一个pyspark脚本。
首先，我创建了蜂箱表：
[biadmin@bi4c-xxxxx-mastermanager ~]$ hive
hive> CREATE TABLE pokes (foo INT, bar STRING);
OK
Time taken: 2.147 seconds
hive> LOAD DATA LOCAL INPATH '/usr/iop/4.2.0.0/hive/doc/examples/files/kv1.txt' OVERWRITE INTO
浏览 4提问于2016-12-21得票数 1
回答已采纳
下面是一个玩具示例，它是我的实际数据模式的子集。我把它缩写为简洁。
我希望构建一个包含三个字段的PySpark数据文件：ID、Type和TIMESTAMP，然后将它们保存为一个Hive。我很难用PySpark代码来提取相关的列。
|-- Records: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- FileID: long (nullable = true)
| | |-- SrcFields: struct (nullable = true)
|
浏览 1提问于2020-01-21得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
