1回答
使用pyspark创建一个dataFrame，然后将其保存到hive。 已在仓库中正确创建该文件，但无法使用show tables在配置单元或impala中找到该文件。但它只显示了以前由spark代码创建的表，这意味着它不能看到通过hive或impala控制台创建的表。 所以我认为可能spark代码没有收集到Hive Metastore服务器。
浏览 12提问于2019-05-15得票数 0
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据
浏览 15提问于2019-03-06得票数 0
回答已采纳
我有在databricks中运行的pyspark笔记本。我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
我想保存一个使用SQLContext拉取数据的数据帧，并将其保存到c驱动器中的.csv文件中。我正在使用Zeppelin来运行我的代码。
df = sqlContext.sql("SELECT * from
浏览 1提问于2020-05-25得票数 0
我使用的是Spark 1.3.1。在配置单元中，如果我运行show tables，DataFrame在配置单元数据库中不会以表的形式出现。我已经将hive-site.xml复制到$SPARK_HOME/conf，但它没有帮助(数据帧也不会出现在配置
浏览 0提问于2015-11-18得票数 0
我尝试将数据帧存储到Spark 1.3.0 (PySpark)中的持久化蜂窝表。: long (nullable = true)peopleDF.saveAsTable("peopleHive")Column Data Type Comments
col ar
浏览 0提问于2015-05-14得票数 9
回答已采纳
1回答
我有一张空的蜂巢桌子。我有18个作业在运行，每个作业都可能有一个数据框，我需要将这些数据框添加到Hive表中，其中包含一个地块文件。我得到的是这样的东西：但这似乎不太正确。我是否必须添加一些<code>D1</code>文件名，并且每次都要一直添加？
浏览 6提问于2020-08-06得票数 0
嗨，我在我的蜂箱中有两个表，我从第一个表中选择数据，创建数据帧，并以orc格式将该数据帧保存到另一个表中。我在同一个数据库中创建了这两个表。当我将这个数据帧保存到第二个表中时，我在数据库issue.and中找不到表如果我没有使用任何数据库名
浏览 24提问于2020-04-04得票数 0
我已经使用Pyspark构建了一个决策树模型，并希望使用docker容器部署该模型。我使用的是spark 1.6.0。数据存储在Hive表中，并位于我的本地计算机中。有没有一种方法可以将PySpark从我的停靠容器连接到我本地计算机中的配置单元表？我的配置单元表中的数据可能会更新，所以我不想挂
浏览 7提问于2018-12-30得票数 0
我正在尝试将数据帧加载到配置单元表中。但它增加了额外的30分钟。我试过下面的方法 从pyspark导入SparkContext，HiveContext sc = SparkContext() hive_context = HiveContext(sc) df_load.write.mode但是在表中，它被加载为"2020-09-01 09:30:00“。 如何解决这个问题。
浏览 48提问于2020-09-01得票数 0
我是pyspark的新手，正在寻找动态覆盖增量分区的方法。从其他在线可用的资源中，我可以看到spark通过将以下conf设置为" dynamic“来支持动态分区。spark.conf.set("spark.sql.sources.partitionOverwriteMode"，“动态”)
但是，当我尝试用数据帧覆盖partitioned_table时，pyspark(databricks)中的以下代码行覆盖了整个表
浏览 3提问于2020-06-08得票数 1
1回答
我想在一个excel表格中编写多个数据帧，无论是熊猫、考拉还是pyspark，并像xlwx一样做一些奇特的事情(改变单元格的大小或颜色等)，然后保存到S3存储桶中。我尝试过pandas.to_csv(s3.....test.xlsx)，但这不是我想要的。
浏览 17提问于2020-02-08得票数 0
我正在尝试将我的Pandas数据帧转换为PySpark数据帧。createDataFrame函数不起作用，所以我找到了PyArrow。我可以转换PyArrow表--> Spark表，但是我找不到任何方法来转换Pandas表--> Spark谢谢
浏览 1提问于2018-11-16得票数 3
如果我将文件从ADLS读取到PySpark数据帧中，并以不同文件格式写回另一个ADLS文件夹，那么在配置单元中捕获的谱系是否会显示为这种操作的谱系？
浏览 24提问于2021-09-28得票数 0
对于pyspark中的hiveql，我有以下sql查询：df.select(split(parse_url(col('page.viewed_page'), 'HOST')))----> 1 from pyspark.sql.function
浏览 25提问于2019-11-07得票数 3
回答已采纳
我正在将spark数据帧保存到hive表中。spark dataframe是一个嵌套的json数据结构。我可以将数据帧另存为文件，但它在上面创建了一个配置单元表时失败了，上面写着org.apache.spark.SparkException: Cannot recognize hive type string我不能先创建一个hive表模式，然后再将其插入其中，因为数据</e
浏览 1提问于2018-08-11得票数 2
我正在使用pyspark的(Spark 2.3.2) saveAsTable，如下所示： .sortBy("id") \ .option("path", "test_table.parquet") \在表</e
浏览 1提问于2019-10-10得票数 0
4回答
我已经使用了一种方法将数据帧保存为使用parquet文件格式的外部表，但是有没有其他方法可以将数据帧直接保存为配置单元中的外部表，就像我们对托管表使用saveAsTable一样
浏览 0提问于2016-05-31得票数 5
有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以Pyspark Dataframes的形式读取Hbase表？我对Hbase比较陌生，找不到一个直接的Python示例来将Hbase表转换为Pyspark数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2提问于2017-10-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
