保存/导出Spark SQL Zeppelin查询的结果

文章/答案/技术大牛

发布

1回答

apache-spark-sql、apache-zeppelin

我们正在使用apache zeppelin来分析我们的数据集。我们有一些想要运行的查询，这些查询返回了大量的结果，并希望在zeppelin中运行查询，但保存结果(显示限制为1000)。有没有一种简单的方法可以让齐柏林飞艇将所有查询结果保存到s3存储桶中？

浏览 22提问于2016-09-07得票数 7

回答已采纳

1回答

EMR齐柏林飞艇清除DepInterpreter

amazon-emr、apache-zeppelin

Zeppelin", "args": "", "zeppelin.spark.concurrentSQL": &qu

浏览 3提问于2017-03-27得票数 4

1回答

在齐柏林，如何更改zeppelin.x.y格式参数的值？

apache-spark、apache-zeppelin

特别是，如何更改zeppelin.spark.sql.stacktrace的值？但是，确切地说，如何将zeppelin.spark.sql.stacktrace我尝试过各

浏览 5提问于2016-11-11得票数 0

回答已采纳

2回答

可以将%sql块的输出保存为对象吗？

scala、apache-spark、apache-zeppelin

我有一个%sql块，我在用这段代码创建的数据框架上。df.createOrReplaceTempView("df") 我运行了许多查询来操作%sql块中的数据，我希望将该输出带到块之外并对其进行操作。具体来说，我想把它放到一个%r块中，并将数据可视化。我能让%sql块中的数据从块外部访问吗？

浏览 1提问于2019-08-30得票数 1

回答已采纳

4回答

Zeppelin -无法使用%sql查询我使用pyspark注册的表

apache-spark、pyspark、apache-spark-sql、apache-zeppelin

我是spark/zeppelin的新手，我想完成一个简单的练习，我将把一个csv文件从熊猫转换成Spark数据帧，然后注册表格，用sql查询它，并用Zeppelin可视化它。我使用的是Spark 1.6.1%pysparkprint sp

浏览 1提问于2016-06-02得票数 7

1回答

如何根据HDFS中的数据创建外部星表

apache-spark、hive

我已经将HDFS中的一个拼花表加载到一个DataFrame中：现在我想将这个表公开给Spark，但是这必须是一个持之以恒的表，因为我想通过JDBC连接或其他Sessions来访问它。快速的方法可以是调用df.write.saveAsTable方法，但在这种情况下，它将实现DataFrame的</em

浏览 1提问于2018-04-26得票数 5

1回答

-- SPARK_SUBMIT_OPTIONS中的文件在齐柏林飞艇中不起作用

pyspark、apache-zeppelin

我有一个python包，其中包含许多内置于.egg文件中的模块，我想在齐柏林飞艇笔记本中使用它。为了将这个包传递给zeppelin spark解释器，您可以通过conf/ zeppelin -env.sh中SPARK_SUBMIT_OPTIONS中的--files选项将其导出。当我通过SPARK_SUBMIT_OPTIONS中的-- .egg选项添加文件时，zeppelin notebook没有抛出错误，但

浏览 1提问于2017-02-03得票数 0

1回答

如何使用Zeppelin* /HDP2.4中的Spark解释器在JsonSerDe中运行配置单元表的查询？*

apache-spark、hive

无法在Zeppelin中使用spark解释器运行配置单元查询。我在Zeppelin解

浏览 4提问于2016-12-25得票数 1

2回答

Apache不能反序列化dataset："NoSuchMethodError“

scala、apache-spark、amazon-s3、apache-zeppelin

数据似乎加载得很好，如下命令所示：给出了结果： at org.apache.spark.sql.Dataset$$anonfun$org$apache$spark$sql$Dataset$

浏览 2提问于2017-08-20得票数 4

回答已采纳

1回答

Apache 0.7.0 on Windows 10 -口译员问题

linux、windows、apache、apache-zeppelin

我下载了包含所有解释器的二进制包。我遗漏了什么？我已经尝试过Windo

浏览 2提问于2017-02-21得票数 0

2回答

ClassNotFoundException: org.apache.spark.repl.SparkCommandLine

scala、apache-spark、pyspark、apache-zeppelin

我试着只运行一个简单的理智检查，看看sc是否存在，并得到下面的错误。我编译了它的火花和火花1.5 (我使用火花1.5)。我将内存增加到5GB，并将端口更改为8091。AppClassLoader.loadClass(Launcher.java:331)，java.lang.ClassLoader.loadClass(ClassLoader.java:357)，org.apache.zeppelin.spark.SparkInterpreter.open:74) at org.apache.zeppelin</em

浏览 1提问于2016-01-15得票数 6

1回答

zeppelin:在结果数据帧上运行任何操作时出错

scala、apache-spark、apache-zeppelin

我使用的是带有Spark1.3.1和Hadoop版本2.6的Zeppelin笔记本。我能够运行它附带的整个教程，没有任何问题。然后，我创建了新的notebook来运行简单的代码，这些代码从存储在本地机器上的HDFS中的parquet文件中获取数据。:582) at org.apache.zeppelin.spark.SparkInterpreter.interpret(SparkInterp

浏览 0提问于2015-06-24得票数 2

1回答

在Zeppelin* 0.71上运行的Dataproc Spark无法看到在Zeppelin 0.62中创建的配置区表*

apache-spark、hive、apache-zeppelin、google-cloud-dataproc

一旦每个外部组件( MySQL服务器上的配置单元元存储、齐柏林飞艇)完全初始化，我使用以下命令查询所有配置单元表show tables 但未返回从以前版本的Dataproc创建的表。我重新检查了zeppelin.sh和cloud-sql-proxy.sh的初始化脚本，它们是正确的。然后我重新检查了hive.metastore.warehouse.dir的值，它与以前版本的Datapro

浏览 2提问于2017-08-25得票数 2

1回答

Python pyspark将DF写入.csv并将其存储在本地c驱动器中。

python、pyspark、export-to-csv、apache-zeppelin

我想保存一个使用SQLContext拉取数据的数据帧，并将其保存到c驱动器中的.csv文件中。我正在使用Zeppelin来运行我的代码。df.wri

浏览 1提问于2020-05-25得票数 0

1回答

Zeppelin在通过Maven添加Spark依赖项后启动SparkInterpreter时抛出java.lang.NullPointerException

apache-zeppelin、google-cloud-dataproc

我试图通过在齐柏林飞艇的解释器控制台的Dependencies部分指定groupId:artifactId:version来通过maven添加Spark依赖项。有一次，我保存并执行了一个spark段落。下面是zeppelin- Zeppelin -development-cluster-m.log中的zeppelin日志 INFO [2018-08-10 13:24:53,036] ({qtp2110245805Paragraph.j

浏览 0提问于2018-08-10得票数 1

0回答

Apache Toree作业进度

apache-toree

使用Apache Toree，人们可以在Spark上执行任意表达式。假设我们想要执行一些SQL查询，比如：sqlContext.sql(..)有没有可能获得这样的SQL查询的进度(就像在Zeppelin中一样)？也许Toree可以提供一些查询指标(比如X tasks from N are done)？

浏览 5提问于2016-06-29得票数 2

1回答

在AWS EMR上从Zeppelin内部从Maven加载依赖项时，Java NPE

maven、amazon-web-services、apache-spark、amazon-emr、apache-zeppelin

我使用以下命令在EMR上创建了一个Spark集群： --name "2-node Zeppelin cluster (turn me off afterName=Zeppelin-Sandbox\ --no-auto-terminate这给我提供了一个EMR上的2节点星火(v1.5.2)集群

浏览 1提问于2016-01-26得票数 1

回答已采纳

1回答

齐柏林飞艇用户火花解释器将DataFrame保存到Hbase表

apache-spark、hbase、apache-zeppelin

我需要用Zeppelin构建一个解析解决方案，读取来自Oracle、Hadoop、hbase的数据，现在我需要通过zeepelin火花解释器将分析结果保存到Hbase，我编写了一个演示代码，这个演示程序在spark开发环境中工作，但在zeppelin中没有工作。%spark import org.apache.spark.sql.sqlContext: org.apache.spark.sql.SQ

浏览 0提问于2018-03-23得票数 0

回答已采纳

1回答

在apache中找不到pyspark解释器

python、apache-spark、pyspark、hortonworks-data-platform、apache-zeppelin

运行以下简单代码将给出pyspark interpreter not found错误a = 1+3 CLI中的Pyspark (使用spark 1.6.0和python 2.6.6基于此，我更新了位于/usr/

浏览 0提问于2016-07-05得票数 4

2回答

使用%sql时找不到表

apache-zeppelin

在执行%sql语句时为下面的代码抛出的异常： import sqlContext.implicits._ %sqlselect * from businessRe

浏览 3提问于2016-04-11得票数 3

点击加载更多