更新Dataframe架构读取Spark Scala
Dataframe是一种数据结构，用于处理大规模数据集。它是一种分布式的、高性能的数据处理框架，常用于大数据分析和机器学习任务。Dataframe架构是Spark Scala中用于读取和处理数据的一种方法。
Dataframe架构的优势包括：
- 高性能：Dataframe使用了列式存储和优化的执行引擎，能够快速处理大规模数据集。
- 分布式处理：Dataframe可以在集群中并行处理数据，充分利用集群资源，提高处理效率。
- 简化的API：Dataframe提供了简洁易用的API，可以方便地进行数据转换、过滤、聚合等操作。
- 支持多种数据源：Dataframe可以读取和写入多种数据源，包括文件系统、关系型数据库、NoSQL数据库等。
- 与其他工具的集成：Dataframe可以与其他工具（如SQL查询、机器学习库）无缝集成，方便进行复杂的数据分析任务。
Dataframe架构在以下场景中有广泛的应用：
- 大数据分析：Dataframe可以处理大规模的数据集，适用于各种数据分析任务，如数据清洗、特征提取、数据挖掘等。
- 机器学习：Dataframe提供了丰富的机器学习算法和工具库，可以用于构建和训练机器学习模型。
- 实时数据处理：Dataframe可以与流处理框架（如Spark Streaming）结合，实现实时数据处理和分析。
- 数据可视化：Dataframe可以将处理结果转换为可视化图表，方便数据展示和分析。
腾讯云提供了一系列与Dataframe相关的产品和服务，包括：
- 腾讯云Spark：腾讯云提供的托管式Spark服务，可以方便地使用Dataframe进行大数据处理和分析。详情请参考：腾讯云Spark
- 腾讯云数据仓库：腾讯云提供的数据仓库服务，支持Dataframe读取和写入，方便进行数据存储和查询。详情请参考：腾讯云数据仓库
- 腾讯云机器学习平台：腾讯云提供的机器学习平台，集成了Dataframe和各种机器学习算法，可以进行机器学习模型的训练和部署。详情请参考：腾讯云机器学习平台
通过使用腾讯云的相关产品和服务，可以更方便地使用Dataframe进行大数据处理和分析，提高数据处理效率和性能。
相关·内容
1回答
我创建了Hive avro表，并试图从pyspark中读取它。主要是尝试在pyspark上对这个Hive avro表运行基本查询，以便进行一些分析。
from pyspark import SparkContext
from pyspark.sql import HiveContext
hive_context = HiveContext(sc)
test = hive_context.table("default.test_avro")
test.registerTempTable("test_temp")
hive_context.sql("sel
浏览 2提问于2016-12-07得票数 1
我有一个火花工作，不断上传Parquet文件到S3 (与分区)。
这些文件都有相同的拼花模式。
其中一种字段类型最近已被更改(从String改为long)，因此某些分区的拼花模式是混合的。
来自这两种类型的混合数据的地方现在失败了，无法读取某些内容。
虽然我似乎可以执行：sqlContext.read.load(path)
尝试在DataFrame上应用任何提取操作(例如，collect)时，该操作在ParquetDecodingException中失败
我打算迁移数据并将其重新格式化为，但无法将混合内容读取到DataFrame中。
如何使用Apache将混合分区加载到DataFrames或任
浏览 0提问于2018-06-21得票数 0
回答已采纳
我正在编写dataframe到HDFS，其中包含以下代码
final_df.write.format("com.databricks.spark.csv").option("header", "true").save("path_to_hdfs")
它给了我以下错误：
Caused by: java.lang.NumberFormatException: For input string: "124085346080"
以下是完整的堆栈：
at org.apache.spark.sql.execution.data
浏览 1提问于2017-05-30得票数 0
回答已采纳
我正在尝试从hdfs读取模式以加载到我的数据帧中。这允许模式被更新并驻留在Spark Scala代码之外。我想知道做这件事最好的方法是什么？下面是我目前在代码中的代码。
val schema_example = StructType(Array(
StructField("EXAMPLE_1", StringType, true),
StructField("EXAMPLE_2", StringType, true),
StructField("EXAMPLE_3", StringType, true))
def mai
浏览 1提问于2017-02-04得票数 0
我有一个DataFrame，它是我用拼花文件创建的。
val file = "/user/spark/pagecounts-20160713-150000.parquet"
val df = sqlContext.read.parquet(file)
df.registerTempTable("wikipedia")
现在我想做一个更新：
// just a dummy update statement
val sqlDF = sqlContext.sql("update wikipedia set requests=0 where artic
浏览 4提问于2016-07-23得票数 0
这个问题是这个的延续，给出有效答案的用户请求一个新的问题来解释我的进一步怀疑。
我正在尝试的是从RDD[Objects]生成数据，其中我的对象有原始类型，但也有复杂类型。在前面的问题中，我们解释了如何解析复杂类型的Map。
接下来我尝试的是推断给定的解决方案来解析MapMap。因此，在DataFrame中，它被转换为数组(Map)。
下面我给出我到目前为止编写的代码：
//I get an Object from Hbase here
val objectRDD : RDD[HbaseRecord] = ...
//I convert the RDD[HbaseRecord] in
浏览 0提问于2019-03-19得票数 1
回答已采纳
1回答
我是星火和HBase的新手。我正在处理HBase表的备份。这些备份位于S3桶中。我是通过spark(scala)这样使用newAPIHadoopFile来阅读它们的：
conf.set("io.serializations", "org.apache.hadoop.io.serializer.WritableSerialization,org.apache.hadoop.hbase.mapreduce.ResultSerialization")
val data = sc.newAPIHadoopFile(path,classOf[SequenceFileInp
浏览 3提问于2017-06-26得票数 0
回答已采纳
当将dataframe写入增量格式时，由此产生的增量似乎不遵循所编写的dataframe的架构。具体来说，字段的'nullable‘属性在结果的增量中似乎总是'true’，而不管源dataframe模式如何。这是意料之中的还是我在这里犯了一个错误？是否有一种方法可以使所编写的增量的模式与源df完全匹配？
scala> df.schema
res2: org.apache.spark.sql.types.StructType = StructType(StructField(device_id,StringType,false), StructField(val1,Stri
浏览 1提问于2020-05-19得票数 0
回答已采纳
我有一个RDD[HbaseRecord]，它包含一个定制的复杂类型Name。这两个类的定义如下：
class HbaseRecord(
val uuid: String,
val timestamp: String,
val name: Name
)
class Name(
val firstName: String,
val middleName: String,
val lastName: String
)
浏览 0提问于2019-03-17得票数 0
回答已采纳
我正在Scala中实现Spark Streaming，我从Kafka主题中提取JSON字符串，并希望将它们加载到dataframe中。有没有一种方法可以让Spark自己从RDDString中推断出模式
浏览 0提问于2015-06-26得票数 9
1回答
只是简单的提问伙计们。对于熊猫，我们可以创建一个dataframe并设置一个标题如下：
import pandas as pd
df = pd.read_csv('/file/path', sep='|', names = ['A','B'])
使用PySpark：
text_file = sc.textFile('path/file')
另一方面，尽管我已经准备好阅读文档，但我没有找到如何设置标题和分隔符，也没有找到如何将数据集中的每一列的名称设置为熊猫。知道如何用PySparkSQL为每一列加上名称吗？
更新：
浏览 0提问于2016-03-13得票数 1
我有一个json类型的文件(不是真正的json结构)，但是我转换为json并通过spark (我们在Spark1.6.0中)读取，我还不能使用spark 2中的多行功能。它显示结果，但同时出错。任何帮助都非常感谢。
我有这样的文件。仅举一个例子，但它是一个数组：
$result = [
{
'name' => 'R-2018:1583',
'issue_date' => '2018-05-17 02:51:06',
浏览 2提问于2018-08-31得票数 1
我收到了错误信息
java.lang.IllegalArgumentException: Schema must be specified when creating a streaming source DataFrame. If some files already exist in the directory, then depending on the file format you may be able to create a static DataFrame on that directory with 'spark.read.load(directory)' a
浏览 18提问于2021-10-17得票数 4
回答已采纳
1回答
我试图写一个Spark作为ORC文件，它抛出以下错误。我去叫IndexOutOfBoundsException..。
日志：
Caused by: org.apache.spark.SparkException: Task failed while writing rows
at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.
浏览 0提问于2018-08-09得票数 0
3回答
用例
我的数据被写成dataframes，我想检查两个具有完全相同模式的数据文件，以确保相等。具体来说，要检查每个id值，来自第一和第二数据value的记录是否是相同的。换句话说，假设每个dataframe每个id都有一个记录，我希望将每个id之间的差异并列起来，在dataframe 1行和dataframe 2行之间。
我的假设是，我需要实现一个新的dataframe (即通过一个连接操作)，以便在Spark中执行这个操作。到目前为止，这个假设是正确的吗？
到目前为止，这是这样的代码：
val postsFromDF1: Dataset[Post] = ... // dataframe
浏览 2提问于2019-12-23得票数 1
回答已采纳
1回答
假设在MongoDB中有多个DB2(DB1，DB2，.DBa，DBb，.)他们每个人都有一些收藏(Col1A，Col1B，.Col2A，Col2B，)
我希望找到一种方法来管理MongoDB中的多个输入和输出。我想用Scala语言编写一个self-contained Scala应用程序。下面是伪代码，它展示了我的想法：
readconfig_DB1.Col1A=Read setting pointing to DB=DB1 and collection=Col1A
readconfig_DB2.Col2B=Read setting pointing to DB=DB2 and collecti
浏览 5提问于2020-06-11得票数 2
1回答
嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？
我的rdd：
Array[(BigInt, String, String, BigInt, BigInt, BigInt, BigInt, List[String])] = Array((14183197,Browse,3393626f-98e3-4973-8d38-6b2fb17454b5_27331247X28X6839X1506087469573,80161702,8702170626376335,59,52778027521
浏览 0提问于2017-10-12得票数 1
1回答
我正在编写一个python应用程序从SAP HANA加载数据。
dfr = DataFrameReader(sqlContext)
df = dfr.jdbc(url='jdbc:sap://ip_hana:30015/?user=<user>&password=<pwd>',table=table)
df.show()
它抛出一个错误，说明：
y4j.protocol.Py4JJavaError: An error occurred while calling o59.showString.
: org.apache.spark.SparkEx
浏览 0提问于2016-02-24得票数 2
2回答
在众多的堆栈溢出类似的问题“如何将csv读取到？”中我找不到这个问题。(见最后类似的但不同的问题清单)。
问题中的CSV文件驻留在集群驱动程序的tmp目录中，请注意，这个csv文件是有意不在Databricks DBFS云存储中的。对于导致此问题的用例，使用DBFS将不起作用。
注意，我正试图通过Spark3.2.1和Scala2.12在Databricks运行时10.3上运行。
y_header = ['fruit','color','size','note']
y = [('apple','red
浏览 9提问于2022-03-24得票数 1
回答已采纳
val tableDF = spark.read.option("delimiter",",").csv("/Volumes/Data/ap/click/test.csv")
import org.apache.spark.sql.types.{StringType, StructField, StructType, IntegerType}
val schemaTd = StructType(List(StructField("time_id",IntegerType),StructField("week",I
浏览 0提问于2018-05-21得票数 0
我正在尝试从外部文本文件中读取dataframe模式，并使用它创建一个dataframe。但是，我无法理解如何将字符串转换为StructType。
我正在使用Spark2.1和Java。这是代码片段。
BufferedReader br = new BufferedReader(new FileReader(new File("C:\\Users\\kt799f\\Desktop\\struct.txt")));
String struct2 = br.readLine();
session.sqlContext().read().schema(struct2).json(&#
浏览 0提问于2019-07-17得票数 0
1回答
我需要使用SparkSQL从HBase中提取数据，并像SparkSQL一样在数据顶部进行查询。
我所做的事情如下：
创建Spark对象
创建HBase对象
编写JAVPairRDD来获取记录。
我的主要类代码如下：
import java.io.Serializable;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
imp
浏览 2提问于2017-01-18得票数 0
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。
示例查询1:
SELECT DISTINCT target_person FROM INFORMATION_SCHEMA.COLUMNS WHERE COLUMN_NAME IN ('columnA','ColumnB') AND TABLE_SCHEMA='ad_facebook'
示例查询2:
SELECT count(*) FROM information_schema.columns WHERE table_n
浏览 6提问于2018-09-04得票数 1
在ApacheSpark2.4.5中，如何打开一组用bucketBy和saveAsTable编写的拼花文件？
例如：
case class VeryVeryDeeplyNestedThing(
s: String,
nested1: OtherVeryDeeplyNestedThing
)
case class OtherVeryDeeplyNestedThing (
youGetTheIdeaNoOneWantsToHandWriteASqlStatementForThese: NestedMcNesty
)
List(VeryVeryDeeplyNestedThing(...)
浏览 2提问于2020-05-05得票数 3
回答已采纳
3回答
我正在尝试对PySpark DataFrame中的一些Unicode列进行一些NLP文本清理。我已经尝试了Spark 1.3，1.5和1.6，但似乎无法让它在我的生命中正常工作。我也尝试过使用Python2.7和Python3.4。
我已经创建了一个非常简单的udf，如下所示，它应该只为新列中的每条记录返回一个字符串。其他函数将操作文本，然后在新列中返回更改后的文本。
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql import SQLConte
浏览 4提问于2016-01-15得票数 21
回答已采纳
1回答
我正在尝试从本地读取一个文本文件到pyspark。使用
df = spark.read.text("file:///<path>")
这将成功地运行并发出一个数据文件。
df. printSchema()
产出：
root
|-- value: string (nullable = true)
但是，当尝试访问df时，它会给出以下错误。
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/hdp/
浏览 1提问于2019-10-21得票数 0
2回答
下面是我的spark/SCALA程序来读取我的源文件。(CSV文件)
val csv = spark.read
.format("com.databricks.spark.csv")
.option("header", "true") //reading the headers
// .option("mode", "DROPMALFORMED")
.option("inferSchema", "true")
.load("C:\\TestFiles\\S
浏览 3提问于2017-04-15得票数 0
回答已采纳
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。
val adreqPerDeviceid = sqlContext.sql("select count(Distinct a.DeviceId) as MatchCount from adreqdata1 a inner join adreqdata2 b ON a.DeviceId=b.DeviceId ")
adreqPerDeviceid.cache()
adreqPerDeviceid.show()
作业工作良好，直到数据加载(10k任务分配
浏览 3提问于2016-10-17得票数 1
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。
SparkConf conf = new SparkConf().setAppName(ConnectionTest.class.getName()).setMaster(master);
JavaSparkContext context = new JavaSparkContext(conf);
SQLContext sqlContext = new HiveContext(context);
sqlContext.sql("SELECT * FROM schema.tableName").show
浏览 21提问于2017-04-20得票数 3
尝试将我的spark scala项目转换为spark-java项目。我在scala中有一个日志，如下所示 import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
class ClassName{
val logger = LoggerFactory.getLogger("ClassName")
...
val dataframe1 = ....///read dataframe from text file.
...
logger.debug(&
浏览 38提问于2019-04-19得票数 1
回答已采纳
Dataframe是使用scala创建的。
val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )
我想把这个转换成Pandas Dataframe
PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
请在这方面帮助我。
浏览 1提问于2020-04-05得票数 0
回答已采纳
2回答
在我的hadoop集群上执行spark2-submit时，当在hdfs中读取.jsons目录时，我不知道如何解决它。
我在几个黑板上发现了一些关于这方面的问题，但没有一个是很受欢迎的，也没有一个有答案。
我尝试过显式导入org.apache.spark.sql.execution.datasources.json.JsonFileFormat，但导入SparkSession似乎是多余的，因此没有得到认可。
不过，我可以确认这两个类都是可用的。
val json:org.apache.spark.sql.execution.datasources.json.JsonDataSource
val
浏览 0提问于2020-07-05得票数 0
回答已采纳
我用Spark从MapR DB读取一张表。但是时间戳列被推断为InvalidType。在从Mapr读取数据时，也没有设置模式的选项。
root
|-- Name: string (nullable = true)
|-- dt: struct (nullable = true)
| |-- InvalidType: string (nullable = true)
我试图将该列转换为时间戳，但得到了以下异常。
val df = spark.loadFromMapRDB("path")
df.withColumn("dt1", $"dt
浏览 1提问于2018-11-28得票数 0
回答已采纳
我正在尝试将spark-cassandra使用的项目从scala_2.11重构为java_1.8。我使用的是spark-sql_2.11-2..3.1和spark-cassandra-connector_2.11-2.3.1。现在我正在尝试将代码重构到java 1.8中。 我有一些隐含和DataFrame被使用。 import com.datastax.spark.connector._
import spark.implicits._
&
import org.apache.spark.sql.DataFrame 现在如何将它们转换成等价的java代码呢？有样品吗？ Dat
浏览 7提问于2019-04-17得票数 0
回答已采纳
我有一个非常简单的脚本来持久化带有MongoDB中两列的数据文件：
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql.functions import col, udf
from datetime import datetime
sparkConf = SparkConf().setMaster("local").setAppName("Wiki-Analyzer
浏览 4提问于2017-03-30得票数 0
回答已采纳
1回答
在我的spark代码中有一个RDD[Person]，我想把这个rdd转换成dataframe。Person类不是case类，它是一个普通的Scala类。我知道case类，但我无法从常规的scala类转换。请帮帮忙
浏览 2提问于2019-02-21得票数 1
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。AFAIK调用像count这样的操作并不能确保所有的Columns都是实际计算的，show可能只计算所有Rows的一个子集(参见下面的示例) 我的解决方案是使用df.write.saveAsTable将DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。 那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3.nabble.com/Will-
浏览 62提问于2017-03-10得票数 20
回答已采纳
1回答
我在一个公共列上连接了两个dataframes，然后运行了一个show方法：
df= df1.join(df2, df1.col1== df2.col2, 'inner')
df.show()
然后，join运行得非常慢，最后引发了一个错误:奴隶丢失。
Py4JJavaError: An error occurred while calling o109.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage
浏览 4提问于2016-11-16得票数 0
我已经从Cloudant DB(IBM Bluemix Spark R Notebook)创建了一个DataFrame。我的数据帧结构：
root
|-- c1_x: double (nullable = true)
|-- c2_y: double (nullable = true)
|-- c3_z: double (nullable = true)
|-- name: string (nullable = true)
|-- c11_x: double (nullable = true)
|-- c12_y: double (nullable = true)
|-- c13
浏览 2提问于2016-07-27得票数 1
我有一个包含拼图文件的文件夹。如下所示：
scala> val df = sc.parallelize(List(1,2,3,4)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
scala> df.write.parquet("/tmp/test/df/1.parquet")
scala> val df = sc.parallelize(List(5,6,7,8)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
sca
浏览 0提问于2017-03-27得票数 13
回答已采纳
RDD是以Array[Array[String]]格式创建的，具有以下值：
val rdd : Array[Array[String]] = Array(
Array("4580056797", "0", "2015-07-29 10:38:42", "0", "1", "1"),
Array("4580056797", "0", "2015-07-29 10:38:43", "0", "1", "1"
浏览 8提问于2015-10-14得票数 6
回答已采纳
我只是试着用spark做数据帧。我只是试着像下面这样写代码。 首先，我像下面这样导入 import org.apache.spark.sql.types._
import org.apache.spark.storage.StorageLevel
import scala.io.Source
import scala.collection.mutable.HashMap
import java.io.File
import org.apache.spark.sql.Row
import scala.collection.mutable.ListBuffer
import org.apache
浏览 285提问于2020-07-12得票数 1
回答已采纳
1回答
非常慢的地板读
、、
我正在尝试从两个不同的位置读取拼图文件A和B。它们都是GCP中的parquet文件，模式中的列数大致相同(80-90列，大部分是字符串)。B在文件大小和记录计数方面非常小(大约比A小5个数量级)。但是我想知道为什么会是这样，从GS那里读到的东西和A几乎一样。
scala> show_timing{spark.read.parquet("gs://bucket-name/tables/A/year=2018/month=4/day=5/*")}
Time elapsed: 34862525 microsecs
res5: org.apache.spark.sql.DataF
浏览 0提问于2018-04-13得票数 2
我有一个名为pres2的org.apache.spark.sql.DataFrame (大约1000行，在运行Spark 2.1.0的AWS3节点EMR集群(v5.3.1)上生成)，如下所示：
+-------------------+--------------------+----------+
| CreatedAt| tweet|prediction|
+-------------------+--------------------+----------+
|2015-10-12 20:58:52|This Saturday is ...
浏览 2提问于2017-03-11得票数 9
回答已采纳
我用的是火花1.5。
我有两份表格的数据：
scala> libriFirstTable50Plus3DF
res1: org.apache.spark.sql.DataFrame = [basket_id: string, family_id: int]
scala> linkPersonItemLessThan500DF
res2: org.apache.spark.sql.DataFrame = [person_id: int, family_id: int]
libriFirstTable50Plus3DF有766,151记录，linkPersonItemLessThan
浏览 5提问于2016-12-13得票数 71
回答已采纳
我正在尝试使用pyspark读取Azure云订阅中可用的postgreSQL表，但是得到了下面的错误。我知道，当我们使用load函数时，我们也应该包括这个格式。但是由于这个PostgreSQL实例可以在不同的azure订阅中使用，所以我根本无法访问PostgreSQL数据库，如果是这样的话，如何推断模式呢？或者是否有更好的方法从databricks读取数据。
df = spark.read.option("url", "jdbc:postgresql://{hostname}:5432&user={username}&password={xxxxx}&a
浏览 6提问于2020-09-05得票数 0
我试图使用星火红移库，并且无法操作由sqlContext.read()命令创建的数据(从redshift读取)。
这是我的代码：
Class.forName("com.amazon.redshift.jdbc41.Driver")
val conf = new SparkConf().setAppName("Spark Application").setMaster("local[2]")
val sc = new SparkContext(conf)
import org.apache.spark.sql._
val sqlContext
浏览 4提问于2015-11-04得票数 1
回答已采纳
情况:我正在生成一个增量文件夹，其中包含来自以前的流查询A的数据，稍后从另一个DF读取数据，如下所示
DF_OUT.writeStream.format("delta").(...).start("path")
(...)
DF_IN = spark.readStream.format("delta").load("path)
1 --当我试图以这种方式从相同的程序读取它时，在后续的readStream (链接对ETL管道的查询)中，我最终会有下面的异常。
2 -当我在scala中运行它时，它运行得很顺利。
不知道那里发生了什么，但这
浏览 2提问于2019-12-28得票数 0
当我试图查看从拼图文件创建的dataframe中的数据时，我遇到了下面的错误。 Expected: decimal(16,2), Found: BINARY
at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.nextIterator(FileScanRDD.scala:221)
at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:130)
浏览 153提问于2020-04-30得票数 2
我的SMAR1.6代码在spark2.0中不起作用，我做了必要的更改，比如创建sparkr.session()而不是sparkr.init()，不传递sqlcontext参数等…
在下面的代码中，我将数据从两个文件夹加载到dataframe中。
read.df in spark1.6，工作于
sales <- read.df(sqlContext, path= "gs://dev.appspot.com/myData/2014/20*,gs://dev.appspot.com/myData/2015/20*", source = "com.databricks.s
浏览 3提问于2016-09-25得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
