小Spark数据帧在Databricks中速度非常慢
可能是由于以下原因导致的：
- 数据量过大：如果数据量超过了集群的处理能力，会导致处理速度变慢。可以考虑对数据进行分区或者增加集群的规模来提高处理速度。
- 数据倾斜：如果数据在分布式计算中存在倾斜，即某些分区的数据量远大于其他分区，会导致计算速度变慢。可以尝试对数据进行重新分区或者使用一些优化技术来解决数据倾斜问题。
- 硬件配置不足：如果集群的硬件配置不足，比如CPU、内存、网络带宽等，会限制数据处理的速度。可以考虑升级硬件配置或者使用更高性能的云服务器来提升速度。
- 数据格式不匹配：如果数据的格式与Spark数据帧的预期格式不匹配，会导致数据处理速度变慢。可以尝试对数据进行格式转换或者使用更适合的数据结构来提高速度。
- 算法选择不当：如果使用的算法复杂度较高或者不适合当前数据集，会导致处理速度变慢。可以尝试选择更合适的算法或者优化现有算法来提高速度。
对于以上问题，可以考虑使用腾讯云的相关产品来优化数据处理速度，例如：
- 腾讯云弹性MapReduce（EMR）：提供了弹性的大数据处理服务，可以根据数据量的大小自动调整集群规模，提高数据处理速度。详情请参考：腾讯云弹性MapReduce（EMR）
- 腾讯云云服务器（CVM）：提供高性能的云服务器，可以根据需求选择适合的硬件配置，提升数据处理速度。详情请参考：腾讯云云服务器（CVM）
- 腾讯云数据万象（CI）：提供了丰富的数据处理和转换功能，可以帮助优化数据格式和结构，提高数据处理速度。详情请参考：腾讯云数据万象（CI）
以上是针对小Spark数据帧在Databricks中速度慢的可能原因和解决方案，希望能对您有所帮助。
相关·内容
2回答
我在Databricks上运行了一个notebook，它创建分区的PySpark数据帧并将它们上传到s3。有问题的表有大约5,000个文件，总大小大约为5 GB (需要以这种方式对其进行分区，以便由Athena有效地查询)。我的问题是，将文件写入s3似乎是顺序的，而不是并行的，可能需要长达一个小时的时间。例如：
df.repartition("customer_id")
.write.partitionBy("customer_id")
.mode("overwrite")
.format("parquet")
.
浏览 1提问于2020-08-24得票数 2
1回答
我们目前正在使用Spark Job on Databricks，它在S3中的数据湖上进行处理。处理完成后，我们使用普通的df.write()将结果导出到S3存储桶中
问题是，当我们将数据帧写入S3时，文件的名称由Spark控制，但根据我们的协议，我们需要将该文件重命名为一个有意义的名称。
由于S3没有重命名功能，我们现在正在使用boto3复制和粘贴具有预期名称的文件。这个过程非常复杂，而且随着更多的客户加入，这个过程也不能扩展。
我们有没有更好的解决方案来将导出的文件从spark重命名为S3？
浏览 0提问于2019-04-12得票数 1
1回答
我正在尝试读取分区的Avro数据，该数据是根据年、月和日进行分区的，这似乎比直接指向路径要慢得多。在物理计划中，我可以看到分区筛选器正在传递，因此它不会扫描整个目录集，但它仍然非常慢。 例如，像这样读取分区的数据 profitLossPath="abfss://raw@"+datalakename+".dfs.core.windows.net/datawarehouse/CommercialDM.ProfitLoss/"
profitLoss = spark.read.\
format("com.databricks.spark.avro&
浏览 13提问于2020-06-23得票数 1
回答已采纳
我使用了一个非常标准的Databricks集群(2个节点，14 GB内存，4核，0.75DBU)。我有一个定义为spark_shape的函数 def spark_shape(df):
"""Returns (rows, columns)
"""
return (df.count(), len(df.columns)) 以及仅具有形状(590，2)的简单数据帧df。然而，运行spark_shape(df)需要超过6分钟！我想知道我是否需要增加内存或nodes Databricks集群，除了这个数据帧如此之小，我不明白为什么一个简单的
浏览 9提问于2021-06-26得票数 0
1回答
我正在尝试在databricks中将pyspark数据帧转换为pandas数据帧。我的databricks Runtime版本是7.3LTS(Scala2.12，Spark 3.0.1)，所以我写了以下代码 df_temp=spark_temp.toPandas() 但是我收到了错误信息 UserWarning: toPandas attempted Arrow optimization because 'spark.sql.execution.arrow.enabled' is set to true, 所以我试着跟着停用pyarrow spark.conf.set(“sp
浏览 26提问于2020-10-28得票数 1
def synapsedump(targetmount,targetfolder,table,df):
dbutils.fs.rm("/mnt/tmp", recurse=True)
df.createOrReplaceTempView(table)
spark.conf.set("spark.databricks.sqldw.writeSemantics", "copy")
schema = "Amazon"
schematable = schema + "." + table
df =
浏览 39提问于2021-08-03得票数 0
我正在试用databricks平台，我有兴趣将前6个文件加载到数据框架中。 数据存储在dbfs:/mystore中，并以文本/csv文件的形式存在。 part-00000
part-00001
part-00002
part-00003
part-00004
part-00005
part-00006
part-00007
part-00008
part-00009
part-00010 我所做的是创建一个spark会话： spark = SparkSession.builder.appName("tester").master("local[*]").get
浏览 13提问于2021-05-03得票数 1
我正在使用Databricks，并试图在同一个Scala笔记本中将一个数据帧从Scala传递到Python。我使用以下命令从Python向Spark传递了一个数据帧：
%python
python_df.registerTempTable("temp_table")
val scalaDF = table("temp_table")
我如何反向做同样的事情呢？非常感谢！
浏览 24提问于2017-08-25得票数 9
回答已采纳
1回答
到增量无数据的写流
、、、
我从kafka、process和writeStream到delta表都使用了Pyspark来实现。
pyspark 3.2.1
io.delta 1.2.2
hadoop 3.3.0
当部署在kubernetes中或在databricks中运行时，此代码不会产生任何输出增量的结果。
我没有数据吗？
当我在databricks中不使用writeStream部件运行display时，我会看到数据。
发生什么事了呢？
def run(spark, window_duration, watermark_delay):
input_time_col = "timestamp"
浏览 3提问于2022-08-30得票数 0
我一直在尝试使用databricks库来读取CSV。我正在尝试使用scala api将hive创建的TSV读取到spark数据帧中。
下面是一个可以在spark shell中运行的示例(我公开了示例数据，以便它可以为您工作)
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};
val sqlContext = new SQLContext(sc)
val segments = sqlContext
浏览 0提问于2015-11-24得票数 29
回答已采纳
我有在databricks中运行的pyspark笔记本。我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
df = spark.read.format("com.databricks.spark.xml").options(rowTag=row,rootTag=root).load(filename)
xref = df.select("genericEntity.entityId", "genericEntity.entityName","genericEntity.entityTy
浏览 11提问于2019-03-15得票数 0
我正在尝试使用从databricks到Snowflake的查询下推。我正在将数据从snowflake(数据源)读取到databricks，创建数据帧，并应用连接、过滤器和聚合函数。代码运行正常，但无法找到查询是否被下推到snowflake。如何检查是否在snowflake或spark(databricks)集群上运行了查询？
浏览 1提问于2021-11-17得票数 1
上下文:我在databricks jupyter笔记本中使用pyspark.pandas。
我已经测试过的内容:如果：
我在300行数据上运行我的代码.
I只需复制数据集2次(由pd.concat复制600行)。
如果：
I简单地复制数据集10次(由pd.concat复制3000行)
这使我认为错误不是特定于代码的，而是databricks可能有一些复杂或一些限制。
有人能解释一下可能发生的事吗。这是一个非常大的存储库，所以我没有包含完整的代码。
精确错误：PicklingError:未能序列化对象: TypeError:无法选择“_thread.RLock”对象
全迹：
/dbfs/File
浏览 16提问于2022-08-24得票数 0
2回答
我正在尝试使用PySpark中的以下选项覆盖Spark数据帧，但未成功
spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path)
mode=overwrite命令不成功
浏览 0提问于2016-03-08得票数 38
回答已采纳
我有一个Dataframe，它是从mysql导入的
dataframe_mysql.show()
+----+---------+-------------------------------------------------------+
| id|accountid| xmldata|
+----+---------+-------------------------------------------------------+
|1001| 12346|<AccountSetup
浏览 2提问于2018-08-29得票数 0
我使用下面的代码将csv文件保存回blob存储，尽管它在循环中运行时会创建多个文件。现在我想将它们合并到一个单独的csv文件中。虽然我已经使用了dbutils.fs.cp/mv，但它没有什么帮助
while start_date <= end_date:
df = spark.read.format("com.databricks.spark.csv").options(header="true", inferschema="true").load(inputFilePath)
df.coalesce(1).write.mode("
浏览 15提问于2019-08-20得票数 1
回答已采纳
我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？
浏览 11提问于2020-08-18得票数 0
回答已采纳
我有一个只有数据但没有列名的CSV文件，现在我想用这个CSV文件的数据在Spark中创建一个数据帧，并为它创建模式(列名和数据类型)。我的代码如下： import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val employee = sqlContext.read.format("com.databricks.spark.csv")
.option("header", "false")
.option("inferSchema",
浏览 52提问于2019-02-26得票数 0
1回答
目标
我们在ETL过程中使用Databricks集群，为DS、ML和QA活动使用Databricks笔记本。
目前，我们不使用Databricks目录或外部Hive Metastore。我们以星火StructType格式编程定义模式，硬编码路径如下：
表/一些table.py
class SomeTable(TableBase):
PATH = os.getenv('SOME_TABLE_PATH', /some_folder/some_subfolder/) # actually it's passed as constructor arg
SCHEM
浏览 3提问于2020-05-11得票数 1
回答已采纳
我有一个Spark 2.0.2集群，我正在通过Pyspark通过Jupyter Notebook访问它。我有多个以管道分隔的txt文件(加载到HDFS中。我需要使用spark-csv将其加载到三个独立的数据帧中，具体取决于文件的名称。
我认为我可以采取三种方法--或者我可以使用python以某种方式遍历HDFS目录(还没有想出如何做到这一点，加载每个文件，然后执行联合。
我还知道在spark中有一些通配符功能(参见) -我可能可以利用
最后，我可以使用pandas从磁盘加载vanilla csv文件作为pandas数据帧，然后创建spark数据帧。这里的缺点是这些文件很大，加载到单个节点上的内
浏览 0提问于2016-12-14得票数 7
回答已采纳
Pandas有一个包含assert_frames_equal的测试模块。考拉也有类似的东西吗？ 我正在编写一系列到考拉数据帧的转换测试。首先，由于我的测试csv文件只有几行(<10行)，我考虑只使用pandas。不幸的是，这些文件非常宽(接近200列)，并且具有在spark读取文件时指定的各种数据类型。由于熊猫的类型规范与考拉的类型规范非常不同，除了我们已经为spark编写的类型模式之外，我还必须编写大约200个完整的dtype列表。这就是为什么我们决定使用spark和koalas为测试创建数据帧会更有效率。但是，我在文档中找不到一种方法来比较数据帧，以查看转换的结果是否与我们创建的预
浏览 27提问于2020-12-12得票数 0
回答已采纳
2回答
Spark版本: 1.6.1，我使用pyspark API。
DataFrame: df，它有两个列。
我试过了：
1: df.write.format('csv').save("hdfs://path/bdt_sum_vol.csv")
2: df.write.save('hdfs://path/bdt_sum_vol.csv', format='csv', mode='append')
3: df.coalesce(1).write.format('com.databricks.spark.csv
浏览 0提问于2017-08-11得票数 5
1回答
TL:DR
有办法从Databricks文件系统读取Scala/Java属性文件吗？
或者，是否有一种方法可以将星火数据帧行转换为一组文本键/值对( Scala会理解)？
全面问题：
属性文件不是本地的，它位于Databricks集群上。尝试从"dbfs:/“或"/dbfs”读取文件时，在使用scala.io.Source库时找不到文件。我猜Source无法识别Databricks文件系统(？)的URI。
不过，我能够将该文件读入Spark，但是尝试填充java.utils.Properties对象时出错，因为它不接受Spark的“行”类型。我尝试将数据帧更改为Array和Li
浏览 4提问于2020-12-29得票数 1
回答已采纳
我有熊猫数据帧(示例程序)，转换的考拉数据帧，现在我是执行星火集群(windows独立)，当我尝试从命令提示符作为
spark-submit --master本地hello.py，获取错误ModuleNotFoundError:没有名为“databricks”的模块
import pandas as pd
from databricks import koalas as ks
workbook_loc = "c:\\2020\Book1.xlsx"
df = pd.read_excel(workbook_loc, sheet_name='Sheet1')
kd
浏览 5提问于2020-06-12得票数 0
我通过以下方式将csv读取为数据帧：
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("D:/ModelData.csv")
然后我按三列进行分组，如下所示，它返回一个RelationalGroupedDataset
df.groupBy("col1", "col2","col3")
我希望每个分组的数据帧都通过下面的函数发送
def ModelFu
浏览 5提问于2017-07-20得票数 2
我有一个数据帧，该模式包含一个ArrayString字段：
StructField("user_agent", ArrayType apply (StringType, true))
...
myDataframe.printSchema
(an excerpt)
|-- user_agent: array (nullable = true)
| |-- element: string (containsNull = true)
我正在使用com.databricks.spark.redshift包来写红移。我得到一个错误：
java.lang.Ill
浏览 0提问于2016-06-04得票数 1
1回答
从数据库到蓝色突触的连接
、、、
我刚开始使用云服务，我正在尝试在databricks和azure之间建立联系。我在databricks中有生成数据帧的笔记本，我想在synapse中填充一个专用的SQL池。
在查看了microsoft 建议的操作和步骤之后，我遇到了这个错误。
代码
df = spark.read \
.format("com.databricks.spark.sqldw") \
.option("url", <the-rest-of-the-connection-string>") \
.option("forwardSparkAzure
浏览 22提问于2022-07-05得票数 0
我不得不从Azure数据湖中读取一堆JSON文件。我使用Databricks，当我使用Spark 2.4.5的集群时，我能够读取所有的文件，但当我使用Spark 3.0.1时，返回的数据帧是空的。我正在使用以下命令，
dfa = spark.read.json("dbfs:/mnt/abc/bronze/xyz/history/*.json", multiLine=True)
dfb = dfa.select(explode("result").alias("result"))
dfc.show(truncate = False)
#this r
浏览 32提问于2021-05-14得票数 0
按照我在https://databricks.com/blog/2018/07/31/processing-petabytes-of-data-in-seconds-with-databricks-delta.html中看到的建议，我正在尝试编写一个非常大的PySpark数据帧 然而，这个页面使用Scala显示建议，我不知道如何将其转换为PySpark 我看到Scala代码是这样的： spark.read.table(connRandom)
.write.format("delta").saveAsTable(connZorder)
sql(s"OPTIM
浏览 4提问于2019-01-08得票数 2
回答已采纳
有没有办法在不将数据帧转换为pandas的情况下绘制Spark dataframe中的信息？
我在网上做了一些调查，但似乎找不到方法。我需要自动将这些图另存为.pdf，因此使用databricks的内置可视化工具将不起作用。
现在，这就是我正在做的(作为示例)：
# df = some Spark data frame
df = df.toPandas()
df.plot()
display(plt.show())
我想要生成折线图、直方图、条形图和散点图，而不将我的数据帧转换为pandas数据帧。谢谢!
浏览 17提问于2019-07-30得票数 8
如果我像这样创建一个数据帧：
val usersDF = spark.read.csv("examples/src/main/resources/users.csv")
spark实际上是将数据(从csv文件)加载(/copy)到内存中，还是作为分布式数据集加载到底层文件系统中？
我之所以这样问，是因为在加载df之后，底层文件数据中的任何更改都不会反映在对dataframe的查询中。(当然，除非通过调用上述代码行再次重新加载数据帧。
我在Databricks notebooks上使用交互式查询。
浏览 1提问于2019-10-25得票数 2
我正在尝试写一个PySpark数据帧到AWS Redshift。我正在使用postActions参数进行删除。
但这段代码需要很长时间才能完成。
有没有办法提高DATAFRAME.write的速度？
from pyspark import SparkContext
from pyspark.sql import SQLContext, types
EXTRACOPYOPTIONS = "TRUNCATECOLUMNS EMPTYASNULL BLANKSASNULL TRIMBLANKS ACCEPTANYDATE TIMEFORMAT 'auto' MAXERROR
浏览 0提问于2021-08-10得票数 1
我有一个包含1000万条记录和150列的spark数据帧。我正在尝试将其转换为熊猫DF。
x = df.toPandas()
# do some things to x
而且它在ordinal must be >= 1上也失败了。我假设这是因为它太大了，不能一次处理。是否可以将其分块并将其转换为每个块的pandas DF？
全栈：
ValueError Traceback (most recent call last)
<command-2054265283599157> in <module>()
浏览 0提问于2018-10-26得票数 6
1回答
我很好奇范围是如何与数据框架和星火一起工作的。在下面的示例中，我有一个文件列表，每个文件都独立加载在一个数据帧中，执行一些操作，然后将dfOutput写到磁盘。
val files = getListOfFiles("outputs/emailsSplit")
for (file <- files){
val df = sqlContext.read
.format("com.databricks.spark.csv")
.option("delimiter","\t")
浏览 3提问于2016-06-24得票数 0
回答已采纳
1回答
除了导航到Databricks上的“Data”>“Add Data”之外，是否还可以读取位于本地计算机中的文件。 在我过去使用Databrick的经验中，当使用s3存储桶时，我能够通过如下方式指定路径来读取和加载数据帧： df = spark.read.format('delta').load('<path>') 有没有办法使用databricks读取本地文件来做类似的事情？
浏览 132提问于2020-10-30得票数 2
1回答
koalas_img = ks.read_spark_io(path="/mnt/databricks/demo/CarClassification/cars_train/009*.jpg", format="binaryfile")
koalas_img.shape
Out[16]: (100, 4)
type(koalas_img)
Out[17]: databricks.koalas.frame.DataFrame
koalas_img.columns
Out[18]: Index(['path', 'modificationTim
浏览 6提问于2020-06-07得票数 0
当我从synapse数据库中读取spark (使用azure databricks)中的表时，我遇到了一个问题。该表的定义如下： CREATE TABLE A
(
[ID] [int] NOT NULL,
[Value] [int] NOT NULL,
[Description] [nvarchar](30) NOT NULL,
) 字段Description可以为空(即"")，也可以包含空格。在synapse中，我对这个字段没有任何问题，当我使用spark将其放入数据帧中读取表格时也是如此。当我编写像df.show()或df.count()
浏览 59提问于2020-10-01得票数 0
我必须使用Spark从HDFS加载一个CSV文件到DataFrame中。我想知道是否有一个“性能”改善(查询速度)从一个DataFrame支持的CSV文件和一个支持一个拼花文件？
通常，我会像下面这样将CSV文件加载到数据帧中。
val df1 = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.load("hdfs://box/
浏览 4提问于2016-09-16得票数 8
回答已采纳
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。 因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。 loadfinaldf.write.format("delta").option("mergeSchema", "true")\
.mode("append").insertInto("table") 数据帧中的列每天都会发生变化。例如，在第2天
浏览 18提问于2021-10-29得票数 0
当通过com.databricks.spark.xml格式加载xml文件时，我尝试为每一行添加输入文件名。但它返回文件名的空列..
下面是代码片段。我使用的是input_file_name函数：
sqlContext.read.format("com.databricks.spark.xml")
.option("rowTag", "BO_RECORD")
.load("file:///<path>/*")
.withColumn("filename", input_file_name())
浏览 2提问于2017-04-12得票数 0
我正在使用Azure databricks，并且有一个挂载的BLOB存储区。我尝试使用以下命令将我的数据帧保存到那里： df.write.mode("overwrite").format("com.databricks.spark.csv").option("header","true").csv("/mnt/gl") 我得到了以下错误： shaded.databricks.org.apache.hadoop.fs.azure.AzureException: java.util.NoSuchElementExc
浏览 43提问于2019-01-14得票数 2
我正在尝试将pyspark数据帧写入CSV。我用的是Spark1.6，我正在尝试这样的东西：df.write.format('com.intelli.spark.csv).save('mycsv.csv')和df.write.format('com.databricks.spark.csv').save(PATH)。
这些代码总是会给出类似于java.lang.ClassNotFoundException: Failed to find data source: com.intelli.spark.csv. Please find packages at
浏览 0提问于2020-03-18得票数 0
1回答
我正在从事SQL Server到Databricks的迁移工作。 我有一些TSQL程序，最少有100行代码。 我想把这些程序转换成Spark代码。 对于POC (在1个TSQL proc上工作)，所有的源文件都被导入并创建为GlobalTempView的，并将TSQL转换为Spark SQL。 并使用作为文件导出的最终globalTempView。 现在，我在这里有一个问题，创建GlobalTempView并将TSQL proc转换为Spark SQL是最好的方法吗?或者将所有文件加载到数据帧中并将TSQL proc重写为Spark数据帧逻辑是最好的方法。 请告诉我TSQL procs转换成
浏览 10提问于2021-10-29得票数 1
我正在尝试使用pyspark将一个数据帧追加到redshift表中。 我做错了什么？ 该表已经存在，并且已经包含一些数据。 myDf.write \
.format("com.databricks.spark.redshift") \
.option("url", JDBC_REDSHIFT) \
.option('forward_spark_s3_credentials', "true") \
.option("dbtable", MY_TABLE) \
.option("tempdir",&#
浏览 22提问于2019-01-16得票数 3
如何在不使用databricks CSV api的情况下将csv文件直接读入spark DataFrames？
我知道有databricks csv api，但我不能使用那个api..
我知道有case类可以使用，并根据cols(0)位置映射cols，但问题是我有超过22列，因此我不能使用case类，因为在case类中，我们只能使用22列。我知道有structtype来定义模式，但我觉得在structtype中定义40列的代码会非常冗长。我正在寻找一些东西，以读取到数据帧使用读取方法，但在火花，我们没有直接支持csv文件，我们需要解析它？但是，如果我们有40个以上的cols呢？
浏览 2提问于2016-07-05得票数 1
我使用以下代码在databricks上创建了sql表
%sql
CREATE TABLE data
USING CSV
OPTIONS (header "true", inferSchema "true")
LOCATION "url/data.csv"
下面的代码将该表分别转换为sparkr和r dataframe：
%r
library(SparkR)
data_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_spark
浏览 10提问于2018-07-25得票数 3
我正在使用spark structured来编写一些使用function的转换数据帧：
def parquetStreamWriter(dataPath: String, checkpointPath: String)(df: DataFrame): Unit = {
df.writeStream
.trigger(Trigger.Once)
.format("parquet")
.option("checkpointLocation", checkpointPath)
.start(dataPath)
}
当我在代码中调用这个函数的次
浏览 7提问于2018-07-26得票数 1
我正在使用Spark和Java连接器来处理我的数据。
我需要对数据执行的基本操作之一是计算数据帧中的记录数(行)。
我尝试过df.count()，但是执行时间非常慢( 2-3M记录需要30-40秒)。
此外，由于系统的要求，我不想使用df.rdd().countApprox()接口，因为我们需要确切的计数。
谁能给我一个建议，任何替代方案，返回与df.count()完全相同的结果，更快的执行时间？
非常感谢你的回复。
浏览 59提问于2017-08-30得票数 3
这是我的spark代码。它工作正常，返回2517。我想要做的就是输出"2517度“...but，我不确定如何将它提取到一个变量中。我只能显示数据帧，但不能从中提取值。听起来非常简单，但不幸的是我被卡住了！任何帮助都将不胜感激。谢谢!
df = sqlContext.read.format("csv").option("header", "true").option("inferSchema", "true").option("delimiter", "\t").load(&#
浏览 0提问于2019-03-29得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
