如何使用Databricks Community将从Kaggle下载的数据导入DBFS？
如何使用Databricks Community将从Kaggle下载的数据导入DBFS？
提问于 2021-08-07 06:07:00
我使用Kaggle从Kaggle下载了数据集。数据存储在/databricks/driver目录下。
%sh pip install kaggle
%sh
export KAGGLE_USERNAME=my_name
export KAGGLE_KEY=my_key
kaggle competitions download -c ncaaw-march-mania-2021
%sh unzip ncaaw-march-mania-2021.zip问题是:如何在DBFS中使用它们？下面是我读取数据的方式，以及当我试图使用pyspark读取csv文件时遇到的错误：
spark.read.csv('/databricks/driver/WDataFiles_Stage1/Cities.csv')
AnalysisException: Path does not exist: dbfs:/databricks/driver/WDataFiles_Stage1/Cities.csv回答 1
Stack Overflow用户
回答已采纳
发布于 2021-08-07 07:08:24
默认情况下，spark.read...使用DBFS路径，因此您有两个选择：
- 使用
file:/databricks/driver/...强制从本地文件系统读取-它将在社区版本上工作，因为它是单个节点集群。它不能在分布式集群上工作 - 使用
dbutils.fs.cp命令(文档)将文件复制到DBFS，并从DBFS读取：
dbutils.fs.cp("file:/databricks/driver/WDataFiles_Stage1/Cities.csv",
"/FileStore/Cities.csv")
df = spark.read.csv("/FileStore/Cities.csv")
....页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68693087
复制相关文章
![java如何运行_如何运行java程序[通俗易懂]](https://ask.qcloudimg.com/http-save/yehe-8223537/936e06f61c647b7bc7a69453b3cb7076.jpg)
相似问题
在标准的Java程序中，我如何判断是否运行在GraalVM中？
使用GraalVM模块导入时GraalVM上下文中的错误
如何判断Perl脚本是否在CGI上下文中执行？
是否有可能在Java "GraalVM“程序中运行Python程序？
如何使用编译后的源GraalVM运行Java程序？
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
