腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
包含
CSV
值
的
spark
数据
框
列
中
创建
单个
CSV
字符串
我
的
df如下所示:1,4
数据
框
只有1
列
和3条记录,每个记录都有
csv
字符串
,我想从上面的
数据
帧
中
创建
以下
csv
字符串
: 1,2,4,5
浏览 1
提问于2017-02-07
得票数 0
1
回答
将
csv
读入
包含
时间
列
的
hdfs将不起作用
、
我想将一个带有时间
列
的
csv
读入hadoop,在hadoop
中
,时间
列
将作为
字符串
读入。 我尝试在textedit
中
创建
csv
,而不是在intellij
中
创建
它。以及在时间上逃脱冒号。期望
值
: bleh =
数据
中
包含
值
的
数据
帧...然而,在
spark
浏览 0
提问于2019-07-25
得票数 0
1
回答
Spark
忽略
字符串
中
的
逗号
尝试通过
spark
会话加载
csv
,但遇到在.i.e
中
包含
双引号和逗号
的
字符串
问题。"""A"" STAR ACCOUNTING,& TRAINING SOLUTIONS LIMITED""""A"" STAR ACCOUNTI
浏览 19
提问于2018-02-07
得票数 1
回答已采纳
1
回答
为每个
数据
框
行
创建
单个
CSV
文件
、
我需要为每个
数据
框
行
创建
一个dataframe。以下代码将
创建
包含
Dataframe信息
的
单个
csv
import org.apache.
spark
.sql.hive.HiveContextimport org.apache.
spark
.sql._ import org.apach
浏览 11
提问于2019-06-19
得票数 0
2
回答
SSRS无论可见性状态如何,
列
都会下载到.
CSV
、
、
我有一个Reporting Services 2012表,它根据参数选择隐藏某些
列
,因为某些选择会导致dataset在运行时排除某些
列
。因此,像PassportID这样
的
列
将有一个隐藏
的
条件表达式,例如: OR Parameters!TransitMode.Value = "train",True,False) 在呈现报表以及将报表下载到Excel时,这些
列
实
浏览 2
提问于2014-01-28
得票数 0
3
回答
如何分割巨大
的
CSV
文件?
、
我有一个有40k行和1
列
的
csv
文件,因为所有
数据
都用分号分隔。TL;4.35104 2017-01-02 00:00:00.000;EUR;USD;1.0459 这就是我
的
数据
在熊猫
数据
框
中
的
样子我想在分号上拆分,以形成单独
的
列
。
浏览 24
提问于2020-08-19
得票数 0
回答已采纳
1
回答
Spark
Scala:如何将分组
的
数据
帧保存到不同
的
文件?
、
、
、
我有一个
包含
字符串
列:day和其他
列
的
数据
框
。我想做这样
的
事情:
数据
帧my_df
包含
一月份
的
数据
,我想获得31
浏览 2
提问于2019-09-19
得票数 0
2
回答
在编写拼花时删除分区
列
、
、
、
我有一个带有日期
列
的
数据
格式。我把它分析成了年、月、日
的
专栏。我想在这些列上进行分区,但我不希望这些
列
持久存在于parquet文件
中
。下面是我对
数据
进行分区和编写
的
方法: df = df.withColumn('year', f.year(f.col('date_col'))).withColumn('month',f.month(f.colf.col('date_col'
浏览 0
提问于2019-06-24
得票数 1
回答已采纳
1
回答
使用
spark
scala读取
列
值
为空
的
CSV
文件时出错
我正在尝试使用
spark
Scala分析
CSV
文件,但问题是我
的
CSV
文件
包含
空
值
的
列
,所以当
从
CSV
文件读取
数据
时,我得到
的
错误为java.lang.ArrayIndexOutOfBoundException:12 我在
CSV
文件
中
的
总
列
数是13,但有1
列
包含
空
值<
浏览 7
提问于2017-07-01
得票数 0
1
回答
按日期
列
值
拆分文件
、
、
、
、
我有一个
csv
文件,其中有89
列
,它
包含
多个日期
的
数据
。日期
列
是第59
列
。日期格式为mm/dd/yy。我想要实现
的
是用mmddyyyy.
csv
创建
一个文件,这样每个文件都只
包含
一个
数据
日期。到目前为止我
的
方法是 gre
浏览 2
提问于2016-04-15
得票数 0
2
回答
如何使用Azure Databricks(Python)读取
CSV
文件而不使用分隔符并
创建
数据
帧?
我会有
CSV
文件。我想读取整个行(作为
单个
字符串
)和解析
字符串
,并
创建
列
的
数据
帧,然后保存
CSV
文件。原因是
CSV
文件
中
存在编码问题,无法正确读取。如何将
CSV
作为单列读取?如何根据管道和冒号进行解析并形成
数据
帧?
浏览 4
提问于2021-01-23
得票数 0
1
回答
导出带有希腊字符
的
CSV
时databricks机制
中
的
问题
、
、
、
、
在azure-databricks
中
,我有一个在一些
列
中
包含
希腊字符
的
spark
dataframe。当我显示
数据
帧时,字符显示正确。但是,当我选择
从
databricks UI下载带有
数据
帧
的
csv
时,
创建
的
csv
文件不
包含
希腊字符,而是
包含
奇怪
的
符号和符号。encoding.Also似乎有
浏览 19
提问于2019-07-26
得票数 0
1
回答
是否可以在从HDFS读取
CSV
文件时对其进行分区?
、
我正在尝试读取一个巨大
的
csv
文件到
spark
中
,并将其加载到雪花表
中
。,我们可以使用选项partitionColumn,其中我们可以指定分区
列
(这是一个旧方案&我
的
数据
属于hive表
的
单个
分区),其中
列
epochVals具有几乎唯一
的
值
,参数numPartitions帮助将
数据
划分为确切数量
的
分区(15是用于解释该方案
浏览 25
提问于2020-07-23
得票数 1
3
回答
SQLite导入文本字段
中
包含
逗号
的
csv
文件
、
、
我想导入
csv
文件到SQLite
数据
库使用sqlite> .mode
csv
data其中,data是
包含
三
列
的
表名称,就像文件一样。该文件
包含
一些使用双引号封装
的
字符串
值
。一些
字符串
值
中
包含
逗号(文件&q
浏览 5
提问于2014-03-19
得票数 6
2
回答
在基于文件名
的
转换后,使用
spark
覆盖相同
的
分区文件
、
、
、
、
嗨,我在一个S3桶MyBucket/object/file 1.
csv
,文件2.
csv
,文件3.
csv
中有文件, 我已经将这些
数据
加载到
单个
数据
中
,并且需要基于columns.Then进行一些转换--我想要写入以转换
列
值
--现在我想将文件重写回相同
的
file1.
csv
、file2.
csv
、file3.
csv
。当我给出覆盖命令时,它会在同一个文件
浏览 6
提问于2022-06-29
得票数 0
1
回答
格式化标题以附加到R
中
的
数据
帧
、
、
、
、
我正在尝试
创建
一个特殊格式化
的
报头,将其附加到我在R
中
创建
的
数据
框
中
。 我
的
问题
的
本质是它似乎越来越困难(也许是不可能
的
?)使用R
中
的
dataframe概念,在不合并底层表
的
情况下,
创建
脱离典型
的
逐行逐
列
框架
的
标题。这个问题源于我不能想出一种方法来通过read.
csv
浏览 0
提问于2017-02-03
得票数 1
1
回答
如何在pySpark中将带有尾随破折号
的
数字格式化为负数?
、
我正在使用
Spark
读取一些
CSV
数据
(通过指定schema并设置为FAILFAST模式)。
数据
包含
不同
的
列
类型,包括整数。问题是一些整数有尾随
的
破折号而不是前导破折号(324-而不是-324,
spark
将它们作为
字符串
)。目前它无法将这些
值
解析为整数(如果我
从
代码
中
删除FAILFAST模式,它会将所有非整数替换为null): df =
spark</em
浏览 16
提问于2020-06-17
得票数 1
2
回答
如何在读取
spark
dataframe时
从
csv
文件
中
删除
列
、
、
、
我正在尝试
从
csv
文件
创建
spark
数据
帧,但是我不想在
数据
帧
中
包含
原始
数据
中
的
特定
列
。在设置架构或读取
csv
文件时,是否可以这样做?
浏览 35
提问于2018-08-01
得票数 0
5
回答
如何根据pandas
数据
框
中
column[0]
的
值
快速轻松地选择单行
、
我已经在pandas
数据
框
中加载了一个两
列
的
csv
文件,在每行
的
列
中有一个唯一
的
键,在每行
的
column1
中
有一个
值
。它没有标头。我只想在
列
中
查找
单个
值
,方法是使用一个键与value
列
进行匹配,以定位该行。 当然,高效等等。就好像它是一个
包含
字符串
键
的
字典,
浏览 2
提问于2019-08-12
得票数 3
6
回答
在
数据
框
的
选定
列
中
包含
NA (缺失)
值
的
行子集
、
、
、
、
我们有一个来自
CSV
文件
的
数据
帧。
数据
框
DF具有
包含
观察
值
的
列
和
包含
测量日期
的
列
(VaR2)。如果未记录日期,则
CSV
文件
包含
值
NA,表示缺少
数据
。Var1 Var2 20 NA我们希望使用subs
浏览 0
提问于2011-11-02
得票数 105
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一个Python大数据处理利器:PySpark入门指南
pandas系列学习(三):DataFrame
一文读懂 PySpark 数据框
一文读懂PySpark数据框
肝了3天,整理了90个Pandas案例
热门
标签
更多标签
云服务器
ICP备案
对象存储
腾讯会议
云直播
活动推荐
运营活动
广告
关闭
领券