使用spark.read.csv处理空值&结果总是获取字符串类型
使用Spark.read.csv处理空值的方法：
在Spark中，可以使用spark.read.csv()函数读取CSV文件，并对空值进行处理。具体的处理方法如下：
- 导入相关的Spark库：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._- 创建一个SparkSession对象：
val spark = SparkSession.builder()
.appName("CSV Processing")
.getOrCreate()- 使用
spark.read.csv()函数读取CSV文件：
val df = spark.read.csv("path/to/csv/file.csv")- 处理空值：
- 删除包含空值的行：
val dfWithoutNulls = df.na.drop()- 填充空值：
val dfFilledNulls = df.na.fill("N/A")可以根据需求选择删除包含空值的行或填充空值。填充空值时，可以使用不同的值进行填充。
- 将结果转换为字符串类型：
如果希望将结果中的所有列都转换为字符串类型，可以使用.cast()函数将每列的数据类型转换为字符串类型。以下是一个示例：
val dfAsString = dfWithoutNulls.columns.foldLeft(dfWithoutNulls) { (acc, col) =>
acc.withColumn(col, col(col).cast("string"))
}此代码将遍历所有列，并使用.cast("string")将每列的数据类型转换为字符串类型。
完整代码示例：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
val spark = SparkSession.builder()
.appName("CSV Processing")
.getOrCreate()
val df = spark.read.csv("path/to/csv/file.csv")
val dfWithoutNulls = df.na.drop()
val dfFilledNulls = df.na.fill("N/A")
val dfAsString = dfWithoutNulls.columns.foldLeft(dfWithoutNulls) { (acc, col) =>
acc.withColumn(col, col(col).cast("string"))
}至于结果总是获取字符串类型的问题，可以通过将所有列的数据类型转换为字符串类型来解决，如上面代码示例中的dfAsString部分所示。
相关·内容
, r.getString(5).toInt, ) } 我似乎不能处理空值，也不能设置为Integer类型。其中有一个空值，我得到了String，但我想要Int，但我在每种可能的方法上都得到了一个错误。 请参阅//。下面的代码失败，异常为空，出于某种原因，我不能在这里制定检查逻辑？有没有更简单的方法
浏览 34提问于2019-03-07得票数 0
回答已采纳
问题：为什么下面的代码只在第一列上用空值替换空值，而不替换具有空值的其他列？例如，如果column1和column2没有空值，而column3、column6、column9有空值，则只能在column3中替换空值，而在column6和column9中则不替换空值。注意:所有列都是字符串类型的。我使用的是‘Python’scala。
Detail
浏览 16提问于2022-05-09得票数 0
3回答
我已经知道在C#中，字符串是引用类型，其处理方式主要类似于值类型，但我最近发现：string s = string.Empty:无法获取托管类型(‘CS0208’)的地址、大小或声明指针)，代码就不会编译。我也尝试过GetHashCode()，但显然对于字符串，它会根据...字符串值本身(即例如，对于&qu
浏览 7提问于2017-02-20得票数 0
回答已采纳
如何使用SQL在扳手数据库中检查包含空值的列。我有字符串和时间戳列类型。当我试图写下面的查询时，我总是在列中获得值，结果是.If，列为空，其打印结果为null； case when t.locked_by IS null
浏览 1提问于2021-12-03得票数 0
回答已采纳
null == id
visual studio中的语句获取绿色的高亮显示，并在检查时使用鼠标检查状态。“表达式的结果总是'false‘，因为'int’类型的值永远不等于‘int’类型的'null‘？”如果可空对象的HasValue属性为true，则可以使用value属性访问该对象的值。当可空</e
浏览 1提问于2018-03-08得票数 1
我有不同数据类型的列。例如，某些列具有int类型，另一列为日期，另一列为字符串类型。如何用空格替换整数和日
浏览 7提问于2020-12-18得票数 0
回答已采纳
1回答
我有一个decimal(9,2)列，当输出为NULL时，我希望显示一个空单元格。COALESCE(column, '')将显示空单元格，不需要数据类型转换。但是，当我尝试这样做时，我会看到一个0：我也尝试过不使用CONVERT，像这样：我看到这个错误：
有人能帮我吗？
浏览 0提问于2018-10-19得票数 0
我有一个文本框，我需要检查文本框是否为空，并相应地将变量设置为true或false。
我的代码现在打印文本框的值。
浏览 0提问于2013-02-06得票数 0
回答已采纳
2回答
我使用启用了可空引用类型的.net 6，当我使用匿名类型获取LINQ查询的结果时，我在这里得到一个警告客户端不为空。‘t 8619:引用类型的值为<匿名类型: int ContractId，string Name，string Street>不匹配类型<匿名类型: int ContractId，字符串名称，字符串</em
浏览 15提问于2021-12-21得票数 3
1回答
我正在开发一些clang工具，我需要生成带有类型的源代码，这些类型没有明确指定。我从clang::QualType得到的带有类型的字符串类似于：class std::initializer_list<int>。问题是在没有关键字的情况下获取类型。我尝试将类型(clang::Type) dyn_cast<>给TypeWithKeyword的所有继承者，但结果总是空的。当然，我可以删除字符
浏览 3提问于2017-02-26得票数 3
回答已采纳
1回答
我使用计算列而不是默认值列，因为我使用的LINQ2SQL不理解数据库中的默认值。然而，这将导致一个可空的CHAR(1)列类型。
如果我只使用'C'或ISNULL(NULL,'C') (这确实会导致非空类型)，那么列将作为VARCHAR(?)。而且，如果我将两者结合使用ISNULL(NULL,CONVERT([char](1),'C',0))，我将返回一个<e
浏览 1提问于2013-03-23得票数 4
回答已采纳
我想获取一个DynamoDB表，该表附加到一个AppSync模式的Query上，用于只获取具有全局辅助索引(GSI)的属性的空值或空值。我试过以下几种方法，但没有得到结果：
"index" : "myAttrIndexexpressionValues&quo
浏览 2提问于2018-09-20得票数 1
回答已采纳
1回答
我在个人项目中使用Lucene.Net，需要处理案例，但无法找到lucene使用相同类型的查询处理这两种情况的好方法。基本查询使用带有MultiFieldQueryParser的StandardAnalyzer和NumericRangedFilter按日期进行筛选(日期作为长值保存)。问题是，我希望过滤器处理一个空的搜索字符串，而不必使用两个不同的查询解析器，一个用于空搜索
浏览 1提问于2012-09-09得票数 2
回答已采纳
当我在管道脚本中使用这个参数时，会得到令人困惑的结果。}>>> isModuleUpdate as String: false>>> ModuleUpdate
浏览 12提问于2022-04-18得票数 2
回答已采纳
它应该查找字符串字段不为空或非空的所有项。在MySQL上，
select x from Examples x where (x.foo !但是，由于Oracle将空字符串转换为null的方式，!= '‘位总是返回false，因此即使几乎所有字符串都为空，我也得不到任何结果。我可以检测用户正在使用的数据库类型，并为每个数据库编写不同的内容，但是拥有三倍于JPQL的JPQL并不是很好。有没有在JPQL中
浏览 6提问于2017-06-29得票数 0
回答已采纳
我用一个执行SQL任务获取一个结果集。它只有一列NullTime varchar。它有三行，第一行为空。我只想简单地迭代和显示这些行的值。如果我只使用C#脚本，那么就没有问题了。空值显示为空白。如何使用foreach -使用该循环读取每一行，并将每行的值设置为SSIS字符串User::STR_WORD。然后，只需使用一个User::STR_WORD脚本任务显示C#。在纯C#方法中，
浏览 2提问于2014-02-06得票数 1
回答已采纳
1回答
我试图从MongoDB (以前使用JS保存)获取数据，不幸的是，我得到了空的_id和错误的日期格式(保存为纪元)。以下是MongoDB中的数据：下面是我在围棋代码中使用的模型这就是我得到的结果我尝试过ID类型中的uuid.UUID，但是我得到了一个满是零的结构，当我将它们的类型更改为字符串或字节时，就会得到空值。如何在数据库中保存数据时准确地获取数据？
浏览 9提问于2022-06-11得票数 0
2回答
我在业务层和表示层之间使用DTO，在转换DTO <->域对象的服务中有一些映射代码。目前，我允许PL部分填充DTO并将其发送到Update服务，更新服务只更新相关DO上更改的属性。在部分填充的DTO中，处理非空(值)类型的通常方法是什么？对于可为空的类型，我只是检查DTO值是否为null，如果不是，则在DO上设置相应的值。但是，非零标号总是包含一个值，这个值可能是由PL
浏览 5提问于2010-09-01得票数 2
回答已采纳
我有一个create语句
hive不过，我还是把它当作空而不是空。CREATE TABLE temp_tbl (EmpId String,Salary int) TBLPROPERT
浏览 0提问于2019-03-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
