如何使用spark-scala从表中获取空值的计数？
使用Spark-Scala从表中获取空值的计数可以通过以下步骤实现：
- 导入必要的Spark库和函数：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._- 创建SparkSession对象：
val spark = SparkSession.builder()
.appName("Count Null Values")
.getOrCreate()- 读取表数据并创建DataFrame：
val tableDF = spark.read.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/database_name")
.option("dbtable", "table_name")
.option("user", "username")
.option("password", "password")
.load()请将database_name替换为实际的数据库名称，table_name替换为实际的表名称，username和password替换为实际的数据库用户名和密码。
- 使用
isNull函数和sum函数计算空值的数量：
val nullCount = tableDF.select(tableDF.columns.map(c => sum(col(c).isNull.cast("integer")).alias(c)): _*)- 打印每列的空值数量：
nullCount.show()完整的代码示例：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
val spark = SparkSession.builder()
.appName("Count Null Values")
.getOrCreate()
val tableDF = spark.read.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/database_name")
.option("dbtable", "table_name")
.option("user", "username")
.option("password", "password")
.load()
val nullCount = tableDF.select(tableDF.columns.map(c => sum(col(c).isNull.cast("integer")).alias(c)): _*)
nullCount.show()这段代码将连接到MySQL数据库中的指定表，并计算每列的空值数量。你需要将database_name、table_name、username和password替换为实际的值。请确保已经正确配置了Spark和MySQL的依赖。
腾讯云相关产品和产品介绍链接地址：
相关·内容
我有一个表名为"data“的表，它有5列，每列包含一些空值。我想要计算每一列的空值，我怎么才能为这个结果写代码呢！对一列进行计数很容易，但我如何编写代码来计算表格中的每一列。null |11 |null |
+----------------+----------------+--------+---------+-------------
浏览 6提问于2018-09-05得票数 0
回答已采纳
3回答
查找未使用的CRM字段
、、、、
我们目前正在使用CRM 2015 ONLINE，我们需要从CRM组织中查找并删除未使用的字段。此外，我们认为通过删除未使用的字段-尤其是Lookup和Picklist/Option Set-type字段，可以获得一定的性能提升。因为这些类型的字段迫使CRM在每次引用它们时从其他数据库表中获取信息，所以当您知道永远不会有任何东西可以获取时，尝试获取
浏览 21提问于2015-08-19得票数 0
1回答
我想将转换开始时间和结束时间记录到表中。但是我得到了错误，字段start_date是必需的，但是找不到！。步骤2:使用表输入获取表A中记录的计数。步骤3:使用筛选器检查表A是否为空(计数= 0)，如果为空</e
浏览 2提问于2017-08-01得票数 0
2回答
当我试图从sql表中的列中获取值的计数时，它会返回该列所有值的记录，但我需要的是，如果列中有空记录，那么count不应该得到空记录，而应该计数其他记录。下面是我的查询，用于计数列的值
SELECT COUNT( dt_UserTTrainingDate2) as a FROM ref_Cour
浏览 4提问于2014-04-25得票数 3
回答已采纳
我在PostgreSQL上调用了这个查询，它返回了所有表行的计数！from left join users u on f.user_id = u.id我为最后一部分尝试了另一个值，它总是返回所有行的计数！
浏览 1提问于2021-09-22得票数 1
回答已采纳
2回答
从"PO_LIST_NO" B表(接收进度表)中获取和"PO_NO"，然后从A表中获取值。
在主表(接收计划)中，必须在"PO_ID“或"RS_ID”中有一个值。如果主表(接收计划)的值位于PO_ID列，则RS_ID列必须为NULL。另一方面，如果主表(接收计划)的</em
浏览 4提问于2015-09-09得票数 4
在下面的spark-scala代码中，双精度数据类型的值以不同的方式存储。虽然在表中，但所有列都是字符串类型。黑斑鹿也有同样的结果。
有人知道如何确保保存和检索精确的值吗？
浏览 36提问于2019-04-01得票数 0
2回答
为了举例说明我的情况，请考虑一个像堆栈溢出这样的问答平台。基本上有questions和answers表。显示特定问题答案的数量的最佳做法是什么？
还是使用MySQL在answers表中计算答案的行数？我在这个选项中关注的是对数据库的
浏览 5提问于2012-03-01得票数 1
回答已采纳
我正在尝试映射配置单元中的表以查看hbase表。我使用多个列这样做没有问题，但不确定如何使用计数器列进行管理。这个是可能的吗？当我扫描hbase表时，计数器列的一个示例值是\x00\x00\x00\x00\x00\x00\x00\x01。
我怀疑我在配置单元表中设置的列类型不正确。我已经尝试了int和strin
浏览 1提问于2016-12-01得票数 0
1回答
我是一个使用和学习甲骨文数据库的新用户。= 168schema2发生了什么事，为什么schema2不使用index range scan？在schema2上运行schema2之后，我从解释这是index range sc
浏览 0提问于2020-09-29得票数 0
我正在尝试获取一行中非空数的单元格。| 1 | 2 | 3 | | | |使用(int) row.getLastCellNum();我还注意到，如果我从excel工作表</em
浏览 3提问于2017-09-05得票数 0
2回答
我试图使用DCount()函数从我的表中返回一个计数。我的问题是它总是返回一个空值。
我应该如何重写这个VBA语句，这样它才能返回准确的计数？
浏览 2提问于2017-10-18得票数 0
回答已采纳
我在mysql中有一个名为cfixed表的表，如下所示我需要得到Null的计数，而不是Null的日期，如下所示我编写了一个mysql查询，用于获取null和null日期的计数，如下所示用于获取非空日期，但不显示0计数。SELECT date, COUNT(*) counts FROM cfixed WHERE fixed IS NOT NULL GROUP
浏览 3提问于2016-07-11得票数 0
回答已采纳
我为每个表分配了一个值来计算可为空的列的数量。count(*) FROM INFORMATION_SCHEMA.COLUMNS GROUP BY table_name;
现在我必须修改它来计算“有属性”非空“的列。还是只会检查天气列名不为空？
浏览 5提问于2011-03-18得票数 49
我需要帮助来获取数据，并在一个表中的多列特定日期的sql中计数空值和非空值。我知道如何获得单个查询中的特定日期的空值和非空值，如下所示，但我不知道如何将其与所有列合并，在一个查询中计算值为null和null。wmwhse1.RECEIPT
浏览 13提问于2022-10-03得票数 0
2回答
单表中的多行计数
、、
如何使用db2查询从单个表中获取多个记录的计数？假设我想使用以下方法获得1条记录的计数：我需要的是对每个记录在不同的行中对同一表中的多个记录进行计数<
浏览 4提问于2015-02-26得票数 1
回答已采纳
我们有一个DynamoDB表，我们认为它可以关闭和删除。我们关闭了查询它的web服务的调用方(并且可以在web服务器上看到调用方降为零)，但是AWS控制台仍然显示读取容量消耗大于零。
但是，与读取有关的所有其他图形都没有显示数据:获取延迟、放置延迟、查询延迟、扫描延迟、获取记录、扫描返回的项计数和查询返回的项计数都是空的。在我知道正在使用的其
浏览 1提问于2017-11-16得票数 5
回答已采纳
2回答
我在ms access 2003中有一个表(MYTABLE)，它具有以下列:表名、列名和计数。我想通读该表并为每个表和列动态地创建一个SQL语句，运行SQL以获取计数并更新表中的' count‘列。例如Tablename columnname count从年龄不为空<em
浏览 2提问于2013-09-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
