使用负索引从火花放电字符串列的最后一个索引中提取多个字符
提问于 2018-04-12 01:53:19
与：Spark Dataframe column with last character of other column 密切相关，但我想从-1索引中提取多个字符。
我有下面的pyspark df
+----------+----------+
| number|event_type|
+----------+----------+
|0342224022| 11|
|0112964715| 11|
+----------+----------+我想从number列的最后一个索引中提取3个字符。
我尝试了以下几点：
from pyspark.sql.functions import substring
df.select(substring(df['number'], -1, 3), 'event_type').show(2)
# which returns:
+----------------------+----------+
|substring(number,-1,3)|event_type|
+----------------------+----------+
| 2| 11|
| 5| 11|
+----------------------+----------+下面是预期的输出(我不确定上面的输出是什么)：
+----------------------+----------+
|substring(number,-1,3)|event_type|
+----------------------+----------+
| 022| 11|
| 715| 11|
+----------------------+----------+我做错了什么？
注：火花1.6.0版
回答 2
Stack Overflow用户
回答已采纳
发布于 2018-04-12 01:58:22
这就是您使用substring的方式。你的位置是-3，长度是3。
pyspark.sql.functions.substring(str, pos, len)您需要将子字符串函数调用更改为：
from pyspark.sql.functions import substring
df.select(substring(df['number'], -3, 3), 'event_type').show(2)
#+------------------------+----------+
#|substring(number, -3, 3)|event_type|
#+------------------------+----------+
#| 022| 11|
#| 715| 11|
#+------------------------+----------+Stack Overflow用户
发布于 2021-12-23 12:09:00
这也可以通过SQL代码来完成，这要归功于"expr“函数：
from pyspark.sql.functions import expr
df.select(expr('RIGHT(number, 3) AS substring'), 'event_type').show(2)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49793479
复制相关文章
![[译] 依赖注入在多模块工程中的应用](https://ask.qcloudimg.com/http-save/yehe-2267234/1281d253e73bd87ec24d83bdbeffba9b.png)
点击加载更多
相似问题
没有名为'timeout_decorator‘的模块
Pyinstaller抛出“没有模块名为multipart"，”没有模块名为image"，“没有模块名为text"，”没有模块名为message“
导入名为“MultidbodyPlant”的Drake问题
没有模块名为。
在python模块中:没有名为'json‘的模块
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
