我无法对数据帧使用筛选器。我一直收到错误“TypeError(”条件应该是字符串或列“)” 我已经尝试更改滤镜以使用col对象。尽管如此，它还是不起作用。 path = 'dbfs:/FileStore/tables/TravelData.txt'
data = spark.read.text(path)
from pyspark.sql.types import StructType, StructField, IntegerType , StringType, DoubleType
schema = StructType([
StructField("from
浏览 21提问于2019-02-02得票数 0
回答已采纳
1回答
我需要找到一种方法来获取所有在pyspark中具有null值的行。
例如，我有以下数据：
+-------+-------+-------+
| c_00| c_01| c_02|
+-------+-------+-------+
1 | null | 0.141| 0.141|
2 | 0.17| 0.17| 0.17|
3 | 0.25| null| 0.25|
4 | 0.135| 0.135| 0.135|
我希望所有列中都有null值的行
+-------+-------+-------+
|
浏览 1提问于2022-01-28得票数 4
回答已采纳
我正在尝试将pyspark dataframe列从字符串数组转换为字符串。 df： text
[this, is, a, book, that, I, like] 我需要： text
"this, is, a, book, that, I, like" 基于How to convert column of arrays of strings to strings?， 我的py3代码： import pyspark.sql.functions as F
t = df.withColumn('text', F.concat_ws(", &
浏览 7提问于2020-09-14得票数 0
回答已采纳
我有一个数据帧，在pyspark dataframe中有一个数组列‘test’，它有3行或更多行。 测试-‘hello’，‘地狱’，‘Help’，‘helper’‘sequence’，‘seque’ 如何使用difflib.sequencematcher遍历行的每个元素，如果两个元素的比率小于90%，则在新列中添加两个元素，说明‘test_ratio，如果它大于，则只保留两个元素中的一个元素？ 示例:从第一行开始比较前两个元素‘hello’和‘hell’，如果ratio大于90%，则将hello添加到test_ratio中，如果ratio小于90%，则将hello与help进行比较，如果ra
浏览 11提问于2021-07-18得票数 0
回答已采纳
我正在使用pandasUDF将标准的ML python库应用于pyspark DataFrame。在定义了模式并进行了预测之后，我得到了pyspark DF作为输出。现在，我想用这个预测数据帧做一些事情，例如，我尝试对列"weekly_forecast_1“中的所有值进行求和。当我应用.collect()或.toPandas()方法时，在.fit()中得到以下错误 IndexError: too many indices for array:array is 0-dimensional, but 1 were indexed 每当我尝试将.collect()或.toPandas()方
浏览 33提问于2020-11-24得票数 0
1回答
我正在尝试将一个hiveQL查询转换为pyspark。我正在过滤日期和得到不同的结果，我想知道如何在pySpark中的行为，以匹配蜂巢。蜂箱查询是：
SELECT COUNT(zip_cd) FROM table WHERE dt >= '2012-01-01';
在pySpark中，我正在输入解释器：
import pyspark.sql.functions as psf
import datetime as dt
hc = HiveContext(sc)
table_df = hc.table('table')
DateFrom = dt.datet
浏览 1提问于2016-11-16得票数 1
回答已采纳
2回答
我的架构：
|-- Canonical_URL: string (nullable = true)
|-- Certifications: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- Certification_Authority: string (nullable = true)
| | |-- End: string (nullable = true)
| | |-- License: string (nullable = true
浏览 0提问于2016-03-15得票数 16
回答已采纳
我想使用python/pyspark创建一个基于字符串列的新列，如果存在，则在末尾使用分隔符(";")和删除(“；”)： 输入： "511;520;611;"
"322;620"
"3;321;"
"334;344" 预期输出： +Column | +new column
"511;520;611;" | [511,520,611]
"322;620" | [322,620]
"3;321;" | [3,321]
"3
浏览 11提问于2021-09-30得票数 0
回答已采纳
我们有一个要求，从一个非分区的work_db.customer_tbl外部蜂窝表通过PySpark从一个分区的外部的蜂巢表通过PySpark摄取数据，以前是通过hive查询完成的。最后一个表由列 load_date (load_date列的格式为load_date)进行分区。
因此，我们有一个简单的PySpark脚本，它使用一个插入查询(与前面使用的单元查询相同)来使用spark.sql()命令摄取数据。但是，我们有一些严重的性能问题，因为我们在摄入后试图摄入的表大约有3000分区，和每个分区大约有4MB的数据，除了最后一个分区大约4GB。总表大小接近15 is。另外，在摄入每个分区之后，每
浏览 2提问于2021-03-25得票数 0
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。 我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
我想添加排序/过滤表中列的功能。在web上，我找不到任何关于如何使用react-bootstrap/table来做到这一点的例子。 下面是我的代码： import React from 'react';
import 'bootstrap/dist/css/bootstrap.min.css';
import Table from 'react-bootstrap/Table';
export default class Success extends React.Component {
render() {
return (
浏览 36提问于2021-06-16得票数 0
回答已采纳
1回答
我有一个有很多行的pyspark数据框。每行都是一个文本。只有一列。我想删除或移除少于3个字母的行。例如，在下面的4行中，我想删除第二列和第四列。(pdf和a)： this is a text
pdf
a
No ways
浏览 14提问于2021-01-20得票数 0
我正在尝试使用外部API将JIRA数据引入Foundry。当它通过Magritte传入时，数据被存储在AVRO中，并且有一个名为response的列。response列包含如下所示的数据... [{"id":"customfield_5","name":"test","custom":true,"orderable":true,"navigable":true,"searchable":true,"clauseNames":["cf[5]&#
浏览 9提问于2021-08-27得票数 2
回答已采纳
2回答
要Py的SQL查询(Spark)
、、、、
我有以下SQL查询，我想将其转换为pyspark。我想使用两个列pp和gender，并在pyspark中执行以下操作 %sql
SELECT pp
, SUM(CASE WHEN Gender = 'M'
THEN 1.0 ELSE 0.0 END) /
COUNT(1) AS gender_score
, count(1) AS total
FROM df
WHERE gender in ('M', 'F')
GROUP BY pp
HAVING
浏览 12提问于2020-12-16得票数 0
1回答
我正在学习PySpark。在中，有一个例子：
from pyspark.ml.linalg import Vectors
from pyspark.ml.classification import LogisticRegression
# Prepare training data from a list of (label, features) tuples.
training = spark.createDataFrame([
(1.0, Vectors.dense([0.0, 1.1, 0.1])),
(0.0, Vectors.dense([2.0, 1.0, -1.
浏览 0提问于2019-02-13得票数 1
回答已采纳
1回答
我们有一个1.5BM记录分散在几个csv文件。为了生成一个count聚合，我们需要对几个列进行分组。
我们目前的战略是：
将它们加载到数据文件中(使用Dask或pyspark)
聚合列，以便生成2列作为键:value(我们不确定这是否值得)
将文件保存为Parquet
读取Parquet文件(Dask或pyspark)，并在dataframe的索引上运行groupby。
对于Parquet文件上高效的groupby来说，最佳实践是什么？
在索引上而不是在列(或一组列)上执行groupby有多大益处？
我们知道有一个partition可以提供帮助--但在我们的例子中，我们
浏览 2提问于2017-07-09得票数 3
我尝试在这个pyspark数据帧的数组列的开头插入0。
我就是这么做的
from pyspark.sql.types import ArrayType, IntegerType
udf_addEle = F.udf(lambda x: [0]+(x), ArrayType(IntegerType()))
labs.select(udf_addEle(F.col('glu_agg'))).show()
然而，当我运行它时，我得到了这个奇怪的输出。找不到原因。有谁能帮帮忙。我应该怎么做才能避免这个错误？非常感谢。
浏览 7提问于2019-11-25得票数 0
回答已采纳
2回答
我有一系列的维数500 x 26。使用pyspark中的筛选器操作，我想选择列，这些列列在第一行. Ex: if的另一个数组中。
a[i]= [1 2 3]
然后选择列1、2和3以及所有行。这可以用filter命令来完成吗？如果是，有人能给出一个例子或语法吗？
浏览 1提问于2015-06-15得票数 1
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：
ID value
1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则字符串应包含value；如果label不为null，则string应为label:value。因此，对于上面的示例数据帧，输出应如下所示：
ID
浏览 0提问于2021-02-09得票数 0
我正在使用pyspark通过shc访问hbase的表。这个表有大量的记录，但是我的spark集群只有三台服务器，性能很差。我认为从hbase表中读取全部数据，然后用spark的过滤器处理它是不合理的，那么我如何使用pyspark和shc从hbase中读取部分数据呢？例如，我希望筛选行键具有起始值、结束值或筛选列
这里有一个基本的write和read方法，谢谢
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('localhost').appName('test_1')
浏览 1提问于2019-07-20得票数 0
看一下pyspark，我看到translate和regexp_replace可以帮助我处理存在于数据框列中的单个字符。
我想知道是否有一种方法可以在regexp_replace或translate中提供多个字符串，以便解析它们并用其他东西替换它们。
用例:删除A列中的所有$、#和逗号(，)
浏览 0提问于2018-06-09得票数 10
回答已采纳
3回答
我有一个在视觉上看上去像的pyspark，如下所示。我希望该列仅保存浮点值。请注意，当前的值在它周围有方括号。
from pyspark.sql.types import StructType,StructField
from pyspark.sql.types import StringType, IntegerType, ArrayType
data = [
("Smith","OH","[55.5]"),
("Anna","NY","[33.3]"),
("Williams"
浏览 4提问于2021-04-09得票数 1
1回答
我现在在Python中使用kafka。我想知道是否需要Spark Kafka，或者我们可以通过pyKafka使用kafka。
我担心的是Spark在这个过程中产生了开销(pyspark)，如果我们不使用任何spark函数，只需要Kafka流媒体。
使用Pyspark和kafka spark有什么不便之处？
浏览 3提问于2018-03-06得票数 0
1回答
我对火花公子很陌生。通过使用下面的dataframe，如何根据"_Value“字段将其划分为两个不同的数据帧。如果为_Value (String)的数组中有任何空元素或空元素，那么它应该转到一个dataframe中，其余的转到另一个数据中。
+----+-----+-----+-------------------------------+-------------+--------------+
|key |Size |Color|AdditionalAttributeMetric |_Name |_Value |
+----+-----+---
浏览 1提问于2020-03-27得票数 2
回答已采纳
我正在把一个表格从BigQuery读到Spark。该表具有以下列: id(int)、string1(字符串)、string2(字符串)、string3(字符串)、date(日期)、timestamp(int)。现在，我想将结果数据帧中的行根据id写到BigQuery中的不同表中。例如，有700行id为1的行，我想创建一个表project.dataset.id1，并将这700行(所有列)都写到该表中，然后所有id为2的行都应该写到一个表project.dataset.id2中，依此类推。
如果我正在写文本文件，我将使用write.partitionBy('id')，当我写到Big
浏览 1提问于2019-11-19得票数 0
我在理解或实现jqgrid中的搜索/过滤功能时遇到了问题。
数据集返回给客户端，每个项目都有一个设计者列表：
"IAConsultWorkflowRequestsList": [
{
"AppID": "ISP",
"SubmittedDate": "12/13/2018",
"IAAssigned": "<a style='color:blue !important;' href='mailto:Jose
浏览 9提问于2019-07-23得票数 0
我使用的是pyspark 3.0.1。我想从我的pyspark数据帧df的列group中删除记录以2K开头的行。
我的样本数据如下所示
Name Age Group
John 23 1L12
Rami 32 2K18
Pat 35 1P28
删除后，我的最终数据帧应该如下所示
Name Age Group
John 23 1L12
Pat 35 1P28
浏览 1提问于2021-03-04得票数 0
我有一个{426,427,428,430,432,433,434,437,439,447,448,450,453,460,469,469,469,469}，数据，列'TAGID_LIST‘的每一行都是一组数字，比如PySpark，但是我只想在每组中保留最大数字，这一行是469。我尝试用以下内容创建一个新列：
wechat_userinfo.withColumn('TAG', f.when(wechat_userinfo['TAGID_LIST'] != 'null', max(wechat_userinfo['TAGID_LIST
浏览 4提问于2022-06-10得票数 0
回答已采纳
我有一个包含两列的数据帧，其中包含数字，我需要按行而不是按列对数据帧进行排序。到处都给出了如何按列对dataframe进行排序，但我找不到如何在pyspark中对dataframe的所有行进行排序。
col1 col2
2 1
3 2
预期输出
col1 col2
1 2
2 3
浏览 0提问于2017-11-14得票数 1
1回答
使用UDF的Pyspark连接
、、、、
我正在尝试为df1和df2在PySpark中创建一个自定义连接(类似于)，代码如下所示：
my_join_udf = udf(lambda x, y: isJoin(x, y), BooleanType())
my_join_df = df1.join(df2, my_join_udf(df1.col_a, df2.col_b))
我得到的错误消息是：
java.lang.RuntimeException: Invalid PythonUDF PythonUDF#<lambda>(col_a#17,col_b#0), requires attributes from more th
浏览 5提问于2016-07-20得票数 6
回答已采纳
1回答
我有一个要求，我需要计算配置单元表的SparkSQL中的重复行数。
from pyspark import SparkContext, SparkConf
from pyspark.sql import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row
app_name="test"
conf = SparkConf().setAppName(app_name)
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)
df =
浏览 3提问于2018-02-01得票数 11
回答已采纳
我有一个很大的pyspark.sql.dataframe.DataFrame，我想保留(所以filter)保存在location列中的所有行，其中的URL包含预先确定的字符串，例如'google.com‘。
我试过了：
import pyspark.sql.functions as sf
df.filter(sf.col('location').contains('google.com')).show(5)
但是这抛出了一个
TypeError: _TypeError: 'Column' object is not callable
浏览 2提问于2017-01-27得票数 66
回答已采纳
如何使用pyspark根据输入参数更改列数据类型 from pyspark.sql.types import IntegerType,BooleanType,DateType
from pyspark.sql.functions import col
Column_Name="EFFECTIVE_DATE"
df=spark.sql(f"select * from TableA")
df.withColumn({Column_Name},col({Column_Name}).cast(DateType())
浏览 11提问于2021-11-10得票数 1
R闪亮的DataTables包(，参见2.8节)的文档中提到了关于列过滤器的内容：
根据列的类型，筛选器控件可以不同。最初，您会看到所有列的搜索框。单击搜索框时，可能会看到不同的控件：
对于数值/日期/时间列，范围滑块用于筛选范围内的行；
对于要素列，选择输入用于显示所有可能的类别，并且可以在其中选择多个类别(注意，还可以键入框在所有类别中搜索)；
对于字符列，普通搜索框用于匹配在框中键入的值；
DataTables有办法改变这种状况吗？我有数字列，但我想使用一个普通的搜索框，而不是范围滑块过滤他们。
浏览 1提问于2018-04-06得票数 4
回答已采纳
我有一个pyspark数据帧，如下所示： ? 如果两列uniq_id和date_time具有相同的值，我希望只保留一条记录。 预期输出： ? 我想用pyspark来实现这一点。 谢谢
浏览 28提问于2020-10-06得票数 0
回答已采纳
我想使用PySpark的RegexTokenizer从DataFrame列中删除5位或更多位的数字。我可以使用下面的代码提取这些数字，但有人知道我如何删除它们吗？
我的代码：
regexTokenizer = RegexTokenizer(inputCol="description", outputCol="tokenized_description", gaps=False,pattern="[0-9]{5,}")
如果字符串是"123abc 122323232"，我希望它去掉122323232，变成"123abc“
浏览 0提问于2019-02-13得票数 0
3回答
我有一个PySpark数据格式，我想根据某些列中的唯一值进行筛选。
from pyspark.sql import SparkSession
spark_session = SparkSession.builder.enableHiveSupport().getOrCreate()
columns = ["language","users_count","apple"]
data = [("Java", 1, 0.0), ("Scala", 4, -4.0), ("Java", 1, 0.0)]
浏览 15提问于2022-07-13得票数 1
4回答
如何在多列上执行udfs -动态
、、、、
我有30列，比如DPF_1、DPF_2、DPF_3......DPF_30，我需要在这些列上应用数据帧。所有30列数据类型都是String。我的要求是将这30列中的所有"Na“值转换为"null”。
我尝试过在下面的代码，但它不是动态的。
def udf_A(x:StringType()):
if x == "Na": return "null"
else:return x
udf_B = udf(udf_A, StringType())
df.withColumn("DPF_1" udf_B("DPF_
浏览 4提问于2018-01-16得票数 2
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。
如何更改数据文件的行x列y中的值？
在pandas中，这将是：
df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。
如果只想根据条件替换列中的值，如np.where
from pyspark.sql import functions as F
update_func = (F.when(F.col('update_col') == replace_val, new_value)
浏览 12提问于2015-03-17得票数 95
回答已采纳
我正在尝试为具有470个特征和1000万个训练实例的数据集拟合逻辑回归模型。下面是我的代码片段。
from pyspark.ml import Pipeline
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.feature import RFormula
formula = RFormula(formula = "label ~ .-classWeight")
bestregLambdaVal = 0.005
bestregAlphaVal = 0.01
lr = Log
浏览 2提问于2017-09-22得票数 1
我正试图在我的数据集上运行PySpark中的PySpark算法。
from pyspark.ml.fpm import FPGrowth
fpGrowth = FPGrowth(itemsCol="name", minSupport=0.5,minConfidence=0.6)
model = fpGrowth.fit(df)
我得到了以下错误：
An error occurred while calling o2139.fit.
: java.lang.IllegalArgumentException: requirement failed: The input
col
浏览 0提问于2018-04-05得票数 2
回答已采纳
我希望计数子字符串列表的出现情况，并根据pyspark中包含一个长字符串的列创建一个列。
Input:
ID History
1 USA|UK|IND|DEN|MAL|SWE|AUS
2 USA|UK|PAK|NOR
3 NOR|NZE
4 IND|PAK|NOR
lst=['USA','IND','DEN']
Output :
ID History
浏览 0提问于2019-07-16得票数 6
回答已采纳
1回答
我在雅典娜有一个表，其中一个列的类型是数组。我尝试了下面的查询来获得包含的输出，但是没有工作。如何在本专栏中执行通配符搜索？
通配符搜索后的预期输出：
select * from mytable
where contains(myarr,'eart%');
浏览 9提问于2022-06-16得票数 1
回答已采纳
4回答
如何过滤火花放电中的列？
、、、
我对火种很陌生。我想比较两张桌子。如果某一列中的值不匹配，我希望在新列中打印出该列名。使用，链接，我可以得到这个结果。现在，我想根据新创建的列过滤新表。
df1 = spark.createDataFrame([
[1, "ABC", 5000, "US"],
[2, "DEF", 4000, "UK"],
[3, "GHI", 3000, "JPN"],
[4, "JKL", 4500, "CHN"]
], ["id", "n
浏览 4提问于2022-08-19得票数 4
回答已采纳
1回答
我有这种格式的数据
df08.select('scaled').show(5, truncate=False)
+--------------------------------------------------------------------------------------------------------------------------------+
|scaled
浏览 5提问于2022-04-24得票数 0
3回答
我正在使用PySpark并加载一个csv文件。我有一个带有欧洲格式数字的列，这意味着逗号代替了点，反之亦然。
例如:我使用2.416,67而不是2,416.67。
My data in .csv file looks like this -
ID; Revenue
21; 2.645,45
23; 31.147,05
.
.
55; 1.009,11
在熊猫中，通过在decimal=','和thousands='.'选项中指定pd.read_csv()来读取欧洲格式，可以轻松地读取这样的文件。
Pandas代码：
import pa
浏览 0提问于2018-10-08得票数 13
回答已采纳
我希望按一列分组，然后找到另一列的最大值。最后，显示基于此条件的所有列。然而，当我使用我的代码时，它只显示2列，而不是所有列。
# Normal way of creating dataframe in pyspark
sdataframe_temp = spark.createDataFrame([
(2,2,'0-2'),
(2,23,'22-24')],
['a', 'b', 'c']
)
sdataframe_temp2 = spark.createDataFrame([
浏览 0提问于2020-01-19得票数 0
回答已采纳
下面是我试图运行的pyspark代码。我不能用filter替换这个值。请给我建议。
>>> coreWordFilter = "crawlResult.url.like('%"+IncoreWords[0]+"%')"
>>> coreWordFilter
"crawlResult.url.like('%furniture%')"
>>> preFilter = crawlResult.filter(coreWordFilter)
20/02/11 09:19:
浏览 1提问于2020-02-11得票数 1
2回答
我正在用PySpark处理csv文件的PCA。我得到了一些奇怪的行为；我的代码有时运行良好，但有时返回此错误：
File "C:/spark/spark-2.1.0-bin-hadoop2.7/bin/pca_final2.py", line 25, in <module>
columns = (fileObj.first()).split(';')
File "C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\rdd.py", line 1361,
浏览 1提问于2017-03-14得票数 4
回答已采纳
给定一个数据存储实体结构，其中一列(日期)包含一个对象数组：
[{date: 2018-01-01T00:00:00Z, otherProps:x }, {date: 2018-01-02T00:00:00Z, otherProps: x}, {date: 2017-12-31T00:00:00Z, otherProps: x}]
是否可以在entities日期数组中构造复杂的索引和最早日期查询。
例如，我想选择最早日期在某个日期之前的所有实体...这是我第一次尝试NoSQL，所以很抱歉这是显而易见的！
浏览 0提问于2018-04-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
