为什么pyspark fill not不能填充布尔值
pyspark中的fill函数用于填充缺失值或替换指定列中的特定值。然而，pyspark的fill函数不支持直接填充布尔值。
原因是，在pyspark中，布尔值被表示为BooleanType，而fill函数只能用于填充与列类型相匹配的值。fill函数的参数应该是与目标列类型相匹配的值，例如整数、浮点数、字符串等。
如果想要填充布尔值，可以考虑使用其他方法，例如使用when和otherwise函数结合使用来实现条件填充。下面是一个示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import when
spark = SparkSession.builder.getOrCreate()
# 创建一个示例数据集
data = [(1, True), (2, False), (3, None)]
df = spark.createDataFrame(data, ["id", "value"])
# 使用when和otherwise函数实现条件填充
df = df.withColumn("value", when(df.value.isNull(), True).otherwise(df.value))
df.show()上述示例中，我们使用when和otherwise函数来判断value列是否为null，如果是null，则填充为True，否则保持原值。这样就实现了布尔值的填充。
需要注意的是，上述示例仅为一种方法，具体的填充方式取决于数据的特点和需求。在实际应用中，可以根据具体情况选择合适的方法来填充布尔值。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
我有重复的行，可能包含相同的数据或在PySpark数据框中有缺失值。我写的代码非常慢，并且不能作为分布式系统工作。有谁知道如何从PySpark数据帧中的重复行中保留单个唯一值，该数据帧可以作为分布式系统运行，并且具有快速的处理时间？ 我已经写了完整的Pyspark代码，这个代码工作正常。但是处理时间真的很慢，不可能在Spark Cluster上使用它。 “”“ # Columns of duplicate Rows of DF
dup_columns = df.columns
for row_value in df_duplicates.rdd.toLocalIterator():
浏览 25提问于2019-06-21得票数 0
1回答
我正在尝试两种填充缺失值的方法，一种方法有效，而另一种方法则无效。(我在google上)，下面是pyspark的版本
!pip install pyspark==3.0.1 py4j==0.10.9
代码工作：
data.na.fill(value=0, subset=["data", "open"]).na.fill(value='unknown', subset=["high"]).show(5)
不工作的代码
data.na.fill({'high':0}).show(5)
返回我的错误：
/usr/loca
浏览 0提问于2021-03-20得票数 2
1回答
得到了下面的吡火花代码，如何修改它以使其适应scala。对丢失的数据进行正向和反向填充
import pyspark.sql.functions as F
from pyspark.sql import Window
df = spark.createDataFrame([
('d1',None),
('d2',10),
('d3',None),
('d4',30),
('d5',None),
('d6',None),
],('day'
浏览 11提问于2022-03-30得票数 1
我正在尝试测试窗口函数中F.count(F.col().isNotNull())的用法。请参阅以下代码脚本 from pyspark.sql import functions as F
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate()
list=([1,5,4],
[1,5,None],
[1,5,1],
[
浏览 22提问于2021-04-03得票数 1
回答已采纳
2回答
我试图利用Swift中的协议和扩展，但我无法理解编译错误。
如果我声明了两个协议，它们定义了这样的形状：
protocol Shape {
var sides : Int { get }
var fill : Fill { get }
}
protocol Fill {
var color : UIColor { get }
}
为了实现这一点，我定义了两个结构，一个用于正方形，另一个用于实心填充。如下所示：
struct SolidFill : Fill {
var color : UIColor
}
struct Square : Shape {
var sid
浏览 3提问于2015-11-10得票数 0
回答已采纳
我已经看到，如果我们有一个一维数组int A10，那么要用任意值填充它，比如说0，我们使用std::fill(A, A+10, 0)。
对于2D数组B10，我们用0 as：std::fill(&B[0][0], &B[0][0] + sizeof(B), 0填充它
然而，我不明白为什么我们不能填充1D数组A as：std::fill(&A[0], &A[0] + sizeof(A), 0
有人能解释一下吗？
浏览 2提问于2015-02-01得票数 0
回答已采纳
我正在尝试填充(allDevSalaries >= pythonDevSalaries )图中的区域。但是，在我执行代码后，它没有显示正在填充的区域。我已经提供了下面的代码和它生成的图形。有人能帮我吗？
from matplotlib import pyplot as plt
age = [21,22,23]
allDevSalaries = [12000,13000,13500]
pythonDevSalaries = [13000,12000,14545]
plt.plot(age,allDevSalaries,label='All Dev')
plt.pl
浏览 4提问于2020-12-31得票数 1
我想让组件填充所有可用的空间，不幸的是它只填充宽度，高度保持不变。为什么fill不能填充？ 具有一个水平拆分的Windows窗体，每个部分都包含一个TextBox，该all将填充所有可用空间。 ? TextBox的布局属性。 ?
浏览 24提问于2020-12-31得票数 0
回答已采纳
1回答
我正在尝试创建一个函数，它将接受dict和schema作为输入，并返回一个数据框架，自动将未指定的字段填充为null。这是我下面的代码
def get_element(name, row_dict):
value = None
if name in row_dict:
value = row_dict[name]
return value
def create_row(schema, row_dict):
row_tuple = ()
for fields in schema:
element = get_eleme
浏览 9提问于2022-01-24得票数 0
回答已采纳
我正在写一个表示按钮的类。这个按钮可能有也可能没有不同的属性，比如写在上面的文本、快捷方式、纹理或平面颜色填充。因此，例如，如果该按钮没有任何纹理集，则跳过纹理绘制过程。
我的第一个解决方案是使用组合默认值，即表示给定属性未使用(如果颜色的alpha值为0，则跳过颜色填充绘图等等)。
我的其他选项是使用新添加的std：：可选的，使用起来更加清晰和简单。
以下是所提到的两个例子：
class Button {
void draw() {
if (fill)
drawRectangle(*fill);
if (sprite)
浏览 4提问于2017-04-20得票数 3
回答已采纳
我是PySpark的新手，我试着在PySpark中读取excel文件，但得到了我无法理解的错误。请帮我解决这个问题。我已经附加了代码和错误。
f_name= 'EDI_matching_with_Nielsen_and_AFS_codes_v6.xlsx'
path= base_path_nielsen + f_name
schema_def= StructType([StructField('Orden', StringType(), 'True'), StructField('OPERATIONAL POINT', Stri
浏览 27提问于2020-02-24得票数 1
1回答
我正在尝试用均值填充NaN的值。下面是我正在使用的代码，下面是发生的错误- from pyspark.sql.functions import avg
def fill_with_mean(df_1, exclude=set()):
stats = df_1.agg(*(avg(c).alias(c) for c in df_1.columns if c not in exclude))
return df_1.na.fill(stats.first().asDict())
res = fill_with_mean(df_1, ["MinTemp", &
浏览 95提问于2021-11-13得票数 4
回答已采纳
1回答
为什么SVG矩形填充属性不能扩展矩形的高度？我可以用SVG标记中的height属性填充它，但之后就失去了动态缩放矩形的能力。浏览器图像来自Firefox。提前感谢！ Browser pictured of the fill issue <!DOCTYPE html>
<html>
<head>
<title>Test SVG Size</title>
</head>
<body>
<svg
version="1.1" xmlns="http://www.w
浏览 26提问于2019-01-24得票数 2
回答已采纳
为什么这部分(~F.col('text').rlike('\bfoo\b')不起作用？
更新：
import pyspark.sql.functions as F
df = spark.createDataFrame(['Some text with foo and more text','Some text with bar and more text'],['value_1',None], "string").toDF("text", "check")
浏览 2提问于2021-03-26得票数 0
回答已采纳
1回答
本教程建议如下：
>>> x = sc.parallelize([("a", 1), ("b", 4)])
>>> y = sc.parallelize([("a", 2)])
>>> sorted(x.cogroup(y).collect())
[('a', ([1], [2])), ('b', ([4], []))]
但是，在运行这个程序时，我得到了以下输出：
('a', (<pyspark.resultiterable.ResultI
浏览 7提问于2014-06-25得票数 4
回答已采纳
我得到的代码来自这个链接：https://johnpaton.net/posts/forward-fill-spark/它有一些我想要完成的任务的背景。 from pyspark.sql import Window
from pyspark.sql.functions import last
# define the window
window = Window.partitionBy('location')\
.orderBy('time')\
.rowsBetween(-sys.maxsize,
浏览 13提问于2020-04-28得票数 1
回答已采纳
2回答
我已经创建了一个简单的js项目，它使用leaflet.js绘制一系列的点。
然后，我想用点特定数据和单击事件填充一个信息窗口。但我似乎不能让它工作。
这大致就是我所做的：
var circle = L.circle(
[data[i]['latitude'], data[i]['longitude']],
50,
{ color: 'red', fillColor: 'red', fillOpacity: .5}
).addTo(map)
.bindPopup(data[i]['SCHNAME
浏览 0提问于2012-12-13得票数 0
回答已采纳
interface Itype {
type: number;
name?: string;
}
function makeEqualArrays(arr1: Itype[], arr2: Itype[]): void {
arr2 = arr2.concat([].fill({ type: 2 }, len1 - len2));
}
为什么我不能按对象填充数组？
输入'number‘不能指定键入’从不‘。
浏览 0提问于2020-07-23得票数 0
回答已采纳
因此，在一个教程之后，我尝试使用以下代码创建一个图形：
time_values = [i for i in range(1,100)]
execution_time = [random.randint(0,100) for i in range(1,100)]
fig = plt.figure()
ax1 = plt.subplot()
threshold=[.8 for i in range(len(execution_time))]
ax1.plot(time_values, execution_time)
ax1.margins(x=-.49, y=0)
ax1.fill_between
浏览 0提问于2019-08-30得票数 0
回答已采纳
2回答
为什么$cv会出现在这种情况下
$cv = Cv::findOrFail($id)->fill($request->all());
$cv->save();
var_dump($cv);
返回模型(这样我就可以访问例如$cv->id
在这种情况下
$cv = Cv::findOrFail($id)->fill($request->all())->save();
var_dump($cv);
只返回true
浏览 3提问于2015-10-16得票数 2
回答已采纳
我有一个包含VisualBrush的MediaElement。以下是xaml：
<Rectangle Name="myRectangle" Grid.Row="1">
<Rectangle.Fill>
<VisualBrush x:Name="myVisuaBrush" Stretch="Uniform">
<VisualBrush.Visual>
<MediaElement Name="me_zoneOneA
浏览 1提问于2018-03-21得票数 0
回答已采纳
1回答
使用Raphael，我注意到，如果我试图在一个以0.9和0.2为径向焦点的圆上应用径向填充，它不能绘制径向填充。
paper.circle(50,300,20).attr({"fill":"r(0.5,0.1)#f00-000"});
paper.circle(100,300,20).attr({"fill":"r(0.9,0.2)#f00-000"}); // <-- fails
paper.circle(150,300,20).attr({"fill":"r(0.9,0.3)#f00-000
浏览 0提问于2013-11-08得票数 2
回答已采纳
是否有方法在PySpark中填充缺少的列日期和行值？目前，我将数据转换为Pandas并在那里重新编制索引。
sdf.show()
+---+----------+----------+----------+
| id|2018-01-01|2018-01-03|2018-01-05|
+---+----------+----------+----------+
| 1 | 0.0| 1.0| 0.0|
| 2 | 4.0| 2.0| 0.0|
| 3 | 0.0| 1.0| 1.0|
浏览 3提问于2020-04-13得票数 1
回答已采纳
1回答
我正在尝试使用mean来填充我的pyspark 3.0.1数据帧中的缺失值。我正在寻找像fillna函数这样的熊猫。例如 df=df.fillna(df.mean()) 但到目前为止，我发现在pyspark中，正在使用单个列的均值来填充缺失值，而不是整个数据集。 你能建议我如何在pyspark中实现像fillna这样的熊猫吗？
浏览 31提问于2021-03-08得票数 1
回答已采纳
1回答
我正在尝试为我的Pyspark转换扩展Optimus用例。
然而，我偶然发现下面的.add_columns()方法没有继承我的Pyspark dataframe方法，而.add_columns_2()方法继承了集成开发环境级别的方法。
为什么我不能在赋值后列出与Pyspark dataframe相关的方法？
class OptExtender:
def __init__(self, df):
self._df = df
def add_columns(self, column):
self._df ## ==> This shows th
浏览 16提问于2019-11-27得票数 0
1回答
如果所有的值都是ASCII，我需要检入一个pyspark dataframe，我用下面的代码来做： def is_ascii(s):
if s:
return all(ord(c) < 128 for c in s)
else:
return None
is_ascii_udf = udf(lambda l: is_ascii(l), BooleanType() )
df_result = df.select( *map(lambda col: is_ascii_udf(df[col]).alias(col), df.columns ) ) 我尝试将其用于
浏览 23提问于2020-12-11得票数 0
4回答
我正在尝试调用一个以char**作为参数的函数。它的作用是填充字符串数组(即char*数组)。我知道字符串的最大长度，并且可以将要填充的最大数作为另一个参数传递，所以我希望像这样堆栈分配它：
fill_my_strings(char** arr_str, int max_str); // function prototype
char fill_these[max_strings][max_chars_per_string]; // allocating chars
fill_my_strings(fill_these, max_strings); // please fill them!
浏览 5提问于2011-12-04得票数 3
回答已采纳
我正在研究Java GUI和是如何工作的：
final static boolean shouldFill = true;
final static boolean shouldWeightX = true;
final static boolean RIGHT_TO_LEFT = false;
public static void addComponentsToPane(Container pane) {
if (RIGHT_TO_LEFT) {
pane.setComponentOrientation(ComponentOrientation.RIGHT_TO_L
浏览 3提问于2012-11-21得票数 0
回答已采纳
我正在尝试为windows设置pyspark。我有java、python、Hadoop和spark，我相信所有的设置和环境变量都是按照别处的指示进行设置的。实际上，我可以从命令提示符运行以下命令：
pyspark.cmd
它将加载pyspark解释器。但是，我应该能够运行不合格的pyspark (没有.cmd)，否则python导入将不起作用。我是否直接导航到spark\bin并不重要，因为我已经将spark\bin添加到了路径中。
.cmd列在我的PATHEXT变量中，所以我不明白为什么pyspark命令本身不能工作。
谢谢你的帮助。
浏览 0提问于2018-10-03得票数 0
5回答
我想初始化并填充一个numpy数组。最好的方法是什么？
正如我所期望的那样：
>>> import numpy as np
>>> np.empty(3)
array([ -1.28822975e-231, -1.73060252e-077, 2.23946712e-314])
但这并不是：
>>> np.empty(3).fill(np.nan)
>>>
没什么?
>>> type(np.empty(3))
<type 'numpy.ndarray'>
在我看来，np
浏览 5提问于2014-03-14得票数 30
回答已采纳
1回答
有没有一个内置的函数来添加一个新的列，它是对原始列的否定？
Spark SQL具有negative()函数。Pyspark似乎没有继承这个函数。
df_new = df.withColumn(negative("orginal"))
浏览 19提问于2019-08-21得票数 2
我正在尝试使用PySpark创建随机生成的大型数据。下面的Scala代码基本上就是我想要的，但是我找不到一种在PySpark中复制seq.fill()的有效方法。
def randomStringGen(length: Int) = scala.util.Random.alphanumeric.take(length).mkString
val df = sparkContext.parallelize(Seq.fill(4000){(randomStringGen(4), randomStringGen(4), randomStringGen(6))}, 10).toDF("col
浏览 0提问于2021-08-06得票数 1
我在一个设置为RelativeLayout的ScrollView中有一个fill_parent。但是，它只在水平上填充，而不是垂直填充。我想在RelativeLayout中放更多的内容，但是首先我需要弄清楚为什么RelativeLayout不能填充ScrollView的高度。
谢谢你的帮助。
<ScrollView
android:id="@+id/scrollView"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
浏览 1提问于2014-10-06得票数 4
回答已采纳
我不能理解如何在matplotlib中使用fill_betweenx()。它与fill_between()有什么不同？在阅读了fill_betweenx()的文档后，我尝试实现它：
x=np.linspace(0,2*3.14,50)
y=np.sin(x)
plt.figure(figsize=(10,5))
plt.fill_betweenx(y,2,3,color='b')
plt.plot(x,y)
根据我的理解，它应该用蓝色填充x=2和x=3之间的正弦曲线，但我得到了：
有人能给我解释一下为什么没有装满吗？
浏览 2提问于2018-07-09得票数 3
我有一个包含多个mac地址的数据帧。我需要过滤掉以'ZBB‘开头的mac地址。我正在使用一个对我有意义的解决方案： import pyspark.sql.functions as f
dffinal = df.filter(f.col("mac_address").startswith("ZBB") === false) 不幸的是，这个解决方案不起作用，因为它不能识别===，当我放入==时，'false‘没有定义。我正在尝试来自https://sparkbyexamples.com/spark/spark-filter-startswith-e
浏览 17提问于2021-11-17得票数 0
回答已采纳
1回答
看看这些html和jQuery代码：
<button>div</button>
<button>span</button>
<div class="fill">fill</div>
<span class="fill">fill</span>
<div class="fill">fill</div>
<span class="fill">fill</span>
<div class=
浏览 0提问于2012-11-23得票数 1
回答已采纳
我已经使用pdf-fill-form生成了一个字段数组 pdfFillForm.read('test.pdf') 并且，对于复选框，它返回两个具有唯一id的相同name值的字段 { "name": "cbexample", "page": 0, "value": false, "id": 65576, "type": "checkbox" },
{ "name": "cbexample", "page": 0,
浏览 48提问于2019-05-20得票数 0
1回答
将指针事件限制为SVG文本填充
、、、、
我需要将SVG元素中的指针事件限制为仅填充文本。我不希望当用户在文本周围的矩形中时触发指针事件，而只在光标实际位于字符内部时触发。SVG指针事件"fill“应该可以工作，但由于某些原因，它不能工作。有没有人能告诉我为什么不可以，或者什么可以替代？
在下面的示例中(jsfiddle here：)，当光标位于单词之间时，指针事件被激活。我希望指针事件仅在鼠标直接位于字符填充的顶部时触发：
HTML
<svg xmlns="http://www.w3.org/2000/svg" width="400px" height="100px"&g
浏览 1提问于2015-03-20得票数 0
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：
import pyspark.sql.functions as F
df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：
TypeError: 'DataFrame' object does not support item assignment
相反，这样做的实现方法是
df = df.withColumn('newcol', F.
浏览 1提问于2016-07-28得票数 1
回答已采纳
2回答
当从脚本中执行pyspark代码时。在df.show()时获取以下错误。
from pyspark.sql.types import StructType,StructField, StringType, IntegerType
data = [("James","","Smith","36636","M",3000),
("Michael","Rose","","40288","M",4000)]
schema = Stru
浏览 12提问于2021-06-06得票数 2
1回答
我正在尝试改变我的svg悬停时的填充颜色。这是我有，但它不工作，尝试了很多东西，但不能使它。你知道为什么吗？
<svg width="79px" height="79px" viewBox="0 0 101 101" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink">
<g id="g" stroke="none&
浏览 13提问于2021-05-19得票数 0
回答已采纳
当我试图更改range.format.fill属性时，JavaScript会引发一个错误，说明我不能在严格模式下更改只读属性值。也许格式化(或填充)对象在内部被声明为只读属性，应该被读/写？当我尝试使用range.clear时，我获得了成功，这就是为什么我假设错误是格式或填充的，而不是范围内的。
守则是：
(function () {
"use strict";
// The initialize function must be run each time a new page is loaded
Office.initialize = functi
浏览 1提问于2017-01-04得票数 0
回答已采纳
6回答
我似乎不明白为什么Firefox使用默认的svg颜色而不是类的fill。
以下是查看FF检查器时的3个填充：
SVG正在通过
<svg class="icon">
<use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#menu-bag"></use>
</svg>
它应该显示白色的. of link .icon填充(#fff)，但实际上它使用的是#002649的SVG填充；如果我将. of link .icon更改
浏览 6提问于2015-01-09得票数 16
回答已采纳
5回答
我有一个包含52张卡片的数组。
ImageIcon[] cards = {aceSpadesIcon, twoSpadesIcon, ... }
然后我洗牌那个数组
for(int i = 0; i < cards.length; i++)
{
int r = (int)(Math.random()*(i+1));
ImageIcon swap = cards[r];
cards[r] = cards[i];
cards[i] = swap;
}
现在我做了四个新的数组来填充卡片数组。
ImageIcon[] row1 = new ImageIcon[1
浏览 4提问于2014-02-05得票数 0
回答已采纳
我正在将一列整数从excel电子表格读取到datagridview中，但它不起作用。我尝试了两种方法，一种使用循环，另一种使用OleDb。这行代码之前的代码使用OleDb将excel中的一列完美地填充到另一个DGV中，所以我不知道为什么它第二次不能工作。下面是我得到的信息：
方法1--
Dim cn As New OleDb.OleDbConnection("Provider=Microsoft.ACE.OLEDB.12.0;Data Source=""" & FormFile & """;Extended Proper
浏览 1提问于2015-05-13得票数 0
我试过这个代码
$a = array_fill(0, 4, NULL);
$a[0]++;
++$a[1];
$a[2]--;
--$a[3];
var_dump($a);
结果：
array(4) {
[0]=> int(1)
[1]=> int(1)
[2]=> NULL
[3]=> NULL
}
为什么2和3指数的值不是负值？
浏览 1提问于2013-07-11得票数 31
回答已采纳
我想从Access DB导入一个表，在这个表中有一个列是有值的，如果没有，我想用默认值填充结果表上的这一列，或者让它为空。
I tried IsNull(col2 ,'')
提前感谢
MyQuery = "SELECT col1 AS col1, col2 AS myDevice";
MyQuery += " FROM table 1";
OleDbCommand cmd1 = new OleDbCommand(MyQuery, conn);
OleDbDataAdapter adapter1 = new OleDbDataAdapter(cm
浏览 8提问于2019-11-16得票数 1
不确定为什么我的按钮状态没有被存储。图像从未填充更改为已填充，但是当我单击视图控制器并返回时，图像将重置为未填充。
var recipeFav = UserDefaults.standard.bool(forKey: "recipeFav")
@IBAction func FavButtonTapped(_ sender: Any) {
if recipeFav {
let image = UIImage(named: "starNonfill")
(sender as AnyObject).s
浏览 0提问于2020-06-11得票数 2
1回答
这是一个新手问题，因为我越来越迷惑pyspark。我想扩展现有的python数据预处理和数据分析管道。我意识到如果我用pyspark划分我的数据，我不能再把每个分区当作一个独立的pandas数据框架，需要学习如何使用pyspark.sql的行/列函数来操作，并修改很多现有的代码，再加上我一定会触发mllib库，而不能充分利用更成熟的scikit-learn包。那么，如果我可以使用多处理工具进行集群计算并并行现有数据帧上的任务，那么我为什么还需要使用Spark呢？
浏览 2提问于2017-06-15得票数 6
我有一个非常简单的问题，但我真的被困在这个问题上了，不能让它工作。 我有一个svg，它包含一个带有id 'bridge‘的矩形。我想在控制台中获取它的填充颜色。 我认为"document.getElementById('bridge').style.fill“应该可以工作，但它只返回一个空字符串。我尝试了其他一些方法，但都不起作用。 请帮助我用纯javascript获取矩形的填充颜色，并解释为什么style.fill返回空字符串。 let bridge=document.getElementById('bridge');
bridge.a
浏览 51提问于2020-11-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
