Pandas/Python -更新数据帧
Pandas是一个基于Python的开源数据分析和数据处理库。它提供了高效的数据结构和数据分析工具，使得数据处理变得简单、快速和灵活。
数据帧（DataFrame）是Pandas中最重要的数据结构之一，类似于Excel中的二维表格。数据帧由行和列组成，每列可以包含不同的数据类型（例如整数、浮点数、字符串等）。数据帧可以通过多种方式创建，包括从CSV文件、数据库查询结果、Python字典等。
更新数据帧可以通过多种方式实现，下面是一些常见的方法：
- 修改单个元素：可以使用索引和列名来定位并修改数据帧中的单个元素。例如，使用
df.loc[row_index, column_name] = new_value可以将指定位置的元素更新为新值。 - 修改整列数据：可以通过列名来选择整列数据，并将其替换为新的数据。例如，使用
df[column_name] = new_values可以将指定列的所有元素更新为新值。 - 使用条件更新：可以使用条件语句选择满足特定条件的数据，并将其更新为新值。例如，使用
df.loc[df['column_name'] > threshold, 'column_name'] = new_value可以将满足条件的元素更新为新值。 - 使用函数更新：可以使用自定义函数对数据帧中的元素进行更新。例如，使用
df.apply(function, axis=1)可以对每一行应用自定义函数，并将结果更新到数据帧中。
Pandas在数据处理和数据分析领域有广泛的应用场景，包括数据清洗、数据转换、数据聚合、数据可视化等。它可以处理大规模数据集，并提供了丰富的数据操作和计算功能。
腾讯云提供了云服务器（CVM）和云数据库（CDB）等产品，可以用于支持Pandas和Python的数据处理和分析任务。具体产品介绍和链接如下：
- 云服务器（CVM）：提供高性能、可扩展的云服务器实例，可用于运行Python和Pandas等数据处理工具。了解更多：腾讯云云服务器
- 云数据库MySQL版（CDB）：提供高可用、可扩展的云数据库服务，可存储和管理大规模数据集。可以将数据导入到MySQL数据库中，并使用Pandas进行数据处理和分析。了解更多：腾讯云云数据库MySQL版
总结：Pandas是一个强大的Python数据分析和处理库，适用于各种数据处理和分析任务。腾讯云提供了云服务器和云数据库等产品，可以支持Pandas和Python在云计算环境中的应用。
相关·内容
4回答
我试过做一个虚拟数据帧， column_names = ["a", "b", "c"] df = pd.DataFrame(columns = column_names) 我得到了以下错误，这是以前没有发生过的，我是不是遗漏了什么。这只会在创建空数据帧时发生，这是最近引入的错误。 File "<stdin>", line 1, in <module>
File "/usr/local/lib/python3.7/site-packages/pandas/core/frame.py"
浏览 140提问于2021-02-02得票数 24
回答已采纳
1回答
我想对一些数据进行备份测试，这些数据将使用Python、psycopg2和Pandas从Postgres数据库中提取。
将从Postgres提取的数据非常大(超过10 of )--即使Pandas数据帧能够存储这么多数据，我的系统也无法以RAM的形式保存这些数据。
综上所述，我希望我的Python程序需要执行以下操作：
1:连接到远程(基于局域网) Postgres数据库服务器
2:对数据库表运行基本select查询
3:将查询结果存储在Pandas数据框架中
4:对Pandas数据框架内的数据执行计算操作
5:将这些操作的结果写回数据库中的现有表。
我希望在步骤2中返回的数据将非常大。
是否
浏览 27提问于2017-11-02得票数 3
回答已采纳
下面的python代码适用于pandas数据帧，但我想知道如何使其更有效。 columns = list(data)
lenn=len(columns)
lenn
i=0
while i<lenn:
j=i+1
while j <lenn:
print(data.iloc[:,i]*data.iloc[:,j])
#print(data.iloc[:,j])
j=j+1
i=i+1
浏览 15提问于2019-10-13得票数 3
回答已采纳
我正在尝试上传一个数据帧到sqlite数据库，这是没有问题的，除非我添加了'quarters‘列。
df['quarters'] = pd.PeriodIndex(pd.df(empres_df.date), freq='Q')
df.to_sql("table_name", con, if_exists="append")
因为当我这样做的时候，它会给我这个错误：
Traceback (most recent call last):
File "/opt/anaconda3/lib/python3.7/sit
浏览 6提问于2020-02-20得票数 1
我尝试将Pandas数据帧转换为Pyspark数据帧，并得到以下与pyarrow相关的错误： import pandas as pd
import numpy as np
data = np.random.rand(1000000, 10)
pdf = pd.DataFrame(data, columns=list("abcdefghij"))
df = spark.createDataFrame(pdf) /usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py:714: UserWarning: creat
浏览 30提问于2020-06-29得票数 2
您好，我正在尝试使用df.to_sql向我的sql数据库写入数据帧，但是我得到了错误消息: TypeError: cannot use a string pattern on a bytes like object。我使用的是Python 3。
我正在使用我的驱动器上的一个路径，不幸的是我不能共享它。但当我只想使用打开csv文件时，它工作得很好。df = pd.read_csv(path, delimiter=';', engine='python', low_memory=True, encoding='utf-8-sig')我之所以使用编码项
浏览 0提问于2020-07-15得票数 1
3回答
我在python pandas中有两个数据帧
数据帧1
User_id zipcode
1 12345
2 23456
3 34567
数据帧2
ZipCodeLowerBound ZipCodeUpperBound Region
10000 19999 1
20000 29999 2
30000 39999 3
如何使用pandas merge将区域中的数据映射到条件为if(df1.zipcod
浏览 3提问于2016-10-29得票数 3
假设我有如下数据帧：
Year Month Day
2003 1 8
2003 2 7
如何将dataframe中新定义的列中的年、月和日组合为这样的dataframe：
Year Month Day Date
2003 1 8 2003-1-8
2003 2 7 2003-2-7
对此有什么想法吗？
我使用的是pandas python数据帧
谢谢!
浏览 1提问于2013-09-22得票数 9
回答已采纳
2回答
我正在用Python编写一个Pandas数据帧。每当我想要计算某些东西时，我需要键入整个数据框名和列名，如dataframe_name.column_name。之前我在R上工作，我们可以使用attach(dataframe_name)附加数据帧。我们可以在Python Pandas库中做类似的事情吗？
浏览 1提问于2021-07-29得票数 0
我想实时或接近实时地从mongoDB读取数据(来自一个集合的文档)，并将其转换为pandas数据帧以供进一步分析。
我知道如何从mongoDB获取数据到python，但是，我想保持连接打开，这样每当有新数据进入时，我就可以在Python中进行实时分析。
client = MongoClient('localhost', 27017)
db = client.test_insert
collection = db.dataset
df = pd.DataFrame(list(db.dataset.find().limit(1)))
请帮助:)
浏览 2提问于2015-12-04得票数 0
1回答
我从python中的csv文件创建了一个pandas数据帧。如何在tkinter窗口中显示此数据帧。
import pandas as pd
methods = pd.read_csv('metode.csv')
methods = methods.drop(methods.columns[[0]], axis=1)
浏览 3提问于2019-10-29得票数 0
1回答
几个数据科学包，例如Python的Pandas，都有一个“数据帧”，所有其他功能都基于这个“数据帧”。从编程的角度来看，到底什么是数据帧？
浏览 1提问于2021-10-20得票数 0
我是一个拥有最少python经验的R用户。我听说我必须使用spark temp tables来做这件事，而且它非常简单，但我找不到任何完整的示例代码，到目前为止，我还不能让它工作。
我得到了一个SparkR数据帧(因为我不能让Base R数据帧与RegisterTempTable()一起工作)，并将它转换成一个临时表：
#Cell 1
jdbc_url <- "jdbc:sqlserver://myserver.database.windows.net:1433;database=mydb;user=user;password=*****"
df_R <- read
浏览 1提问于2020-05-29得票数 1
我正在使用pandas在表中阅读，其中一列的日期为YYYYMMMDD格式。到目前为止，在我所有的尝试中，它都被解读为一个数字栏。
首先，我可以用笨重的代码正确地(虽然缓慢地)消化它，但是现在的版本出现了一些我不明白的问题。
所以，这起作用了：
treatments['month'] = treatments['INDATUMA'] % 10000
treatments['day'] = treatments['INDATUMA'] % 100
treatments['month'] = (treatments[&#
浏览 1提问于2015-07-28得票数 0
回答已采纳
当我使用Pandas的to_sql方法将我的Pandas数据帧写入到Redshift时，我得到了以下异常：
异常类型：
<class 'sqlalchemy.exc.InternalError'>
异常回溯：
MY-PATH/venv/lib/python3.9/site-packages/sqlalchemy/engine/default.py", line 717, in do_execute
异常值：
cursor.execute(statement, parameters)
代码：
dataframe.to_sql(TABLE-NAME, DB-CO
浏览 25提问于2021-11-24得票数 0
我正在尝试使用read_csv从Pandas库中导入数据帧到Python中。数据文件(annual_precip.csv)的顶部如下所示：
Average annual precipitation and land area ,,
,mm/year,thousand km^2
country,precip,area
Afghanistan,327,652.2
Albania,1485,27.4
Algeria,89,2381.7
American Samoa,,0.2
下面是我的代码：
from pandas import read_csv
read_csv('annual_preci
浏览 0提问于2015-05-23得票数 2
我正在使用python脚本在网页上显示数据帧。我使用df.to_html将我的数据帧转换成超文本标记语言。但是，默认情况下，它将边界设置为0。我试着用一个自定义的css模板来覆盖它，但它不起作用。
这是我的pandas代码：
ricSubscription.to_html(classes='mf')
在进行此调用时，是否有可以传递的参数将边界设置为零？
浏览 0提问于2015-05-29得票数 10
回答已采纳
1回答
我想在Jupyter中将R对象读回python。例如，在Jupyter中，此示例读取在python中生成并在R中处理的数据帧。现在我处理此数据帧，并创建一个新的数据帧，以便能够读取到python中。
Python单元：
# enables the %%R magic, not necessary if you've already done this
%load_ext rpy2.ipython
import pandas as pd
df = pd.DataFrame({
'cups_of_coffee': [0, 1, 2, 3, 4, 5, 6, 7,
浏览 5提问于2021-10-28得票数 2
我正在尝试将SQL查询翻译成python/pandas语言，即根据条件和两个表的内部连接为pandas数据帧的某些子集设置新值。原始SQL查询为：
UPDATE table1
INNER JOIN table2
ON table1.colA = table2.colB
SET table1.colX = table2.colZ
WHERE table1.colX Is Null;
到目前为止，我已经得到了下面提到的pandas merge函数，但我不能100%确定我是否得到了正确的结果，以及代码是否足够pythonic。当前的pandas语法：
table1.loc[table1[colX].
浏览 7提问于2019-11-25得票数 0
我是python和pandas数据帧的新手，我正在努力地思考如何将python生成器转换为pandas数据帧。
我想要做的是用这个函数将一个大表分成块，生成一个生成器：
def fetch_data_into_chunks(cursor, arraysize=10**5):
while True:
results = cursor.fetchmany(arraysize)
if not results:
break
for result in results:
yield result
然后
浏览 35提问于2018-07-19得票数 0
回答已采纳
这看起来真的很基础，但我似乎搞不懂。我在电子病历上的Pyspark Notebook上工作，并使用toPandas()将pyspark数据帧转换为pandas数据帧。
现在，我想使用以下代码将此数据帧保存到本地环境：
movie_franchise_counts.to_csv('test.csv')
但我一直收到权限错误：
[Errno 13] Permission denied: 'test.csv'
Traceback (most recent call last):
File "/usr/local/lib64/python3.6/site-p
浏览 9提问于2020-06-25得票数 2
2回答
所以我遇到了一个奇怪的python问题，突然之间，我不再能够创建简单的绘图。 我只是试着运行这个简单的例子：https://www.geeksforgeeks.org/python-pandas-dataframe-plot-bar/ 我在哪里运行： # importing matplotlib
import matplotlib.pyplot
# importing pandas as pd
import pandas as pd
# importing numpy as np
import numpy as np
# creating a dataframe
df =
浏览 107提问于2021-10-01得票数 0
我目前正在使用python pandas，我想知道是否有一种方法可以将熊猫的数据输出到julia Dataframes中，反之亦然。(我想你可以用Pycall从Julia调用python，但我不确定它是否能处理数据帧)有没有办法从python调用Julia并让它接收panda的数据帧？(不保存为其他文件格式，如csv)
什么时候使用Julia Dataframes比使用Pandas更有优势，除了非常大的数据集和运行许多循环的东西(比如神经网络)？
浏览 0提问于2014-04-27得票数 16
回答已采纳
1回答
我正在创建一个小的Pandas数据帧： df = pd.DataFrame(data={'colA': [["a", "b", "c"]]}) 我把那个df拷贝了一遍。我使用的不是Pandas方法，而是通用Python，对吧？ import copy
df_copy = copy.deepcopy(df) 一个df_copy.head()提供以下内容： ? 然后我将这些值放入字典中： mydict = df_copy.to_dict() 字典看起来是这样的： ? 最后，我删除了列表中的一项： mydict['colA&#
浏览 42提问于2020-01-10得票数 3
回答已采纳
我正在将CSV文件读入Panda的数据帧。在检索数据时，我得到的值与原始数据略有不同。
我相信这与Python表示小数的方式有关。但是我如何修复它/解决它呢？
CSV数据示例：
1313331280,10.4,0.779
1313334917,10.4,0.316
1313334917,10.4,0.101
1313340309,10.5,0.15
1313340309,10.5,1.8
Pandas数据帧：
df = pd.read_csv(csv_file_full_path, names=['time','price', 'volume']
浏览 2提问于2016-07-13得票数 1
回答已采纳
1回答
这段代码建立了一个来自data的数据名字典，它本身就是一个数据帧。data是从文件中读取的：
data = pandas.read_csv(QuoteData, usecols=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22])
因为data数据帧混合了许多不同的时间帧，所以我将它们分离到一个按时间索引的数据帧字典中。然后根据所示的标准对字典中的每个数据帧进行排序。
无论我如何尝试，都无法访问dodf[k]['underlying_bid']的第一个元素。例如，dodf[k]['underlying
浏览 6提问于2017-01-28得票数 2
回答已采纳
所以我不得不写一些程序，对现有的pandas数据帧做一些操作，然后在for循环中从该数据帧到大数据帧的末尾。
我已经找到了一种方法，通过将第一个数据帧设置为第一次迭代的结束数据帧，然后在以后的迭代中将数据帧连接到这个结束数据帧，但对我来说，这似乎不是最有效的方法。
我使用python已经有一段时间了，但最近才开始使用pandas，所以我不知道是否有更简单的方法来做到这一点。我附上了一个简单的示例代码，希望它能演示我正在做的事情，并想知道它是否可以更多地通过whether来完成。
df = pandas.DataFrame([0,1,2,3])
for i in range(3):
if
浏览 7提问于2018-08-09得票数 0
回答已采纳
我知道这可能是一个古老的争论，但是在pandas.drop和python del函数中，哪个函数在大数据集上的性能更好？
我正在使用python 3学习机器学习，但不确定该使用哪一个。我的数据是pandas数据帧格式。但是python del函数在python的built-in function中。
浏览 0提问于2017-11-22得票数 18
我有csv数据，并使用read_csv创建了Pandas dataframe，并强制所有列为字符串。然后，当我尝试从Pandas数据帧创建Spark数据帧时，我得到了下面的错误消息。
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
z=pd.read_csv("mydata.csv", dtype=str)
z.info()
<class 'pandas.core.frame.DataFrame'>
浏览 6提问于2016-08-06得票数 33
回答已采纳
我有一个很大的txt文件(52.375 kb，ln 86213，col420)。 name | code | school
--------|-------|--------
steven | 1234 | harvard
Michael | 98765 | MIT 我想读取它，并将其作为pandas中的数据帧。 Df = statement_read(myfile.Txt) 我不想手动将txt转换为csv。我想用python阅读myfile.txt，这样我就可以用pandas来处理它了。
浏览 10提问于2019-05-24得票数 0
回答已采纳
我可以将一个ann文件读入pandas dataframe，如下所示： df = pd.read_csv('something/something.ann', sep='^([^\s]*)\s', engine='python', header=None).drop(0, axis=1)
df.head() 但我不知道如何将多个ann文件读取到一个pandas数据帧中。我尝试使用concat，但结果并不是我所期望的。 如何将多个ann文件读入一个pandas数据帧？
浏览 6提问于2021-08-16得票数 0
回答已采纳
2回答
如下图所示，我想按字母顺序按Type对聊天进行排序。但是，我不希望打乱每个Chat name中[Date , User_id]的顺序。在输入数据帧位于左侧的情况下，我该如何操作？(在python中使用Pandas )
浏览 1提问于2018-10-24得票数 2
我有一个尺寸为21392x1972的Python数据帧。我想要完成的是将数据帧转换为列表列表，这样我的数据帧的第一列是长列表中的第一个列表，数据帧的第二列是具有一个长列表的第二个列表，依此类推。 我尝试使用tolist()将数据帧转换为列表列表。现在发生的情况是，我的数据帧的每一行都变成了长列表中的一个列表。但是，我想要完成的是，数据框的每一列都应该成为长列表中的一个列表。我刚开始使用Pandas和Python，所以在这方面的任何帮助都是非常感谢的。干杯! import pandas as pd
mydataset = pd.read_csv('final_merged_data.c
浏览 21提问于2019-01-18得票数 0
回答已采纳
2回答
我有5个数据帧 打开50000行的第一个 Date Clearing Member PAN Trading Member PAN
0 01-15-2021 AAACM6094R AAACM6094R
1 01-15-2021 AAACM6094R AAACM6094R
2 01-10-2021 AAACM6094R AAACM6094R
3 01-15-2021 AAACM6094R
浏览 15提问于2021-09-07得票数 1
回答已采纳
从网站下载后，我如何将数据集导入python (UCI机器学习)
以下是指向数据集的链接：
From scipy.io import arff
Import pandas as pd
Data = arff.loadarff('Training Dataset.arff')
Data = pd.DataFrame(Data[0])
我的数据集中的值如下所示：b'-1'、b'1'和b'0'
请告诉我如何将上面的值更改为常规整数，如：1、-1和0
更新
应用下面的代码后，我的输出不是数据帧格式，这不是我想要的格式。我希望输出的是数据帧
浏览 1提问于2020-07-06得票数 0
1回答
让我们有两个Python pandas数据帧
df1：
key1 key2 volume1 volume2
111 bbb fff ggg
222 bbb hhh hhh
333 aaa fff hhh
df2：
key1 key2 volume1 volume2
222 bbb hhh HHH
333 aaa fff GGG
444 ccc ggg hhh
如何获取数据帧
df：
key1 key2 volume1 volume2
111 bbb fff ggg
222 bbb hhh
浏览 0提问于2020-07-03得票数 1
我想在python的pandas中对数据帧应用cumsum，但没有零。简单地说，我想保留零并在数据帧上执行cumsum。假设我有这样的数据帧：
import pandas as pd
df = pd.DataFrame({'a' : [1,2,0,1],
'b' : [2,5,0,0],
'c' : [0,1,2,5]})
a b c
0 1 2 0
1 2 5 1
2 0 0 2
3 1 0 5
结果应该是
a b
浏览 10提问于2016-09-15得票数 3
回答已采纳
我目前在顶部有数据帧。有没有办法使用groupby函数来获取另一个数据帧来对数据进行分组，并将单词连接成下面使用python pandas的格式？
谢谢
[
浏览 0提问于2016-06-30得票数 8
回答已采纳
1回答
我想在一个SQL数据帧上用Power BI执行一个简单的python脚本。但该错误似乎表明SQL表已被读取为CSV文件，而我不知道为什么脚本将该数据帧视为CSV文件而不是SQL数据帧。
python脚本是：
import pandas as pd
dataset['COD-MARQ'] = dataset['COD-MARQ'].str.strip()
有没有关于我该如何处理的想法？
谢谢
Traceback (most recent call last):
File "PythonScriptWrapper.PY", line 7
浏览 2提问于2020-10-03得票数 1
1回答
我的数据集是巨大的。我正在使用Azure ML notebooks，并使用azureml.core读取日期集并转换为azureml.data.tabular_dataset.TabularDataset。无论如何，我会过滤tabularDataset中的数据，而不是转换为pandas数据帧。我使用下面的代码来读取数据。由于数据量巨大，pandas数据帧正在耗尽内存。我不需要将完整的数据加载到程序中。仅需要子集。有没有办法在转换为pandas数据框之前过滤记录 def read_Dataset(dataset):
ws = Workspace.from_config()
ds
浏览 69提问于2021-01-06得票数 1
我在python pandas中有一个数据帧。数据帧的结构如下：
a b c d1 d2 d3
10 14 12 44 45 78
我想选择以d开头的列。在python中有没有简单的方法来实现这一点。
浏览 136提问于2015-06-13得票数 91
回答已采纳
1回答
在使用pandas的python中，我有两个数据帧df1和df2，如下图所示。有没有办法将这两个数据帧垂直相加，以获得如下图所示的第三个数据帧"df3“。
提前感谢
浏览 1提问于2020-09-11得票数 0
我需要将数据帧转换为可以插入到sql表中的格式。
data_tuples = [tuple(row) for row in df.values]
如何从pandas数据帧中删除所有非python数据类型(包括np int、nans和NaTs)？
浏览 2提问于2016-08-08得票数 1
回答已采纳
2回答
Python新手。
在R中，可以使用dim(...)获得矩阵的维数。Python Pandas中对应的数据帧函数是什么？
浏览 6提问于2012-12-18得票数 94
回答已采纳
1回答
创建新的数据帧，然后尝试绘制新的数据帧后，Keyerror :0。 最初，代码简化了原始数据帧的绘制。删除了少量行(~5行)，并创建了新的数据帧。显示的新数据帧没有问题，但是在尝试绘制新数据帧时显示Keyerror : 0。我试图解决这个问题，但没有成功。 以下是用于替换、删除丢失数据和创建新数据帧的脚本。 df_pre_orderset2_t = df_pre_orderset2.replace(0, np.nan)
df_pre_orderset2_top = df_pre_orderset2_t.dropna()
pd.set_option('display.max_colwi
浏览 83提问于2021-07-25得票数 0
回答已采纳
我在Pandas中有一个这样的数据帧： # https://www.datasciencemadesimple.com/reshape-long-wide-pandas-python-pivot-function/
import pandas as pd
import numpy as np
from platform import python_version
print(python_version()) #3.7.7
#Create a DataFrame
d = {'countries':['A','B','C'
浏览 75提问于2020-10-18得票数 0
我有如下所示的数据
我希望它采用以下格式
使用Python 3 pandas数据帧。
浏览 0提问于2018-11-08得票数 0
1回答
我有以下问题，一方面我有一个数据框架，有两列，人员的名字和他们处理的技术： import pandas as pd
import numpy as np
censo = pd.DataFrame({"Name":["Uriel","Ricardo","Rodrigo","Arion"], "Tec":[("Sas, Python"),("Python, Pyspark"),("Python, Tableau"),("Excel")]
浏览 22提问于2021-09-15得票数 0
回答已采纳
1回答
我在pandas中运行了一个很长的ETL管道。我必须创建不同的pandas数据帧，并且我想为一些数据帧释放内存。 我一直在阅读如何释放内存，我发现运行此命令不会释放内存： del dataframe 下面是这个链接：How to delete multiple pandas (python) dataframes from memory to save RAM?，其中一个答案说del语句并不删除实例，它只是删除了一个名称。 在答案中，他们说将数据帧放在列表中，然后删除列表： lst = [pd.DataFrame(), pd.DataFrame(), pd.DataFrame()]
del
浏览 171提问于2020-10-15得票数 2
回答已采纳
2回答
我有一个PostgreSQL数据库。Pandas有一个“to_sql”函数，可以将数据帧的记录写入数据库。但我还没有找到任何文档，说明在我使用完dataframe时如何使用pandas更新现有的数据库行。
目前，我可以使用pandas read_sql_table将数据库表读取到数据帧中。然后，我会根据需要处理数据。但是，我还不能弄清楚如何将该数据帧写回数据库以更新原始行。
我不想覆盖整个表。我只需要更新最初选择的行。
浏览 73提问于2015-04-13得票数 25
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
