处理pandas数据帧--有条件的
处理pandas数据帧是指对pandas库中的DataFrame对象进行各种数据操作和处理的过程。DataFrame是pandas库中最重要的数据结构之一，类似于二维表格，可以存储和处理具有不同数据类型的数据。
处理pandas数据帧的条件可以是根据列的数值、条件表达式或其他逻辑操作来进行筛选和过滤。下面是一些常见的处理pandas数据帧的操作：
- 数据读取和写入：pandas提供了多种方法来读取和写入数据帧，包括从CSV、Excel、数据库等数据源读取数据，并将数据帧保存为不同格式的文件。
- 数据清洗和预处理：通过处理缺失值、异常值、重复值等数据异常情况，以及进行数据类型转换、标准化、归一化等操作，将原始数据转换为可用于分析和建模的干净数据。
- 数据筛选和过滤：可以根据列的数值、条件表达式或逻辑操作来筛选和过滤数据帧中的行或列，以便提取感兴趣的数据。
- 数据排序和排名：可以对数据帧中的行或列按照指定的列进行排序，并计算排名。
- 数据聚合和分组：可以使用聚合函数对数据帧中的数据进行统计分析，如计算均值、总和、标准差等，并可以按照指定的列进行分组操作。
- 数据合并和连接：可以将多个数据帧按照指定的列进行合并或连接操作，以便进行更复杂的数据分析和处理。
- 数据转换和透视表：可以进行数据的转置、重塑、透视表等操作，以满足不同需求的数据处理和分析需求。
- 数据可视化：pandas可以与其他可视化库（如Matplotlib和Seaborn）结合使用，对数据帧中的数据进行绘图和可视化展示。
对于处理pandas数据帧的应用场景，可以包括数据分析、数据挖掘、机器学习、人工智能等领域。例如，在金融行业中，可以使用pandas对股票市场数据进行分析和建模；在电商领域中，可以使用pandas对用户行为数据进行分析和推荐系统的构建；在医疗领域中，可以使用pandas对患者的医疗记录进行统计和分析等。
对于腾讯云相关产品的推荐，腾讯云提供了多个与云计算和数据处理相关的产品和服务，可以满足不同场景下的需求。以下是一些腾讯云产品的介绍和链接：
- 腾讯云CVM（云服务器）：提供弹性计算能力，支持按需创建和管理虚拟机实例。链接：https://cloud.tencent.com/product/cvm
- 腾讯云COS（对象存储）：提供高可靠、低成本的对象存储服务，适用于存储和管理各类非结构化数据。链接：https://cloud.tencent.com/product/cos
- 腾讯云CDN（内容分发网络）：通过分布在全球各地的节点，提供低延迟、高可用的内容分发服务，加速网站和应用程序的访问速度。链接：https://cloud.tencent.com/product/cdn
- 腾讯云数据库：提供多种类型的数据库产品，包括关系型数据库（如MySQL、SQL Server）、NoSQL数据库（如Redis、MongoDB）等。链接：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能：提供人工智能算法和模型训练平台，以及图像识别、语音识别、自然语言处理等功能和服务。链接：https://cloud.tencent.com/product/ai
请注意，以上推荐的产品仅作为参考，具体的选择应根据实际需求进行。同时，还可以在腾讯云官网上查找更多相关产品和服务的信息。
相关·内容
1回答
我把Pandas数据帧大数据帧加载到内存中。试图更有效地利用记忆。
出于这个目的，我不会使用这个数据框架，因为我将从这个数据框架中子集--只有我感兴趣的行：
DF = pd.read_csv("Test.csv")
DF = DF[DF['A'] == 'Y']
已经尝试过这个解决方案，但不确定它是否最有效。上面的解决方案对内存的使用最有效吗？请指点。
浏览 5提问于2016-06-01得票数 0
回答已采纳
1回答
火花数据帧
、、
星火数据帧和Pandas数据帧的区别是什么？我的理解是，Pandas数据框架主要用于将CSV数据读入DF，在DF中，Spark数据帧用于将弹性分布式数据( RDD )加载到数据帧中，并且可以操作数据帧。请分享你的反馈
浏览 6提问于2020-09-01得票数 0
回答已采纳
1回答
我使用Python语言处理大量文件，需要直接用HDF5编写输出(每个输入文件对应一个数据帧)。我想知道从我的脚本直接向HDF5快速写入pandas数据帧的最好方法是什么？我不确定是否有像hdf5，hadoopy这样的python模块可以做到这一点。在这方面的任何帮助都将受到感谢。
浏览 10提问于2016-08-12得票数 3
1回答
方法1:我的输入数据是一堆json文件。经过预处理后，输出为pandas数据帧格式，该格式将写入Azure SQL数据库表。 方法2:我已经实现了delta lake，其中输出pandas数据帧被转换为Spark数据帧，然后将数据插入到分区的Delta Table中。这个过程很简单，而且将pandas数据帧转换为spark数据帧所需的时间以毫秒为单位。但与方法1相比，性能很差。使用Approach1，我能够在不到方法2所需时间的一半内完成。 我尝试了不同的优化技术，比如ZORDER，压缩(装箱)，使用insertInto而不是saveAsTable。但没有一种方法真正提高了性能。 如果我错过
浏览 8提问于2020-10-28得票数 1
1回答
我有一个pyspark管道(包含估算和一个机器学习模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧？如果不可能，我如何有效地使用pyspark管道来生成对pandas数据帧的预测？
浏览 3提问于2021-09-13得票数 1
我刚开始使用pandas，我正在编写一个脚本，在这个脚本中，我读取数据帧，然后对一些列进行一些计算。
有时我会有一个名为“Met”的专栏：
df = pd.read_csv(File,
sep='\t',
compression='gzip',
header=0,
names=["Chrom", "Site", "coverage", "Met"]
)
其他时候我会有：
df = pd.read_csv(File,
sep='\t',
compre
浏览 0提问于2014-09-18得票数 41
回答已采纳
我有一个有700万条记录的pandas数据帧，我正在尝试创建一个dask数据帧，但我总是遇到内存问题。 使用的代码： dd_test = dd.from_pandas(df_lookup_table, npartitions=3) 错误消息： Traceback (most recent call last):
File "<input>", line 1, in <module>
File "C:\Users\user\venv\lib\site-packages\dask\dataframe\io\io.py", line
浏览 9提问于2019-01-29得票数 1
回答已采纳
让我们假设这个数据帧有三列'ABC‘包含随机数。用户可以选择他想要对此数据帧进行切片的阈值条件。如果其中一个条件为'None‘，则表示没有限制条件。如何跳过按阈值为None的条件进行切片？ import pandas as pd
import numpy as np
condition_A = [75,66,None]
condition_B = [50,14,30]
condition_C = [66,None,37]
df = pd.DataFrame(np.random.randint(0,100,size=(100, 3)), columns=list('
浏览 29提问于2021-06-29得票数 0
回答已采纳
例如：
nrow = 10
ncol= 10
a = np.arange(nrow*ncol,dtype=np.int32).reshape(nrow,ncol)
a = pd.DataFrame(a)
ix_list = np.arange(nrow,dtype=np.int32)
print np.isfortran(a.values) # False
print np.isfortran(a.loc[ix_list,:].values) # True
为什么.loc要用fortran有序数组来创建pandas数据帧？我能强制它用C有序的numpy数组创建pandas数据帧吗？
浏览 0提问于2017-09-15得票数 3
我有一个pandas数据帧，需要清理Status列。我的数据如下所示：
id Status
123 100%
124 0%
125 1%
126 100%
127 0.25%
我想排除所有不是100%或0%的行。该列的类型为object
我希望我的数据是这样的：
id Status
123 100%
124 0%
126 100%
我尝试过以下几种方法：
df = df.drop(df[(df.Status == '100%') & (df.Sta
浏览 9提问于2020-03-04得票数 2
回答已采纳
我从CSV文件中获取了数据，并将其保存在我的Dask数据帧中并对其进行操作。然后，我需要将数据写入数据表。我还没有真正遇到过任何解决方案。Pandas的to_sql函数具有内置的功能，所以我不确定是否需要首先转换为Pandas？我目前认为，将Dask数据帧转换为Pandas会导致它被完全加载到内存中，这可能会违背最初使用Dask的目的。
将Dask数据帧写入datatable最好、最快的方法是什么？
浏览 4提问于2020-03-27得票数 1
获取dask数据帧分区并将其转换为pandas数据帧的最佳方法是什么？以下代码似乎永远挂起。
partitions = auc_ddf.to_delayed()
df = partitions[0]
df.head().compute()
浏览 0提问于2020-01-28得票数 0
1回答
我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。
我需要从csv上的每一行提取纬度和经度，以便创建folium地图。
使用pandas，我可以用一个循环解决我的问题：
for index, row in locations.iterrows():
folium.CircleMarker(location=(row["Pickup_latitude"],
row["Pickup_longitude"]),
radiu
浏览 27提问于2018-05-30得票数 0
1回答
我有多个字典，在这些字典中，我试图根据数据帧中某列的值替换另一列的值。我有一个包含country和state列的数据帧。country列是一个字符串，state列是数字。我的字典是这样的： us_state = {1: 'Alabama', 2: 'Alaska', 3: 'Illinois', 4: 'Ohio'}
can_state = {1: 'Edmonton, 2: 'Sasketchwan', 3: 'Manitoba'} 我最初的想法是在country列上使用一个for循环和
浏览 15提问于2021-07-29得票数 0
回答已采纳
我目前有一个熊猫的数据框，它由两列组成，‘index’和‘price’列，如下所示： ? 我需要创建一个名为‘Log’的新列，我想在其中执行两个独立的操作，具体取决于列‘Price’中的数据是负还是正。对于正数的行，我需要执行以下操作： df["Log"] = 10**(df['Price']) 如果“Price”列中的数字为负数，则执行以下操作以获取该单元格的绝对值： df["Log"] = -10**(df['Price'].abs()) 你能给我看一段python代码，上面的操作可以在原始的pandas数据框上执行，最
浏览 35提问于2021-06-18得票数 1
回答已采纳
3回答
我有一个非常大的数据帧另存为gzip文件。在保存数据之前，还需要对其进行大量操作。
您可以尝试将整个gzip数据帧转换为文本格式，将其保存到变量中，解析/清理数据，然后通过pandas.read_csv()保存为.csv文件。然而，这是非常耗费内存的。
我想逐行读取/解压缩这个文件(我认为这将是最节省内存的解决方案)，解析它(例如，使用正则表达式re或pandas解决方案)，然后将每一行保存到pandas数据帧中。
Python有一个gzip库来实现这一点：
with gzip.open('filename.gzip', 'rb') as input_file:
浏览 0提问于2016-08-12得票数 0
1回答
Pandas csv解析器()支持不同的编码：
import pandas
data = pandas.read_csv(myfile, encoding='utf-8', quotechar='"', delimiter=',')
如何为我的数据帧实现ascii忽略编码大小写？
encode('ascii', 'ignore')
浏览 1提问于2014-04-23得票数 2
当我在Jupyter笔记本中查看我的数据帧时，一切看起来都很好，但当我将它上传到github时，数据帧看起来很奇怪。
在使用pandas.read_csv()时，我已经尝试过不同的编码方式。
以下是数据帧在github中的外观：
浏览 3提问于2019-07-03得票数 1
2回答
从文件中读取分隔数据时，pandas库能够解释数据列的类型。 当向pandas数据帧传递通过pandas之外的某个过程组装的字符串列表时，pandas会将内部列表类型保留为字符串： data = [ ['1','2'],['3','4'] ]
cols = ['foo', 'biz']
df = DataFrame(columns=cols, data=data)
print(numpy.sum(df.values))
$: <literal sum of the strings>
浏览 12提问于2020-07-22得票数 2
回答已采纳
有没有一种方法可以做到这一点，但将阈值作为延迟数字？
import dask
import pandas as pd
import dask.dataframe as dd
threshold = 3
df = pd.DataFrame({'something': [1,2,3,4]})
ddf = dd.from_pandas(df, npartitions=2)
ddf[ddf['something'] >= threshold]
如果threshold是：
threshold = dask.delayed(3)
它给我的自动取款机：
TypeE
浏览 17提问于2020-02-13得票数 1
回答已采纳
我在CSV中有一个很大的文件。因为它是一个大文件(几乎7 GB)，所以它不能转换为pandas数据帧。 将熊猫作为pd df1 = pd.read_csv('tblViewPromotionDataVolume_202004070600.csv'，sep='\t'，iterator=True，chunksize=1000)导入df1: print ( chunk )中的块 df1的类型为pandas.io.parsers.TextFileReader 现在，我想在这个文件中编辑/添加/插入一些文本(新行)，并将其转换回pandas数据帧。请让我知道可能的解决方
浏览 28提问于2020-04-12得票数 0
我正在使用iterrows()来遍历数据帧。使用for循环和嵌套的if语句，我能够识别出我想要更改的单元格。我使用了一条print语句来验证我是否能够更改数据，但是当我打印出数据帧时，信息没有改变。我能够在较小的数据框架上做到这一点。有什么想法吗？
我原来的代码是这样的：
data.loc[(data.ID.isin([10,45])) & (data.source.notnull()), 'ID'] = 50
但我需要添加以下内容：
data.loc[(data.ID.isin([23,45])) & (data.source.notnull()), '
浏览 1提问于2019-04-05得票数 1
回答已采纳
我目前正在尝试添加一个额外的功能到一个countvectorizer矩阵，这个矩阵是用scikit-learn创建的。 工作流程如下:我有一个dataframe，它包含一个包含文本的列和一个包含附加特性的列。 我首先将我的数据分成训练数据帧和测试数据帧。然后，我在训练数据的文本列上应用countvectorizer。然后，我用计数分解器矩阵作为输入来拟合RandomForest分类器。 我现在试图确定的是，我想使用矩阵和数据帧中另一列中的附加功能来运行RandomForest分类器。 我怎样才能做到最好呢？我已经读到过scikit功能联合，但无法在我的数据框架中使用不同的列。 下面是一个代码
浏览 22提问于2021-01-25得票数 0
回答已采纳
我在400,000 x 600大小的数据帧(800MB)的Pandas数据帧上使用scikit-learn预处理和随机森林集成技术。当我通过算法传递这个数据帧时，我得到了这个值错误，可能是由于数据帧中的某个地方有额外的空格。我如何从我的数据框中清理所有应该只包含数值而绝对不包含字符串的空格？
浏览 0提问于2017-01-31得票数 1
我将一个数据帧传递给一个函数。有时是Pandas数据帧，有时是Spark数据帧。我的函数需要采取相应的行动。有没有简单的方法，比如df.isPandas()，来确定一个数据帧(作为“df”接收)是Pandas数据帧还是Spark数据帧？提前谢谢。
浏览 17提问于2019-05-14得票数 1
回答已采纳
1回答
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。 作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，以便以后进行更多内存密集型操作。效率不是最高的。 有没有更好的策略呢？
浏览 10提问于2019-06-02得票数 1
回答已采纳
2回答
我有一个很大的.txt文件(很多GB)，格式是：
|Column1|Column2|Column3|Column4
|"text"|"text"|"text"|"text"
|"text"|"text"|"text"|"text"
我想将这些数据直接读入pandas数据帧中。使用pandas命令可以做到这一点吗？
df = pd.read_XXX()
如果不是用pandas，有人能建议如何读入这种类型的文件吗？我不熟悉这种格式。
浏览 0提问于2019-03-08得票数 1
1回答
我想对一些数据进行备份测试，这些数据将使用Python、psycopg2和Pandas从Postgres数据库中提取。
将从Postgres提取的数据非常大(超过10 of )--即使Pandas数据帧能够存储这么多数据，我的系统也无法以RAM的形式保存这些数据。
综上所述，我希望我的Python程序需要执行以下操作：
1:连接到远程(基于局域网) Postgres数据库服务器
2:对数据库表运行基本select查询
3:将查询结果存储在Pandas数据框架中
4:对Pandas数据框架内的数据执行计算操作
5:将这些操作的结果写回数据库中的现有表。
我希望在步骤2中返回的数据将非常大。
是否
浏览 27提问于2017-11-02得票数 3
回答已采纳
1回答
我有一个庞大的数据集，并且正在使用Apache进行数据处理。
使用Apache，我们可以将与火花兼容的数据帧转换为与Pandas兼容的数据帧，并在其上运行操作。
通过转换数据帧，它是实现了在星火中看到的并行处理的性能，还是它的行为像潘达斯一样？
浏览 5提问于2020-07-03得票数 4
回答已采纳
1回答
我有一个Pandas数据帧，我想在其中比较两列'text‘和'text_find’。
我想创建一个布尔标志'compare‘，如果'text_find’中的单词位于'text‘中，则将其设置为1，否则将'compare’设置为0。例如：
'text' = 'i hate cars'
'text_dins' = 'cars'
这将使'compare‘=1
'text' = 'i hate cars'
'text_dins' = &
浏览 0提问于2017-07-23得票数 1
我查看了pandas文档，有几个选项可以将数据导入pandas数据帧。当涉及到导入文本文件时，常见的方法似乎是导入csv文件。
我要使用的数据是格式如下的日志文件：
timestamp=2018-09-08T11:11:58.362028|head1=value|head2=value|head3=value
timestamp=2018-09-08T11:15:25.860244|head1=value|head2=value|head3=value
我只需要将这些元素中的一部分导入到数据时间框架中，比如说时间戳、head1和head3。
在csv表示法中，数据帧将如下所示：
timesta
浏览 14提问于2018-09-09得票数 1
回答已采纳
我有一个Pandas数据帧，我需要将它转换成H2O框架。我使用以下代码-
代码：
# Convert pandas dataframe to H2O frame
start_time = time.time()
input_data_matrix = h2o.H2OFrame(input_df)
logger.debug("3. Time taken to convert H2O Frame- " + str(time.time() - start_time))
输出：
2019年-02-05:38:55,238记录器调试3.转换H2O帧- 9320.119945764542
浏览 0提问于2019-02-05得票数 1
我正在使用以下命令将csv读入数据帧：
import pandas as pd
df = pd.read_csv('file.csv')
我的csv有800行数据，但我的数据帧读取了805行。最后5行是完全空白的。有没有办法删除这5个空行？
浏览 1提问于2017-07-18得票数 0
对于多个CSV文件，我使用pandas数据帧的to_csv()函数以并行方式将数据附加到python中的数据帧中。 然而，当我停止程序运行时，一些文件被完全清空了。当我意外地停止程序时，我希望python要么完成对文件的写入，要么让它保持原样。 你知道如何实现它吗？ 感谢您的帮助:)
浏览 22提问于2021-06-28得票数 0
我正在提取不同源文件的信息。每个源文件对应于一些测量数据的给定快照时间。我有一个预处理函数，可以获取其中一个文件并输出pandas数据帧。所以我做了一个spark调用，它给了我一个所有输入文件的列表，然后我调用了map，它为我提供了一个sc.wholeTextFiles，其中每个元素都是一个熊猫数据帧。现在“重塑”此结构的最佳方法是什么，以便我只有一个由连接的较小数据帧组成的结果数据帧？
浏览 0提问于2020-06-29得票数 0
我有csv文件，我正在将其读入Python Pandas Dataframe。我想对操作进行矢量化，以便使用针对某些列的一组用户定义函数对列运行数据清理，并将结果附加到数据帧中。
我可以读取记录并逐个处理它们，但我想通过Pandas使用一个函数对1整列进行操作来向量化操作。
输入数据帧
A B C D
0 a b c d
1 t f h e
2 j r y k
我想在列A, B and C上执行数据清理(DC*)。
A B C D DC1-A DC2-B DC3-D
0 a b c d
浏览 3提问于2019-11-01得票数 1
我有一个包含3m+ (有序)行和100列的数据集，我可以使用Pandas将其加载到我的笔记本中。我想追加大约900列，这些列是使用100个现有的列计算得出的。最终目标是训练几个机器学习模型(NN，随机森林)。
当我尝试使用Pandas添加列时，由于RAM不足(我有25 to )，我的机器崩溃了。因此，我尝试使用Dask，它允许我毫无问题地计算900列。然而，Dask数据帧不能用作随机森林(Sklearn)和Keras模型的输入，所以我猜在某些时候您必须将其转换回pandas数据帧。
在这一点上我被卡住了。速度是相当重要的，因为我需要经常改装模型。有没有人有好的建议？
浏览 18提问于2021-05-22得票数 1
我对Pandas比较陌生，我很想知道在将大型(10M+)数据集导入数据帧时，是否有任何经过验证的或更好的实践可以考虑，或者这些事情通常是如何完成的？或者，将SQL中的大数据直接导入pandas是完全可以的吗？ 例如，我想查询我的数据库，获取10M的rec，并将其存储为dataframe。在这种情况下，变量'query‘存储了从数据库返回的10M个recs的结果集，在pandas中完成这样的事情有多安全，特别是如果我们使用'query’进行更多的计算，或者是否有其他可用的替代方案？ import pandas as pd
import pyodbc
import sqlalch
浏览 22提问于2020-08-14得票数 1
我想将函数f应用于pandas DataFrame的每一行中的许多切片。例如，DataFrame df将如下所示：
df = pandas.DataFrame(np.round(np.random.normal(size=(2,49)), 2))
因此，我有一个2行乘49列的数据帧，并且我的函数需要应用于两行中7个数据点的每个后续切片，以便结果数据帧看起来与输入数据帧相同。
我是这样做的：
df1=df.copy()
df1.T[:7], df1.T[7:14], df1.T[14:21],..., df1.T[43:50] = f(df.T.iloc[:7,:]), f(df.T.iloc[
浏览 9提问于2014-11-16得票数 1
3回答
我在python pandas中有两个数据帧
数据帧1
User_id zipcode
1 12345
2 23456
3 34567
数据帧2
ZipCodeLowerBound ZipCodeUpperBound Region
10000 19999 1
20000 29999 2
30000 39999 3
如何使用pandas merge将区域中的数据映射到条件为if(df1.zipcod
浏览 3提问于2016-10-29得票数 3
2回答
我有这样的数据帧。
E F
ID A B C D E F
0 0 ABC AAA BCD 1 -
1 1 ABC AAA BCD 4 -
2 2 ABC AAA BCD 6 -
我通过print(type(df['E']))打印数据帧类型，它显示如下输出。
<cla
浏览 7提问于2019-08-05得票数 3
回答已采纳
我在Jupyter Notebook中有以下代码：
import pandas as pd
pd.set_option('display.max_colwidth', 80)
my_df.select('field_1','field_2').show()
我想增加列宽，这样就可以看到field_1和field_2的完整值。我知道我们可以对pandas数据帧使用pd.set_option('display.max_colwidth', 80)，但它对spark数据帧似乎不起作用。
有没有办法增加spark数据帧的列宽，就像我们对p
浏览 2提问于2016-08-26得票数 2
1回答
我正在创建一个小的Pandas数据帧： df = pd.DataFrame(data={'colA': [["a", "b", "c"]]}) 我把那个df拷贝了一遍。我使用的不是Pandas方法，而是通用Python，对吧？ import copy
df_copy = copy.deepcopy(df) 一个df_copy.head()提供以下内容： ? 然后我将这些值放入字典中： mydict = df_copy.to_dict() 字典看起来是这样的： ? 最后，我删除了列表中的一项： mydict['colA&#
浏览 42提问于2020-01-10得票数 3
回答已采纳
所以我不得不写一些程序，对现有的pandas数据帧做一些操作，然后在for循环中从该数据帧到大数据帧的末尾。
我已经找到了一种方法，通过将第一个数据帧设置为第一次迭代的结束数据帧，然后在以后的迭代中将数据帧连接到这个结束数据帧，但对我来说，这似乎不是最有效的方法。
我使用python已经有一段时间了，但最近才开始使用pandas，所以我不知道是否有更简单的方法来做到这一点。我附上了一个简单的示例代码，希望它能演示我正在做的事情，并想知道它是否可以更多地通过whether来完成。
df = pandas.DataFrame([0,1,2,3])
for i in range(3):
if
浏览 7提问于2018-08-09得票数 0
回答已采纳
有没有人知道pandas，python中的所有列？我刚刚为pandas创建了一个包含超过20,000列的数据帧，但我得到了内存错误。
非常感谢
浏览 5提问于2013-10-07得票数 1
可以使用psycopg2将Pandas数据帧写入PostgreSQL数据库吗？
最终目标是能够将Pandas数据帧写入Amazon RDS PostgreSQL实例。
浏览 0提问于2015-11-29得票数 7
回答已采纳
在使用输出.root文件的Geant4进行模拟时，我很高兴地发现了uproot包。
我相信数据帧是完成特定分析任务的最佳选择，所以我使用uproot.pandas.df()将TTree中的内容读取到这样的数据帧中。
不幸的是，这最终成为了一个瓶颈。虽然代码可以很好地处理所有数字输入，但处理字符串似乎是一个严重的问题。该文件非常大，生成的帧有2406703行。
而这段代码(Egamma和z_eu都是数字)：
df = uproot.open('rootFile.root')['seco_tuple;1].pandas.df( ['Egamma','
浏览 18提问于2019-11-19得票数 1
1回答
这段代码建立了一个来自data的数据名字典，它本身就是一个数据帧。data是从文件中读取的：
data = pandas.read_csv(QuoteData, usecols=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22])
因为data数据帧混合了许多不同的时间帧，所以我将它们分离到一个按时间索引的数据帧字典中。然后根据所示的标准对字典中的每个数据帧进行排序。
无论我如何尝试，都无法访问dodf[k]['underlying_bid']的第一个元素。例如，dodf[k]['underlying
浏览 6提问于2017-01-28得票数 2
回答已采纳
我在for循环中访问一系列Excel文件。然后，我将excel文件中的数据读取到pandas数据帧中。我想不出如何将这些数据帧附加在一起，然后将数据帧(现在包含所有文件中的数据)保存为新的Excel文件。
这是我尝试过的：
for infile in glob.glob("*.xlsx"):
data = pandas.read_excel(infile)
appended_data = pandas.DataFrame.append(data) # requires at least two arguments
appended_data.to_excel(&
浏览 2提问于2015-02-23得票数 111
回答已采纳
1回答
我试图将两个变量(一个ID和一个DateTime变量)为MultiIndexed的熊猫数据帧转换为dask数据帧，但是我得到了以下错误； "NotImplementedError: Dask does not support MultiIndex Dataframes" 我正在使用下面的代码 import pandas as pd
import dask.dataframe as dd
dask_df = dd.from_pandas(pandas_df) 实际上，我有700多个熊猫数据帧(每个超过100MB)，我计划将每个熊猫数据帧转换为dask，然后将它们全部附加到一
浏览 18提问于2019-07-02得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
