将数据帧插入到pandas中的每一行
，可以使用pandas的DataFrame.append()方法或者DataFrame.loc[]方法来实现。
- 使用
DataFrame.append()方法：- 概念：
DataFrame.append()方法用于将一个数据帧追加到另一个数据帧的末尾，返回一个新的数据帧。 - 优势：可以方便地将数据帧插入到已有数据帧的末尾，不改变原有数据帧的结构。
- 应用场景：适用于需要将多个数据帧合并成一个大的数据帧的情况。
- 示例代码：
- 示例代码：
- 概念：
- 使用
DataFrame.loc[]方法：- 概念：
DataFrame.loc[]方法用于通过标签或布尔数组选择数据帧的行和列。 - 优势：可以根据指定的标签或条件选择特定的行和列进行插入操作。
- 应用场景：适用于需要根据条件选择特定行进行插入的情况。
- 示例代码：
- 示例代码：
- 概念：
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（移动推送、移动分析、移动测试等）：https://cloud.tencent.com/product/mobile
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Tencent Real-Time Rendering）：https://cloud.tencent.com/product/trr
相关·内容
1回答
Pandas数据帧多个数据库表
、、、、
我有一个API包装器，可以从特定的产品中提取数据。我面临着如何将json数据映射到数据库(postgresql)的问题。我已经阅读了Pandas dataframe，但我不确定这是不是正确的方法。我有几个问题需要帮助。
1)是否可以选择哪些行可以进入数据帧？
2)数据帧内的每一行都需要插入到两个不同的数据库表中。我需要在TableA中插入10列，获得新插入行的id，然后在TableB中插入5列，包括返回的id。我该怎么做呢？
3)是否可以为数据帧中的每一列指定数据类型？
4)是否可以将列名称重命名为数据库字段名称？
5)是否可以遍历特定的列并替换某些数据？
对于我正在尝试实现的目标，有没有可以
浏览 14提问于2020-05-15得票数 1
回答已采纳
如何创建用于原始数据系列的datetime索引"foo"。(示例是每15秒“foo”和每30秒“foo2”)。如果原始序列可以插入到“基本”数据帧中，我想使用“foo”来重新转换数据帧。
如果需要组合df " foo“和df "foo2”的序列，内存命中率会是什么，最好用原始数据序列填充foo索引。
编辑:在import pandas之后，datetime.timedelta停止工作
浏览 0提问于2012-04-05得票数 2
我在Azure SQL Server数据库中有一个表，该表是从我的Dataframe填充的。我想使用pyspark / pandas基于多条件数据库来更新这个表。我是PySpark / Databricks / Pandas的新手，有人能告诉我如何更新表吗？我已经将数据插入到表中-我可以想到的一种解决方案是将表中的数据加载到数据帧中，然后将新文件合并到相同的数据帧中，然后从表中删除数据并插入此数据帧。如果这是正确的方法，那么在上述场景中，我们如何从数据库表中删除数据？
浏览 2提问于2020-04-20得票数 0
我正在尝试根据另一个数据帧中的值将一个数据帧的行分成6个列表。在python中使用pandas包。trainX =数据帧形状(7352,561)和trainY =数据帧形状(7351，1)
我想要的是根据trainY中相应行的值，将trainX的每一行排序到6个新的数据帧中。
如果trainY中的第1行表示"1"，那么trainX中的第1行应该转到dataframe class1。如果trainY中的第2行表示"2"，那么trainX中的第2行应该转到dataframe class2。依此类推，直到trainX中的所有7351行都划分为类1到6。
我用for循环
浏览 1提问于2021-11-26得票数 0
我有一堆14784个文本文档，我正在尝试对它们进行矢量化，这样我就可以运行一些分析。我使用sklearn中的CountVectorizer将文档转换为特征向量。我这样做是通过调用：
vectorizer = CountVectorizer
features = vectorizer.fit_transform(examples)
其中examples是所有文本文档的数组
现在，我正在尝试使用其他功能。为此，我将这些特性存储在一个pandas数据帧中。目前，我的pandas数据帧(不插入文本特征)具有形状(14784, 5)。我的特征向量的形状是(14784, 21343)。
将矢量化的特征插入
浏览 0提问于2016-11-02得票数 14
我在MongoDB中有一个现有的数据，其中主键设置为'date‘，其中有几个字段。 我想在MongoDB中的现有数据中插入一个带有新字段(列)的新pandas数据帧，连接两个数据帧上的'date‘字段。 例如，假设这是我的日期中的数据帧A(当从MongoDB调用数据时，我用‘MongoDB’字段设置了索引) ? 这是我要插入到MongoDB的新数据帧B ? 这是带有新字段( 'std_50_3000window'，'std_50_300window'，'std_50_500window‘添加在'date’索引上的
浏览 85提问于2020-07-11得票数 0
回答已采纳
有没有办法创建一个由两列组成的pandas数据帧？第一列的数据类型是int，第二列的数据类型是字典。然后迭代地将数据插入到数据帧中。
浏览 0提问于2018-07-29得票数 0
7回答
有没有办法在不遍历每一行的情况下从数据帧中执行SQL update-where？我有一个postgresql数据库，要从数据帧更新数据库中的表，我将使用psycopg2并执行以下操作：
con = psycopg2.connect(database='mydb', user='abc', password='xyz')
cur = con.cursor()
for index, row in df.iterrows():
sql = 'update table set column = %s where column = %s&
浏览 16提问于2015-08-13得票数 68
2回答
我有以下pandas数据帧：
df = pd.DataFrame([["hitesh","","HAIK"],["hitesh","red","ll"],["haikent","red","tt"],["","","HAIK"]])
我正在尝试将数据帧的空字符串替换为每列的相应模式。
我在努力
df= df.replace("" , df.mode()[0])
但这只是用第一列模式替换了数
浏览 9提问于2017-03-10得票数 2
回答已采纳
我试图在for循环中使用psycopg2 insert将(source_lat，source_long，destination_lat，destination_long)行从Pandas数据帧插入到PostgreSQL表(Gmap)中。该表有一个完整性约束，可以防止插入重复的(source_lat、source_long、destination_lat、destination_long)行，所以我使用try except block来捕获任何重复的行。我的代码如下。
我遍历数据帧中的每一行(大约100000行)，并对每一行调用cursor.execute( insert )，看看这是否会抛出完
浏览 15提问于2019-08-03得票数 1
我正在尝试将来自Pandas dataframe的数据插入到Snowflake中的一个表中，但我在找出如何正确执行此操作时遇到了麻烦。首先，我在Snowflake中创建了一个表，其中包含一些VARIANT类型的列。例如：
CREATE OR REPLACE TABLE
mydatabase.myschema.results(
DATE date,
PRODUCT string,
PRODUCT_DETAILS variant,
ANALYSIS_META variant,
PRICE float
)
浏览 0提问于2020-11-06得票数 4
我是python的新手，我将csv中的大数据加载到了pandas数据帧中。但是，我找不到一种方法来为dataframe的每一行创建一个2d数组，其中新np数组的每一行对应于X范围的值。例如，在我的代码中：
import pandas as pd
import numpy as np
data = pd.read_csv("categorization/dataAll10Overfit.csv",header=None)
#print(data)
rec = data.iloc[:,0:3968] # outputs i rows x 3969 columns
在数据帧的每一行
浏览 17提问于2017-08-15得票数 2
回答已采纳
我目前正在尝试检查数据帧的每一行中是否存在一个值，如果是这样，则应更改一个变量值。我在想这样的事情： import pandas as pd
d1 = {'1': ['1.1.1.1', '2.2.2.2'], '2': ['molear', 'laurylh'], '3': ["131", "132"], '4': ["3", "4"], '5': ["133", &
浏览 12提问于2020-09-15得票数 1
我使用Pandas向数据帧输入了一个CSV文件，并希望计算其中列的日平均值。有两个列不会被平均化，时间和日期(日期是数据分组的日期)。然后，我希望在该日期的最后一行下面插入一行，在date列中插入“Average”( time列中没有任何内容)，然后在正确的列中插入相应的平均值。我只使用了Pandas一段时间，所以我不知道最简单的方法是什么。任何帮助都将不胜感激。
浏览 12提问于2022-06-17得票数 0
我需要将数据帧转换为可以插入到sql表中的格式。
data_tuples = [tuple(row) for row in df.values]
如何从pandas数据帧中删除所有非python数据类型(包括np int、nans和NaTs)？
浏览 2提问于2016-08-08得票数 1
回答已采纳
1回答
方法1:我的输入数据是一堆json文件。经过预处理后，输出为pandas数据帧格式，该格式将写入Azure SQL数据库表。 方法2:我已经实现了delta lake，其中输出pandas数据帧被转换为Spark数据帧，然后将数据插入到分区的Delta Table中。这个过程很简单，而且将pandas数据帧转换为spark数据帧所需的时间以毫秒为单位。但与方法1相比，性能很差。使用Approach1，我能够在不到方法2所需时间的一半内完成。 我尝试了不同的优化技术，比如ZORDER，压缩(装箱)，使用insertInto而不是saveAsTable。但没有一种方法真正提高了性能。 如果我错过
浏览 8提问于2020-10-28得票数 1
1回答
我要将CSV文件中的数据插入到Azure上托管的SQL Server数据库中。我能够在表中插入数据，方法是将数据读取到pandas数据帧中，并在python中的for循环中使用insert语句。我正在使用pyodbc。这种方法需要很长时间才能插入数据。我也尝试过pd.to_sql()。虽然后者比for循环方法更快，但它仍然很慢。
有没有更快的方法在SQL Server中使用python/pandas插入CSV文件？
浏览 0提问于2019-10-14得票数 0
我正在练习将apply与Pandas数据帧一起使用。
因此，我制作了一个简单的数据帧，其中包含日期和值：
dates = pd.date_range('2013',periods=10)
values = list(np.arange(1,11,1))
DF = DataFrame({'date':dates, 'value':values})
我有第二个数据帧，它由原始数据帧的3行组成：
DFa = DF.iloc[[1,2,4]]
因此，我想使用第二个数据帧DFa，并从每一行获取日期(使用apply)，然后查找并汇总原始数据帧中之前出现的任何
浏览 0提问于2015-06-11得票数 1
我使用以下代码将具有多个NaN值的Pandas数据帧插入到BigQuery表中。数据帧是在云数据实验室中准备的。
import google.datalab.bigquery as bq
bqtable = ('project_name', 'dataset_name', 'table_name')
table = bq.Table(bqtable)
table_schema = bq.Schema.from_data(df)
table.create(schema = table_schema, overwrite = True)
tab
浏览 23提问于2018-10-24得票数 9
1回答
我为它们在A和B之间插入的每50行枚举了一个数据帧。我不太理解函数Categorical.from_codes。我有一个数据帧，其中包含我的特征，即50张图像中的20个像素，因此矩阵为50x20。Y值仅仅是索引值，例如:像素0、1、2、3和更多。这是我的数据帧及其枚举，对于给定的数据帧，我如何提取X和Y，其中X是我的数据，Y应该是我的类别。 import numpy as np
import pandas as pd
my_array = np.zeros((700, 20))
indices = sorted(list(range(0,int(my_array.shape[0]/50))
浏览 6提问于2020-07-12得票数 0
2回答
我正在尝试计算数据帧中每一列的最大和最小长度，该数据帧中有一些缺失值。Pandas将这些缺失值视为"NaN“，并将长度计为3。如何在计算最大和最小长度时完全忽略缺失值？下面是我的代码： import pandas as pd
columnname=[]
maxColumnLenghts = []
minColumnLenghts=[]
for colname in df.columns:
columnname.append(colname)
for col in range(len(df.columns))
浏览 51提问于2020-11-06得票数 1
回答已采纳
我正在从mongoDB读取数据到pandas数据帧..
client = MongoClient('localhost',27017)
db = client.test_insert ## name of the database
collection = db.dataset2
df = pd.DataFrame(list(db.dataset2.find()))
这将是mongoDB的dataset2集合中的所有文档。然后我将它转换为pandas数据帧。接下来，我将存储最后插入的文档的objectID。
last_inserted
浏览 1提问于2015-12-08得票数 2
2回答
我正在尝试对棒球场地的F/x数据进行一些分析。所有的俯仰数据都存储在一个pandas数据帧中，其中包含像“俯仰速度”和“X位置”这样的列。我有一个包装器函数(使用pandas.query)，对于给定的音高，它将找到具有类似速度和位置的其他音高。此函数返回未知大小的pandas数据帧。我想在大量的投球上使用这个函数；例如，查找与在一场比赛中投出的投球相似的所有投球。我有一个函数可以正确地做到这一点，但它相当慢(可能是因为它不断地调整resampled_pitches的大小)：
def get_pitches_from_templates(template_pitches, all_pitches
浏览 1提问于2015-03-07得票数 0
我给出了一个Python字典，看起来像这样： myDict = {'A':['a','b','c','d','e'],
'B':['f','g','h']} 我想将其转换为具有以下结构的Pandas数据帧： key val
0 B f
1 B g
2 B h
3 A a
4 A b
5 A c
6 A d
7 A e 我不能使用标准方法将字典输入到
浏览 29提问于2019-01-25得票数 2
回答已采纳
1回答
如果我有以下数据帧： A B C D E
1 1 2 0 1 0
2 0 0 0 1 -1
3 1 1 3 -5 2
4 -3 4 2 6 0
5 2 4 1 9 -1
T 1 2
浏览 9提问于2019-10-17得票数 1
回答已采纳
问题: DASK数据帧
loc[concrete_row, concrete_column]
返回多行的pandas数据帧，每行都有相同的索引：
0 [1,2,3]
0 [1,2]
0 [3]
而不是一个行值。
0 [1,2,3]
我正在阅读许多拼图文件：
dd.read_parquet(dataset_dir+'/train/date*/*.parquet')
拼图文件中的每一行都有一个数组！
似乎在调用具体行时，dask data
浏览 48提问于2019-06-05得票数 0
我想在Pandas数据帧中创建一个新的命名列，在其中插入第一个值，然后向同一列中添加另一个值：
类似于：
import pandas
df = pandas.DataFrame()
df['New column'].append('a')
df['New column'].append('b')
df['New column'].append('c')
etc.
我该怎么做？
浏览 1提问于2018-07-24得票数 3
回答已采纳
我需要从网站- https://webgate.ec.europa.eu/rasff-window/portal/?event=notificationsList&StartRow=收集数据，并使用pandas将其存储在数据帧中。为此，我使用以下代码，并非常容易地获得数据- import pandas as pd
import requests
url = "https://webgate.ec.europa.eu/rasff-window/portal/?event=notificationsList&StartRow="
link = requests
浏览 24提问于2021-04-28得票数 0
我在DolphinDB中创建了一个streamtable，在类型'TIMESTAMP‘中定义了一个列类型，而time只能在pandas DataFrame中的类型datetime64ns中定义，该类型将在DolphinDB中转换为nanotimestamp。如果将数据帧直接插入到streamTable中，则可能会错误处理时间。除了使用SQL语句转换数据帧的类型之外，还有没有其他方法来处理这个问题？
浏览 4提问于2021-11-25得票数 0
2回答
在Pandas中，有一个方法DataFrame.shift(n)将数组的内容相对于索引移动n行，类似于np.roll(a，n)。我似乎找不到办法让达斯克有类似的行为。我意识到，像行轮班这样的事情可能很难用达斯克的分块系统来管理，但我不知道有什么更好的方法来将每一行与下一排进行比较。
我想要做的是：
import numpy as np
import pandas as pd
import dask.DataFrame as dd
with pd.HDFStore(path) as store:
data = dd.from_hdf(store, 'sim')[col1
浏览 6提问于2015-12-11得票数 6
回答已采纳
我在Google Cloud Spanner里有一张桌子。
CREATE TABLE test_id (
Id STRING(MAX) NOT NULL,
KeyColumn STRING(MAX) NOT NULL,
parent_id INT64 NOT NULL,
Updated TIMESTAMP NOT NULL OPTIONS (allow_commit_timestamp=true),
) PRIMARY KEY (Id)
而且，我正在尝试通过python脚本执行transaction.insert_or_update。对于pandas数据帧中的每
浏览 0提问于2019-11-21得票数 0
我有一个数据集，如下所示：
我使用pandas.read_csv将年份和国家列作为索引导入到pandas数据框中。我需要做的是将时间步长从每5年更改为每年一次，并插入上述值，但我真的不知道如何做到这一点。我正在学习R和python，所以无论哪种语言的帮助，我都将不胜感激。
浏览 0提问于2016-06-05得票数 3
使用py2neo从Neo4j数据库的密码查询中获取熊猫数据帧的结果非常简单，如下所示：
>>> from pandas import DataFrame
>>> DataFrame(graph.data("MATCH (a:Person) RETURN a.name, a.born LIMIT 4"))
a.born a.name
0 1964 Keanu Reeves
1 1967 Carrie-Anne Moss
2 1961 Laurence Fishburne
3
浏览 0提问于2017-08-17得票数 10
回答已采纳
我有一个这样的数据帧。 A,B
1,2
3,4
5,6
7,8
9,10
11,12
13,14 我想在数据帧上拆分这部分。拆分的数据帧应该每三行包含一次。拆分的第一个数据帧可以包含从索引0到索引2。第二个包含从索引1到索引，依此类推。 A,B
1,2
3,4
5,6
A,B
3,4
5,6
7,8
A,B
5,6
7,8
9,10 诸若此类。 我一直在使用forloop，然后使用iloc，然后将这些拆分的dataframe添加到列表中。 我正在寻找是否有一些矢量化方法来在pandas中拆分上述数据帧。数据帧很大，使用forloop遍历每一行都很慢。
浏览 13提问于2020-12-21得票数 0
回答已采纳
我是pyspark中的pandas udf的新手，需要帮助为大型数据帧(>1亿行)中的每一行应用udf。我的dataframe中有一列，其中包含使用dataframe中的列的多个条件。对每一行应用条件的最好方法是使用python eval。当在python udf中使用python eval时，它工作得很好，但是运行起来需要很长时间，因为我有几百万行。同样，在Pandas udf中尝试运行失败时，会抛出Python异常"PythonException:从UDF抛出异常：'TypeError: eval() arg1必须是字符串、字节或代码对象‘“ 示例代码如下，此代码不
浏览 29提问于2021-06-25得票数 0
我有一个包含两列[key, chunk]的csv文件，需要将其插入到SQL db表中。(放大信息-托管在GCP上的Postgresql数据库，我可以很好地选择和执行其他数据库操作。)
我的csv文件有1000多万行。因此，我很好奇，针对Postgresql语法，我可以使用的最佳批处理插入选项是什么？将csv文件作为pandas数据帧打开会有帮助吗？由于文件的大小，我希望避免迭代行插入。
浏览 2提问于2021-05-28得票数 0
0回答
我正在尝试使用sqlalchemy使用的pscycopg2模块将数据帧插入到postgres数据库中。该过程是将excel文件加载到pandas数据帧中，然后通过预定义的表模式将该数据帧插入到数据库中。
我相信以下是相关的代码行：
post_meta.reflect(schema="users")
df = pd.read_excel(path)
table = sql.Table(table_name, post_meta, schema="users")
dict_items = df.to_dict(orient='records')
c
浏览 4提问于2017-01-04得票数 6
我使用Python语言中的PyMongo库在MongoDB中插入文档。pandas数据帧有37个字段和60k条记录(数据集链接：)。数据帧中的所有字段都已转换为str类型。我收到以下错误：
OverflowError: MongoDB can only handle up to 8-byte ints
当我使用for循环插入2500个文档的块时，错误仍然存在。
代码片段：
import pandas as pd
import pymongo
client = pymongo.MongoClient()
db = client['patenting_in_psi']
colle
浏览 0提问于2018-02-16得票数 0
我在pandas中使用sqlalchemy来查询postgres数据库，然后将转换结果插入到同一数据库中的另一个表中。但是当我执行df.to_sql('db_table2', engine)时，我得到了这个错误消息：ValueError: Table 'db_table2' already exists.，我注意到它想要创建一个新表。如何将pandas数据帧插入到已存在的表中？
df = pd.read_sql_query('select * from "db_table1"',con=engine)
#do transforma
浏览 2提问于2016-07-27得票数 46
回答已采纳
我正在处理一个pandas数据帧，我希望在每一行中找到最远的非空值，然后颠倒这些值的顺序，并输出一个行值颠倒的数据帧，而不会在第一列中留下空值。本质上颠倒了列的顺序并将非空值向左移位。 在： 1 2 3 4 5
1 a b c d e
2 a b c
3 a b c d
4 a b c 输出： 1 2 3 4 5
1 e d c b a
2 c b a
3 d c b a
4 c b a
浏览 43提问于2019-08-24得票数 2
2回答
我的pandas dataframe有一个列，其中每一行都是一个对应于一个文件名的字符串。我从JSON文件中读取数据并提取列，如下所示：
df = pd.read_json("mergedJSON.txt",lines=True,orient='columns')
df2 = df.set_index("subject")
for key,value in some_dict.iteritems():
df2.loc[value,"file_name"].to_csv(outfile,index=False, header=F
浏览 11提问于2017-08-23得票数 2
回答已采纳
到目前为止，我的代码如下： import pandas as pd
with open("input.txt") as f:
data = f.readlines()
for line in data:
data = {'col1': [line[':']], 'col2': [line[':']], 'col3': [line[':']], 'col4': [line[':']]}
df = pd.
浏览 17提问于2020-04-30得票数 1
2回答
因此，我面临的问题是，我想创建一个数据结构，其中包含来自我的熊猫数据帧的46个项目。因此，我有了完整的列名列表和pandas dataframe。
所以有没有办法把每一行pandas都转换成我的数据结构的一个对象。
所以说：
我有一个很棒的地方
列X Y
A 1 2
B3 4
C5 6
所以我想把每一行都转换成一个对象
考虑到我有46列和100,000行，有什么好方法可以做到这一点吗？
浏览 1提问于2015-10-31得票数 0
我需要用python从google cloud function连接google cloud SQL server，每30分钟写一次数据。
我有一个创建pandas数据帧的python函数，我用另一个函数连接Google cloud SQL server，并将这个pandas数据帧写入Microsoft SQL server管理中的相应表中。但我需要每隔20分钟定期运行一次此函数。因此，我的想法是创建云函数，然后创建google cloud scheduler work以每20分钟运行一次这些python函数。但我找不到明确的指南。谷歌云文档非常混乱。任何建议都会受到欢迎。
浏览 12提问于2020-10-26得票数 0
我有一个如下所示的数据框架，并希望将此数据插入到cassandra表中
+---------+------+-----------+
| name | id | city |
+---------+------+-----------+
| sam | 123 | Atlanta |
| John | 456 | Texas |
+---------+------+-----------+
我使用下面的代码，但它只插入最后一行。
df.write.format("org.apache.spark.sql.cassandra")
浏览 0提问于2017-11-02得票数 0
我正在构建一个RNN来分析运动捕获(MoCap)数据，使用TensorFlow、Pandas和Keras。
关于我的数据：
数据是通过pandas.read_csv获得的，形状为(832,165)
每一行表示移动序列中的整个数据帧(832帧)。
每一列表示一个关节的旋转数据(总共165个关节)。
我试着一次在一行中输入数据。输出应该是运动序列中的下一个帧。在运行model.fit时，我经常会遇到不同类型的错误。
我附上了一系列的照片，代表不同的尝试使模型工作。如果有人能提供一些指导，为什么它不工作，以及如何修复，我将非常感激它。
另外，我的代码的每个版本都是不同的。只要它能
浏览 0提问于2020-02-28得票数 1
3回答
我有一个非常大的数据帧另存为gzip文件。在保存数据之前，还需要对其进行大量操作。
您可以尝试将整个gzip数据帧转换为文本格式，将其保存到变量中，解析/清理数据，然后通过pandas.read_csv()保存为.csv文件。然而，这是非常耗费内存的。
我想逐行读取/解压缩这个文件(我认为这将是最节省内存的解决方案)，解析它(例如，使用正则表达式re或pandas解决方案)，然后将每一行保存到pandas数据帧中。
Python有一个gzip库来实现这一点：
with gzip.open('filename.gzip', 'rb') as input_file:
浏览 0提问于2016-08-12得票数 0
我有一个相对较大的数据集(大约8 8GB)，并使用h5py将其读入jupyter笔记本。
数据集的形状最终类似于(50000000,384)。我的理想数据集应该将其转置，这样我就可以查看数据集中的每个“列”。我能够获得每一列的唯一方法是对每一列进行索引(这非常慢并且占用大量CPU，因为它是在50000000行中逐行进行的)或者将h5数据转换成np.array并转置它-这也是非常慢和无效的。
例如，我有一个h5文件：
chunk_file = h5py.File(chunk_fil_1, "r")
chunk_file["ex_dat"]
输出：
HDF5 da
浏览 1提问于2017-09-22得票数 0
我有多个pandas数据帧，我想写一个函数，它将取出数据帧每列中的值，并将它们放入自己的numpy数组中。
示例数据帧
In [1]: df = pd.DataFrame([[1, 2], [1, 3], [4, 6]], columns=['A', 'B'])
In [2]: df
Out[2]:
A B
0 1 2
1 1 3
2 4 6
如何从A列和B列的值中生成两个不同的numpy数组
浏览 1提问于2019-04-10得票数 0
1回答
我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。
我需要从csv上的每一行提取纬度和经度，以便创建folium地图。
使用pandas，我可以用一个循环解决我的问题：
for index, row in locations.iterrows():
folium.CircleMarker(location=(row["Pickup_latitude"],
row["Pickup_longitude"]),
radiu
浏览 27提问于2018-05-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
