我有一个很大的数据集，几乎有4 GB的csv格式。但我不需要整个数据集，我需要一些特定的列。是否可以使用Python Panda读取某些特定列，而不是读取整个数据集？它会提高读取文件的速度吗？非常感谢您的建议。
浏览 1提问于2015-05-15得票数 1
1回答
我一直在尝试获取一个非常大的csv文件，并将其读取到python中，然后编写一个新的简化的csv文件。我已经创建了我想要使用的列名的列表。下面是我尝试使用的代码 redfile = open(file_path,'r')
reader=csv.reader(redfile)forline1)
wfile.write(&
浏览 41提问于2019-10-15得票数 0
1回答
我理解Python中的生成器可以帮助读取和处理大型文件时，需要从文件中进行特定的转换或输出(例如读取特定的列或计算聚合)。但是，对于我来说，不清楚在Python中使用生成器是否有什么好处，因为它的唯一目的是读取整个文件。
编辑:假设您的数据集适合内存。pd.read_csv('sample_file.
浏览 2提问于2022-07-17得票数 2
回答已采纳
2回答
我正在尝试读取一个文件，其中列由可变空格分隔。我想知道是否有办法通过为该列保留字符数来定义每一列的宽度来读取该文件。C D1 foo 32 9.55 foofoo_bar 44
假设我们必须阅读上面的数据注意，某些条目不存在于C和D列中，但是，请注意文件中的第二行(带有破折号的行)指示特定列
浏览 5提问于2016-10-06得票数 1
回答已采纳
我需要使用python读取上可用的数据集。
它们非常精确地定义了每一列的数据类型。如何使用loadtxt (它是一个numpy函数)来读取此数据集。我尝试在dtype选项中指定数据类型，但它不起作用。
浏览 1提问于2011-12-24得票数 2
回答已采纳
我需要将巨大的数据集读取到data.table。实际上，我不需要所有的数据集，只需要在特定列中具有特定值的行。我可以使用read+subset process执行此操作：df_filtered <- subset(dt, Hash == '1AB3F' |Hash == 'DC167' | Ha
浏览 0提问于2016-05-23得票数 3
当我需要加载一个数据集，其中一些特定的列必须作为字符串读取时，我键入： import delimited "data.csv", stringcols(13 15 16) 其中，13、15和16是我希望作为字符串读取的数据集中的列数但是，我通常事先不知道列的编号，如果能够使用列的名称做同样<
浏览 7提问于2021-02-08得票数 4
回答已采纳
我正在尝试使用.sas7bdat读取一个pandas文件，而且我遇到了困难，因为pandas正在将看起来像数字的字符串值转换成浮点数。我可以用类似于df['number'].astype(int).astype(str)的东西来转换每一列，但是这是非常无效的。read_csv函数中也存在同样的问题，但是可以使用参数dtype来设置所需列(es )的类型。dtype={'number&#x
浏览 0提问于2019-07-15得票数 0
1回答
是否有一种方法可以使用parquet数据集来读取特定的列，如果可能的话，可以过滤数据，而不是将整个文件读取到dataframe中？
浏览 0提问于2019-09-10得票数 3
回答已采纳
同时尝试遵循的示例代码'COLUMN_1': <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x00000000094C2D30COLUMN_3': TensorSignature(dtype=tf.float64, shape=TensorShape(
浏览 2提问于2017-08-29得票数 1
1回答
我有一个大约20 of的巨大数据集。我已经使用graphlab.SFrame.read_csv()读取了数据。我有一个日期列，它被读取为格式的字符串。但我希望将该列读取为datetime对象。我理解一种方法是遍历每一行并使用python代码对其进行更改。还有别的办法吗？可能会更快？
浏览 4提问于2015-11-26得票数 7
回答已采纳
每种文件类型都有:名称、头类型、数据格式和数据读取器(即，我将写入以读取特定文件类型的数据的方法)。特定的“数据读取器”可能会从多种文件类型中读取数据。
最终，我需要数据集。数据集具有上述所有属性:从源文件读取的所有数据，
浏览 1提问于2013-01-25得票数 0
回答已采纳
4回答
场景： 我正在将数据JSON对象数据写入kafka主题，而读取时我只想读取基于消息中存在的值的特定消息集。我使用的是kafka-python库。flow_status: "completed", value: 1, active: yes}
{flow_status:"failure",value 2, active:yes} 在这里，我只想读取</e
浏览 78提问于2019-02-18得票数 2
回答已采纳
我知道这里有很多问题，但我找不到一个和我想要的相匹配的。假设我有这样一个文本文件：2 65我想扫描这个文件，只读第二列，比如data=[34 65 106]，我该怎么做呢？此外，如果我想让这个程序能够读取任何长度数据集和用户输入的任何特定列。我可以用简单的python来做大多数事情，但是阅读文件却让我望而却步。
浏览 0提问于2018-01-30得票数 3
回答已采纳
我正在使用下面的代码训练数据。但在这里，我需要将数据分成批(如MNIST tensorflow示例: batch_xs，batch_ys = mnist.train.next_batch(100))。我是张量流的新手。我只是想知道我是否可以在训练时将数据分成几批。
任何帮助都将不胜感激。
浏览 0提问于2017-01-31得票数 2
1回答
使用Python和Pandas:对于给定的数据集，如何找到特定属性的编号？例如，我有超过600行的16列数据。我想知道在A5列中有多少属性"g“。我已经附加了我找到的代码，但它没有给出正确的值或使用特定的列。
浏览 4提问于2017-11-29得票数 0
从2013年1月起，我在SAS库中为客户提供了月度数据集，数据集名为CUST_JAN2013，CUST_FEB2013........CUST_OCT2017。这些客户数据集拥有200万名成员的巨大记录，因为每个month.This月数据集有两列(客户编号和客户每月费用)。
我有一个输入数据集Cust_Expense，客户编号和月份作为列。此Cust_Expens
浏览 0提问于2017-11-13得票数 1
回答已采纳
我在xls文件中保存了一个数据集。
在此数据集中，有4列表示日期，格式为dd/mm/yyyy。我的问题是，当我使用熊猫和函数read_excel在python中读取它时，所有的列都被读取为字符串，除了一个，即读为datetime64ns，如果我指定dtypes={column=str}。
浏览 0提问于2019-03-04得票数 0
回答已采纳
我在一个文件data.txt中有一个浮点数的数据集，它包含每一行的可变列数。例如： 1.1 30.2 11.5 12.2 70.2 14.7 3.2 1.1 array = [3.0 2.5 1.1 30.2 11.5 5.0 6.2 12.2 70.2
浏览 7提问于2017-09-20得票数 4
回答已采纳
2回答
我需要java代码从excel表格中读取特定列的数据。- (lo编号、行、凭证号、stloc、数量、活动)特定列的这些值集将用于sql查询(jdbc-odbc连接完成)。查询的输出将与此表中的列匹配(此部分将在稍后完成)请帮助。
浏览 2提问于2012-02-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
