1回答
URL提供csv格式的数据。我正在尝试获取数据并将其推入数据库。但是，我无法读取数据，因为它只打印文件的头而不完整csv数据。还有更好的选择吗？
#!/usr/bin/python3
import pandas as pd
data = pd.read_csv("some-url") //URL not provided due to security restrictions.
for row in data:
print(row)
浏览 4提问于2016-10-14得票数 2
回答已采纳
我想读取作为命令行参数发送的csv文件。我以为我可以直接使用argsprase的FileType对象，但是我得到了错误。
from argparse import ArgumentParser, FileType
from pandas import read_csv
if __name__ == "__main__":
parser = ArgumentParser()
parser.add_argument("input_file_path", help="Input CSV file", type=FileType(
浏览 1提问于2021-03-17得票数 1
回答已采纳
2回答
我目前正试图使用以下代码合并两个csv文件：
import pandas as pd
data1 = pd.read_csv("QLD.csv")
data2 = pd.read_csv("VIC.csv")
result = pd.merge(data1[['REGION', 'TOTALDEMAND', 'RRP']], data2[['REGION', 'TOTALDEMAND', 'RRP']], on='SETTLEMENTDATE')
r
浏览 0提问于2019-01-20得票数 0
回答已采纳
将多个CSV文件导入熊猫并连接到一个DataFrame中，其中所有csv的第1列相同，没有数据头，只有文件名。
在所有CSV中，只有文件名描述了其中数据的含义。在所有CSV文件中没有头文件。第一列在所有CSV文件中都很常见。
如何将所有CSV文件合并到python中的一个数据集中。代码：
import os
import pandas as pd
import glob
path= "....\\data"
os.chdir(path)
results = pd.DataFrame()
for counter, current_file in enumerate(glob.
浏览 4提问于2020-05-30得票数 0
回答已采纳
1回答
我有两个名为all_cv.csv和common_cv.csv文件的.csv文件。首先，我通过pandas连接这两个csv文件，然后将数据保存到由pandas创建的名为join_cv_common.csv的新文件中。之后，我按sorted_cv_common.csv对join_cv_common.csv文件进行了排序，将存储的数据存储到一个名为pandas的新文件中。我想重写pandas的这两个函数--连接和按纯python排序(2.6和3.4)。有人能在这方面帮助我吗？非常感谢。
Pandas concat函数
cv = pd.read_csv('all_cv.csv')
a
浏览 0提问于2015-11-26得票数 2
2回答
我有一个CSV文件，如下所示：
# data.csv (this line is not there in the file)
Names, Age, Names
John, 5, Jane
Rian, 29, Rath
当我在Python中读到Pandas时，我得到了这样的信息：
import pandas as pd
data = pd.read_csv("data.csv")
print(data)
程序的输出是：
Names Age Names
0 John 5 Jane
1 Rian 29 Rath
有什么办法可以得到：
Na
浏览 3提问于2020-09-19得票数 1
回答已采纳
1回答
这里是处理和保存csv文件的代码，以及原始输入csv文件和输出csv文件的代码，在Python2.7上使用pandas并想知道为什么在保存文件时在开头有一个额外的列？谢谢。
c_a,c_b,c_c,c_d
hello,python,pandas,0.0
hi,java,pandas,1.0
ho,c++,numpy,0.0
sample = pd.read_csv('123.csv', header=None, skiprows=1,
dtype={0:str, 1:str, 2:str, 3:float})
sample.columns = pd.Index(dat
浏览 3提问于2016-08-28得票数 5
回答已采纳
我正在编写python脚本，在其中我生成了两个不同的csv文件，然后使用pandas读取这些文件。我可以用pandas读取file1，但在读取与file1格式相同(列名相同)但值不同/相同的file2时遇到错误。请找到下面的错误和我正在使用的示例代码。
错误：
Traceback (most recent call last):
File "MSReport.py", line 168, in <module>
fail = pd.read_csv('/home/cisapp/msLogFailure.csv', sep=',&#
浏览 0提问于2020-05-06得票数 0
3回答
我使用Dask读取了2.5 to的csv文件，Python给了我错误。这是我写的代码：
import pandas as pd
import numpy as np
import time
from dask import dataframe as df1
s_time_dask = time.time()
dask_df = df1.read_csv('3SPACK_N150_7Ah_PressureDistributionStudy_Data_Matrix.csv')
e_time_dask = time.time()
以下是我从Python得到的错误：
dask_df
浏览 0提问于2021-06-17得票数 0
我必须保存CSV文件。数据结构是相等的，看起来像ip、cve。我需要删除两个文件中都存在的所有行，只留下唯一的行。(左反连接)我认为，这可以用左连接来完成，但它不起作用。有没有更简单的方法来解决这样的问题？ import pandas as pd
patrol = pd.read_csv('parse_results_MaxPatrol.csv')
nessus = pd.read_csv('parse_result_nessus_new.csv')
nessus_filtered = nessus.merge(patrol,
浏览 109提问于2019-06-10得票数 0
回答已采纳
2回答
我正在尝试编写一个python脚本，它将从一个输入文件夹中获取多个不同的csv文件，然后创建一个数据文件列表，并将它们显示为power bi中的power bi表。下面的脚本没有将任何表加载到power bi中：
import os
import pandas as pd
path = r'C:\Users\admin\Downloads\Data analysis case study'
csv_files = [os.path.join(path+"\\", file) for file in os.listdir(path) if file.endswi
浏览 20提问于2022-08-01得票数 0
我正在尝试将几个文件从csv导入到单个DataFrame中，并在尝试添加第三个DataFrame时得到以下错误。
AssertionError: cannot create BlockManager._ref_locs because block [ObjectBlock: [CompletionDate, Categories, DateEntered_x, <lots more columns here>...], dtype=object)] does not have _ref_locs set
守则是：
project = pandas.read_csv(read_csv
浏览 9提问于2013-08-11得票数 1
回答已采纳
当尝试加载一个大的csv文件(150MB)时，我得到错误“内核死了，正在重新启动”。那么我使用的代码如下所示：
import pandas as pd
from pprint import pprint
from pathlib import Path
from datetime import date
import numpy as np
import matplotlib.pyplot as plt
basedaily = pd.read_csv('combined_csv.csv')
以前它是有效的，但我不知道为什么它不再工作了。我尝试使用engine="pyt
浏览 0提问于2020-01-11得票数 1
1回答
我正在尝试编写一个程序，它将把选定的csv文件列作为一行追加到另一个csv文件中。
我有这样的代码：
def append_pandas(s,d):
import pandas as pd
df = pd.read_csv(s, sep=';', header=None)
df_t = df.T
df_t.columns = df_t.iloc[0]
df_new = df_t.drop(0)
pdb = pd.read_csv(d, sep=';')
newpd = pdb.append(df_new)
浏览 3提问于2022-02-20得票数 0
回答已采纳
2回答
我试着从受过训练的数据中预测一些特征。然而，我遇到了巨蟒的麻烦。我得确定这条路。
我的第一个python文件看起来像；
dataset = pandas.read_csv('/root/Desktop/data.csv' , encoding='cp1252')
test_size = 0.2
X_train_raw, X_test_raw, y_train, y_test = train_test_split(dataset['text'],dataset['age'],test_size=test_size)
vector
浏览 0提问于2019-11-24得票数 2
回答已采纳
1回答
我有一个类似于BytesIO文件的对象，包含一个CSV.我想把它读到Pandas dataframe中，而不需要在中间写入磁盘。
米维
在我的用例中，我直接将文件下载到BytesIO中。对于这个MWE，我将在磁盘上有一个文件，将它读入BytesIO，然后读入Pandas。磁盘步骤只是为了制作一个MWE。
file.csv
a,b
1,2
3,4
剧本：
import pandas as pd
from io import BytesIO
bio = BytesIO()
with open('file.csv', 'rb') as f:
bio.write(
浏览 10提问于2020-05-09得票数 6
回答已采纳
在写入CSV文件时，自动创建文件夹，然后创建具有隐名的csv文件，如何在pyspark中创建具有任何特定名称的CSV，而不是在pandas中创建文件夹。
浏览 7提问于2021-11-09得票数 0
3回答
我使用pydoop从hdfs读取文件，当我使用：
import pydoop.hdfs as hd
with hd.open("/home/file.csv") as f:
print f.read()
它显示了stdout中的文件。
有没有办法把这个文件作为dataframe读入？我尝试使用pandas的read_csv("/home/file.csv")，但它告诉我找不到该文件。确切的代码和错误是：
>>> import pandas as pd
>>> pd.read_csv("/home/file.cs
浏览 1提问于2016-02-26得票数 9
回答已采纳
2回答
所以，我有大约4,000个CSV文件，我需要把它们都加入到外部。每个文件都有两列(一个字符串和一个浮点)和10,000,000,000行之间，我希望通过第一列(即string变量)加入。
我试过numpy.lib.recfunctions.join_by，但速度慢得令人痛苦。我切换到了pandas.merge，这个速度要快得多，但考虑到我所拥有的表的数量(和大小)，它还是太慢了。这看起来确实是内存密集型的--当被合并的文件有数十万行时，机器就无法使用了(我主要使用的是MacBook Pro，2.4GHz，4GB)。
所以现在我在寻找替代方案--还有其他可能的解决方案吗？Python还有哪些外部
浏览 4提问于2013-10-18得票数 7
回答已采纳
通过这个问题：How to group data and construct a new column - python pandas?，我知道了如何使用pandas对多列进行分组并构造一个新的唯一id，但是如果我想在Python中使用Apache beam来实现该问题中描述的相同功能，我如何实现它，然后将新数据写入换行符分隔的JSON格式文件(每行都是一个unique_id，其中包含属于该unique_id的对象数组)？ 假设数据集存储在csv文件中。 我是Apache beam的新手，这是我现在所拥有的： import pandas
import apache_beam as beam
浏览 14提问于2021-08-15得票数 0
回答已采纳
我正试图通过Pandas.read_csv打开一个巨大的csv文件(大约50 to )。我看到了另一个问题，解决方案是使用块，但这对我来说不是一个好方法。这个文件包含了从95年到现在的大量数据(我不知道有多少)。实际上，我只需要使用可能允许我读取该文件的结尾行(例如2010年)。非常感谢您的支持
浏览 10提问于2020-05-28得票数 0
回答已采纳
您好，我在存储桶中存储了一个csv文件，我想在云函数中使用该文件，因此我需要下载该文件，然后在如下过程中使用该文件： def plot(event, context):
client = storage.Client()
df = pd.read_csv('call_conversations.csv', index_col=0)
objects = df['filepart']
y_pos = np.arange(len(objects))
performance = df['confidence']
浏览 86提问于2019-05-24得票数 0
回答已采纳
3回答
我需要用python中的boto3从S3存储桶中读取多个csv文件，最后在pandas中将这些文件合并到单个数据帧中。
我能够从以下python脚本中读取单个文件
s3 = boto3.resource('s3')
bucket = s3.Bucket('test-bucket')
for obj in bucket.objects.all():
key = obj.key
body = obj.get()['Body'].read()
下面是我的道路
files/splittedfiles/Code-345678
在Co
浏览 2提问于2018-10-17得票数 6
我有大约3到4k的xml文件和一些信息。我想将所有文件的所需信息写入到一个主文本文件中。
我已经尝试过将多个文本文件合并到一个文本文件中的示例，我需要将多个notebook.and文件写入一个文本文件中。
import pandas as pd
# pd.read_csv creates dataframes
df1 = pd.read_csv('D:\python\data_files\data_files\emp_1.txt')
df2 = pd.read_csv('D:\python\data_files\data_files\emp_2.txt'
浏览 16提问于2019-07-29得票数 0
我正在尝试从Jupyter Notebook (Python)的.csv文件中读取数据。 .csv文件大小为8.5G，7000万行，30列 当我尝试读取.csv时，我得到了错误。 以下是我的代码 import pandas as pd
log = pd.read_csv('log_20100424.csv', engine = 'python') 我也试过使用pyarrow，但它不起作用。 import pandas as pd
from pyarrow import csv`
log = csv.read('log_20100424.csv
浏览 136提问于2020-04-24得票数 1
1回答
假设我有一个CSV文件，有数以亿计的记录。然后，我希望使用Python和Pandas将CSV转换为Parquet文件，以读取CSV并编写Parquet文件。但由于文件太大，无法将其读入内存并写入单个Parquet文件，所以我决定以500万条记录块的形式读取CSV，并为每个块创建一个Parquet文件。为什么我要将所有的拼花文件合并成一个单独的拼花文件？
提前谢谢。
浏览 2提问于2022-02-14得票数 2
我正在尝试合并2个csv文件。我在sys.argv[n]中使用文件名，但它使用文件名作为字符串吗？我做错了什么？(使用python3 )
代码:
import sys, pandas
file1 = sys.argv[2]
file2 = sys.argv[3]
pd.read_csv(file1)
pd.read_csv(file2)
merge = file1.merge(file2, on='username')
merge.to_csv("output.csv", index=False)
误差
Traceback (most recent call l
浏览 1提问于2019-12-13得票数 0
回答已采纳
短解释
如果数据中有重复的列名，请确保在读取文件时重命名一列。
如果您的数据中有NaN等，请删除这些。
然后使用下面正确的答案进行合并。
可能是个很简单的问题。
我使用pandas.read_csv()阅读了两个数据集。
我的数据在两个独立的csv中。
使用以下代码：
import mibian
import pandas as pd
underlying = pd.read_csv("txt1.csv", names=['dt1','price']);
options =
浏览 3提问于2014-04-17得票数 4
回答已采纳
我想从InstaCart 加载大型.csv (340万行，206k用户)开源数据集
基本上，我在将orders.csv加载到Pandas DataFrame时遇到了问题。我想学习将大文件加载到Pandas/Python中的最佳实践。
浏览 3提问于2017-06-14得票数 1
我已尝试添加多个csv文件。我已经点击了下面的链接。how to merge 200 csv files in Python import pandas as pd
combined_csv = pd.concat( [ pd.read_csv(f) for f in filenames ] )
combined_csv.to_csv( "combined_csv.csv", index=False ) 但我的价值观从 49.108,55.738,30.106
41.681,54.896,32.99 至 49.108000000000004,55.738,30.1059999
浏览 26提问于2020-10-27得票数 0
我正在尝试使用pandas从S3存储桶中存在的CSV文件中读取数据。然而，有时CSV文件只有1列，这是我不想解析的东西。我只想解析其中有超过1列的CSV。谁能告诉我要检查的条件是，如果列数> 1，那么只解析文件，否则退出循环。下面是我正在尝试的代码。 body = csv_obj['Body']
csv_string = body.read().decode('utf-8-sig')
df = pd.read_csv(StringIO(csv_string),usecols = [3,4,6]) 下面是我尝试的第二个代码，但得到了错误：File "
浏览 9提问于2019-09-06得票数 0
这个错误是由“食品、饮料和烟草”造成的，因为它有额外的逗号，导致熊猫无法阅读csv文件。它会引起错误
错误标记数据。C错误:第29行中预期的3个字段，saw 4
我如何优雅地删除“GICS工业集团”csv文件中的额外逗号(包括逗号旁边的条件在Food后面)？
这是我的代码：
#!/usr/bin/env python2.7
print "hello from python 2"
import pandas as pd
from lxml import html
import requests
import urllib2
import os
url = '
浏览 0提问于2018-01-22得票数 1
回答已采纳
我厌倦了在使用csv文件使用numpy.genfromtxt加载一个简单的距离矩阵时等待。在另一个之后，我执行了一个完成图测试，同时还包含了一些额外的方法。结果(最后的源代码)：
对于最大输入大小的结果表明，最好的方法是read_csv，即：
def load_read_csv(path: str):
with open(path, 'r') as csv_file:
reader = csv.reader(csv_file)
matrix = None
first_row = True
for
浏览 13提问于2022-02-03得票数 4
回答已采纳
1回答
我有一个扩展名为.mod.的文件，该文件包含每个字段下的字段和数据，就像每个csv文件一样。我需要使用Python读取这个.mod文件。
请给我一个方法，在Python中使用Pandas或任何其他可以帮助我的软件包。
谢谢!
浏览 2提问于2017-12-05得票数 0
回答已采纳
我已经阅读了一些关于堆栈溢出的信息，比如这个，但是这个策略似乎并不适合我。我有两个要合并的csv文件，第一个文件如下所示：
第二个看起来是这样的：
我想把它们合并在一起，让它们并排在一起，如下所示：
这就是我的代码的样子：
# Find first school csv file in file explore
file1 = file1_path_in_folder
df1 = pd.read_csv(file1)
df1.head()
# Find second school csv file in file explore
file2 = file2_path_in_
浏览 11提问于2022-08-17得票数 0
我是一个新的Python用户，我只是想把一个Excel (或CSV)文件导出到朱庇特笔记本中去玩。
在google搜索中，我看到的常见代码如下所示：
import pandas as pd
from pandas import ExcelWriter
from pandas import ExcelFile
df = pd.read_excel('File.xlsx', sheetname='Sheet1')
print("Column headings:")
print(df.columns)
我用CSV文件尝试了这一点，得到了以下错误消息
浏览 1提问于2019-10-29得票数 0
我使用pandas读取了一个csv文件：
data_raw = pd.read_csv(filename, chunksize=chunksize)
print(data_raw['id'])
然后，它会报告TypeError：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: 'TextFileReader' object has no attribute '__getitem__'
我能
浏览 252提问于2017-01-25得票数 8
回答已采纳
我已经写了一个代码，这是工作正常的csv文件，但如果我改变文件类型从csv到excel它会给我一个错误。
我有，如果我写的data = pd.read_csv(filename)，上面的行是不工作的excel，它的工作正常。我希望我的输入数据是excel格式，而不是csv格式。
import tkinter as tk
import pandas as pd
from tkinter.filedialog import askopenfilename
import xlrd
def latlong_func(filename):
# filename instead of r'
浏览 1提问于2019-08-05得票数 0
我已经创建了一个列表数据类型，其中包含三个文件夹的路径，每个文件夹都有许多.txt文件。我尝试使用文件夹中的每个文件，将其设置为pandas dataframe，但得到的错误如下所示。
代码-
for l in list:
for root, dirs, files in os.walk(l, topdown=False):
for name in files:
#print(os.path.join(root, name))
df = pd.read_csv(os.path.join(root, name))
浏览 2提问于2018-05-14得票数 2
我有以下代码从字节读取一个gzipped的csv文件。它可以与pandas.read_csv一起工作，但是在dask (dd.read_csv)中失败。
d['urls'][0]中的文件是指向亚马逊S3上由第三方服务提供的文件的链接。
import io
import requests
import pandas
import dask.dataframe as dd
output = io.BytesIO()
output.name = "chunk_1.csv.gz"
with requests.get(d['urls'][0], str
浏览 1提问于2020-12-28得票数 2
我正在Python与一个CSV文件，我想转换一些列到英语，我一直使用谷歌翻译，但它指的是他们需要一个JSON文件，有没有可能使用谷歌翻译的CSV文件。
下面是我收到的错误：
import pandas as pd
import numpy as np
import goslate
from googletrans import Translator
from translate import Translator
df = pd.read_csv ("Johanna.csv", delimiter=',',encoding="ISO-8859-1
浏览 2提问于2019-02-18得票数 0
3回答
我有一个csv文件example.csv类似-
name | hits
---------------
A | 34
B | 30
C | 25
D | 20
使用Python中的hits > 20？，如何只读取pandas中的行寻找类似于-
my_df = pd.read_csv('example.csv', where col('hits') > 20)
浏览 0提问于2019-03-21得票数 6
回答已采纳
1回答
我有两个CSV文件，一个大约60 GB，另一个在S3中大约是70 GB。我需要将这两个CSV文件加载到pandas数据帧中，并对数据执行连接和合并等操作。
我有一个EC2实例，它有足够的内存供两个数据帧一次加载到内存中。
从S3到pandas数据帧读取这么大的文件的最佳方式是什么？
另外，在我对数据帧执行了所需的操作之后，输出的数据帧应该被重新上传到S3。
将巨大的csv文件上传到S3的最佳方式是什么？
浏览 5提问于2020-05-06得票数 0
我得到解析器错误从熊猫lib...not确定什么可能是问题。
Traceback (most recent call last):
File "C:/2020/python-nifi/test.py", line 4, in <module>
df = pd.read_csv("C:\\2020\\test\\sum.csv", '\t')
File "C:\2020\python-nifi\venv\lib\site-packages\pandas\io\parsers.py", line 676,
浏览 5提问于2020-04-29得票数 0
回答已采纳
我对Python非常陌生，这将是一个非常基本的问题。我希望用户输入csv文件的名称，我希望使用pandas打开该文件，以便轻松地访问其行和列。这是我写的代码： import pandas as pd
DATAFIN = str(raw_input("Name of your data file"))
dataset = pd.read_csv(DATAFIN)
dataset.head() 然而，我似乎在做一些错误的事情，因为这是我收到的消息(很抱歉太长了)： Traceback (most recent call last):
File "c:\Users\F
浏览 36提问于2021-01-13得票数 0
我有很多需要解压的gzip文件。文件名类似于- FGT6HD3917800515root.2020-07-03-13-20-35.tlog.1593759574.csv
所有这些文件都有一个CSV文件。我想用Python读取数据帧中这些CSV文件的内容。CSV中的数据如下所示-
NTP 1593759574接受未扫描的印度port10 1x.1xx.xx.xxx 123 1593779419 181 17印度端口17 1xx.xxx.1xx.1xx 42338 1xx.1xx.xxx.xx 123 1xx.1xx.xxx.x 42338
这是我试过的-
import gzip
import p
浏览 0提问于2021-01-01得票数 0
我有CSV文件，我在pandas中读到了：
#!/usr/bin/env python
import pandas as pd
import sys
filename = sys.argv[1]
df = pd.read_csv(filename)
不幸的是，这些文件的最后一行经常损坏(逗号数量错误)。目前，我在文本编辑器中打开每个文件并删除最后一行。
是否可以删除加载CSV的相同python/pandas脚本中的最后一行，以避免执行这一额外的非自动化步骤？
浏览 1提问于2015-11-13得票数 26
回答已采纳
我正在尝试从现有的csv文件中创建新的csv文件。我原来的csv文件有30万份记录，其中我想要1200,000份。我正在使用python的熊猫包，因为我目前正在从事机器学习项目。我试过：
import pandas as pd
df = pd.read_csv('sample_submission.csv')
df = df.head(2000002)
df.to_csv('solution.csv')
以及
import pandas as pd
df = pd.read_csv('sample_submission.csv')
df =
浏览 2提问于2017-10-29得票数 1
回答已采纳
是否可以使用numpy或pandas快速读取Python中CSV文件的最后N行
我不能在numpy中执行numpy，在pandas中不能执行skiprow，因为文件的长度是不同的，而且我总是需要最后的N行。
我知道我可以使用纯Python逐行读取文件的最后一行，但这会非常慢。如果有必要的话，我可以这样做，但是使用numpy或pandas (本质上是使用C)的更有效的方法将是非常感谢的。
浏览 5提问于2016-08-01得票数 4
回答已采纳
1回答
我有去到几乎10K+ csv文件的代码，每个文件几乎有16K +行，有多列。我运行代码，5分钟后，我得到下面的错误。我可以理解，如果我设置了low_memory=False，它将抑制错误。但是如何解决这个问题呢？错误似乎是由于下面的原因而出现的。它能被修复吗？
df.groupby(['A', 'B'])['C']
DtypeWarning: Columns (9,11,12,13,14) have mixed types. Specify dtype option on import or set low_memory=False.
浏览 0提问于2018-05-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
