如何使用Python检查数据是否在CSV文件中
使用Python检查数据是否在CSV文件中可以通过以下步骤实现：
- 导入所需的Python库，包括csv库和pandas库。
import csv
import pandas as pd- 定义一个函数来检查数据是否在CSV文件中。该函数将接受两个参数：要检查的数据和CSV文件的路径。
def check_data_in_csv(data, csv_file_path):
# 使用pandas库读取CSV文件
df = pd.read_csv(csv_file_path)
# 检查数据是否在CSV文件中
if data in df.values:
return True
else:
return False- 调用该函数并传入要检查的数据和CSV文件的路径。
data_to_check = "要检查的数据"
csv_file_path = "CSV文件的路径"
result = check_data_in_csv(data_to_check, csv_file_path)
print(result)在上述代码中，我们首先使用pandas库的read_csv()函数读取CSV文件并将其存储在一个DataFrame对象中。然后，我们使用DataFrame对象的values属性获取CSV文件中的所有值，并检查要检查的数据是否在这些值中。如果数据存在于CSV文件中，函数将返回True；否则，返回False。
请注意，这只是一个简单的示例，假设CSV文件中只有一列数据。如果CSV文件包含多列数据，您可能需要根据具体情况进行适当的修改。
推荐的腾讯云相关产品：腾讯云对象存储（COS）。
腾讯云对象存储（COS）是一种高可用、高可靠、安全、低成本的云存储服务，适用于存储和处理大规模非结构化数据。您可以将CSV文件上传到腾讯云对象存储（COS），然后使用Python代码从中检查数据。
腾讯云对象存储（COS）产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
1回答
我正在用Python3编写一个程序，该程序将从csv文件中获取数据，对其进行调整，并将新数据写入将由用户命名的csv文件。
我只是试着理解命令行部分。我希望它能以这种格式正确执行。
$ program.py input.csv output.csv
我还计划让它检查总共有3个参数。
我的问题是，这个文件名在命令行中的输入应该放在哪里？是否将它们保存到默认变量？如何在我的python程序中调用这些文件名？
浏览 3提问于2013-01-30得票数 2
我在弄清楚如何将数据从CSV文件上传到Google Cloud上的SQL实例时遇到了麻烦。我现在的项目范围是从网站收集数据，将其导入CSV文件，然后将数据从CSV文件上传到我的Cloud SQL实例，所有这些都由Python自动完成。我在Pycharm中编写代码的IDE，所以我想知道是否有可能让Python处理所有事情--是否有必要导入任何Python库？
浏览 2提问于2021-07-12得票数 0
2回答
我正在尝试用python从现有的CSV文件创建dataframe对象，但我遇到了问题。我尝试将CSV文件导入到python中，但我不知道是否成功。
>>> import os
>>> userhome = os.path.expanduser('~')
>>> csvfile= userhome + r'\Desktop\train.csv'
>>> with open(csvfile, "r") as f:
在我写完这些语句之后，它什么也没做
浏览 1提问于2017-10-22得票数 0
回答已采纳
我很难理解如何使用CLI命令在输入文件参数上运行Python脚本来生成输出文件。据我所知，analysis.py是python脚本，-s和-p是变量名，分别包含来自Sales.csv和Products.csv的csv数据。在analysis.py中，我如何接受存储在-s和-p中的两个CSV，然后创建一个名为SalesReport.csv的输出？我是否会创建一个名为SalesReport.csv的空白csv文件，然后将分析过的数据写入该文件？或者命令行会使用存储在sales-report变量中的数据为我创建一个SalesReport.csv文件。
python analysis.py -s Sa
浏览 2提问于2019-07-20得票数 0
回答已采纳
1回答
我试图了解如何检查python在csv文件中写入数据所需的时间。下面是我正在尝试使用的示例代码：
import timeit
start_time = timeit.default_timer()
df_text.to_csv('D:\\DF.csv', index = False)
print(timeit.default_timer() - start_time)
更具体地说，我如何看到df_text在DF.csv中填写数据所花费的写入时间？我相信这段代码(在第3部分)告诉我在目录中创建CSV文件所花费的时间。
浏览 3提问于2021-04-16得票数 0
回答已采纳
目前我正在构建一个数据管道，我想通过Azure数据工厂将数据从一个blob存储复制到Azure数据湖，但在创建数据管道之前，我希望有一个文件检查类的东西，即它应该检查目录是否找到文件，例如:我有一个csv文件，如果文件存在，则开始复制到adls，否则通过一个错误文件未找到。我知道我们可以在python中做到这一点，但是在adf中如何在管道中添加它。任何帮助都将不胜感激。
浏览 13提问于2020-05-06得票数 0
回答已采纳
1回答
我正在用Python写一个程序，基本上是从一个超过一千行的文件(可以是csv，excel或一些供应商的EDI文件)中抓取数据，并将数据转换为新的格式并输出文件。因此，也许我正在从CSV文件中读取数据，并将相同的数据输出为JSON格式。如何测试我的程序是否正确地转换数据？我是否应该编写一个新程序，从输入和输出文件中读取项目，并查看它们是否匹配？
浏览 19提问于2021-06-19得票数 0
3回答
我在这个站点上查看了许多问题，但找不到问题的答案:如何在数据库中创建多个新表--(在我的例子中是使用PostgreSQL) --来自多个CSV源文件，其中新的数据库表列准确地反映了CSV列中的数据？
我可以很好地编写CREATE语法，并且可以读取CSV文件的行/值，但是是否已经存在检查CSV文件并准确确定列类型的方法？在构建自己的系统之前，我想检查一下是否已经存在这种情况。
如果它还不存在，我的想法是使用Python模块和psycopg2模块来构建一个python脚本：
读取CSV文件。
根据记录的子集(10-100行？)，迭代地检查每一行的每一列，以自动确定CSV中数据的正确列类型。
浏览 4提问于2012-11-05得票数 12
1回答
例如，我在本地目录中有500个CSV文件，我想要操作这500个文件中的数据，逐个从每个文件中读取数据并将其写入到新的CSV文件中。我知道在python中有一个参数glob，我们用它来读取多个CSV文件。使用Python脚本可以读取的CSV文件的最大数量是否有限制？
浏览 13提问于2017-08-23得票数 1
1回答
我正在将csv文件加载到Azure Blob存储帐户。我希望在添加新文件时触发一个过程，该过程将新的CSV和BCP加载到Azure SQL数据库中。 我的想法是有一个Azure数据工厂管道，它是事件触发的。然而，我被困在了下一步该做什么上。是否应触发Azure函数以获取此CSV并使用BCP将其加载到DB中？Azure函数甚至可以使用BCP吗？ 我正在使用Python。
浏览 17提问于2021-04-28得票数 0
1回答
我将结果从python绘制到CSV文件。不幸的是，在CSV文件上绘制的数据很难编辑。事实上，Excel的每个单元格都包含一个用方括号括起来的数据。如何删除CSV文件中的方括号？ 你可以在下面找到代码。 a=[[1.5458, 1.2585, 3.5687]]
S=(["S"], np.round(a,3), {' [MPa]'})
with open('Output.csv', 'w', newline='') as dest:
thewriter = csv.writer(dest, delimiter
浏览 81提问于2019-05-30得票数 0
1回答
我正在构建一个Python包。这个包由一些脚本和几个数据文件(~500 Mb)组成，它们都存储在小型csv文件中。我使用setuptools并跟踪Gitlab上软件包的开发。
有时，我需要更新csv文件。关键的是，我总是同时替换所有的。问题是，每次我这么做，Gitlab repo和python包的大小都会疯狂地增加，因为git保持文件的版本控制。
我想知道您是否对这种情况下的最佳实践提出了一些建议，以及如何使包变得相当小。git lfs是最好的选择吗？
浏览 4提问于2022-10-18得票数 1
我有一个.csv文件，它每天都会更新。下面是我的.csv文件的示例
我正在使用Python将这个.csv文件推送到SQL Server中。我的脚本读取.csv文件并将其上载到SQL Server数据库中。
这是我的Python脚本：
import pandas as pd
import pyodbc
df = pd.read_csv ("C:/Users/Dhilip/Downloads/test.csv")
print(df)
conn = pyodbc.connect('Driver={SQL Server};'
浏览 1提问于2021-09-11得票数 0
1回答
我有一个任务，其中我有一个csv文件有一些样本数据。任务是在应用一些数据验证规则之后，将csv文件中的数据转换为其他格式，如JSON、HTML、YAML等。
现在，我还应该用pytest或Python中的unittest模块编写一些单元测试。
我的问题是，由于我正在将它们转换为不同的JSON/HTML文件，我如何实际编写这方面的单元测试？我是否应该准备一些样本文件，然后在我的单元测试中与它们进行比较。
我认为只有任务中的数据验证部分可以使用unittest进行测试，而不能使用不同格式的文件创建，对吗？
任何想法都是非常有用的。
提前谢谢。
浏览 1提问于2018-10-11得票数 1
回答已采纳
1回答
我是python的新手，我正在做一个小项目，这样我就可以学到更多。
我想读取任意大小的.csv文件，文件A，但只将每行的第三列存储到列表X中。然后，我想检查另一个任意大小的.csv文件，文件B的每一行是否与列表1中的每个值相匹配。文件B的行数始终是文件A的200倍左右，每行32个元素，但我只对检查文件B的第11列中的匹配项感兴趣。当我找到一个匹配项时，我使用该行的索引将文件B中的整个行添加到一个新的2d列表list Y中，该列表包含所有32个元素。我已经成功地将这两个文件读入到它们自己的列表中，并创建了一个包含文件B的列表中的第11个元素的新列表，我还通过简单地检查每个元素是否匹配，成功地输出
浏览 0提问于2020-10-09得票数 0
如果这听起来太简单了，很抱歉。但是ı有一个csv文件，其中包含3种数据类型:名称、职业、年龄
我已经成功地导入了csv文件，但是ı要做的是在每次调用时创建一个函数来检查职业和年龄变量，如果结果匹配，则追加一个新文件。
例如。
df = pandas.read_csv('customer.txt')
if df.occupation == 'student' and df.age<=18:
price = price // 4
else:
.....
我正在尝试弄清楚如何在python中管理c
浏览 2提问于2021-03-30得票数 0
3回答
我想把Python字典的列表写到文件中。但是，我需要字典(以及字典中的列表)来保持字典，也就是说，当我加载用于处理的文件时，我希望它们使用字典，而不必使用字符串。
下面是我的示例代码，它将数据写成字符串，是否有方法保留原始Python数据结构(在实际代码中，列表数据有数百个字典，每个字典可能有数百个列表作为值)。我不能简单地对数据进行筛选，原因有很多(其中之一是文件需要人类可读)。
import csv
import pandas as pd
def write_csv_file(data, iteration):
with open('%s.csv' % '
浏览 2提问于2017-12-20得票数 3
回答已采纳
我想验证Google中从Y42导出到BigQuery的数据(例如，给定预定义的模式，我想检查所有列是否都出现在数据中，值的范围等等)。
我创建了一个Python脚本来验证CSV文件中的数据。但是，在将数据导出到Google之前，我不知道如何运行脚本。我可以在Google中创建一个VM实例，并在那里运行一个Python脚本，但是我不知道如何使用我的脚本中存储在Google中的数据。有人能给我一些关于这个问题的提示吗？
我调查了是否有其他方法可以直接验证Google中的数据，但是我没有发现任何东西。有人知道Google中的任何数据验证方法吗？
浏览 6提问于2022-03-18得票数 -1
2回答
我在python language.The数据集中做多标签新闻分类，我有两个文件。第一个CSV包含每一行的文章。第二，CSV包含每一篇文章的相应标签。以下是标签文件的快照
📷
这是dropbox链接.https://www.dropbox.com/s/7huzh41je735oqn/labelset.csv?dl=0
数据集是否不平衡？
如何正确地将此数据集分发到培训集、验证集和测试集？
注:我的意思是，这个不平衡的数据集在培训、验证和测试集中能被划分成适当的比例吗？
浏览 0提问于2019-06-12得票数 1
1回答
我正在尝试重定向我用C#编写的命令行项目的标准输出，并读取Python文件中的数据。
目前，C#应用程序将从传感器读取的数据写入CSV文件。我必须稍后运行Python文件来获取和处理数据(必须在Python中完成，数据收集必须在.NET中完成才能使用SDK)。
我希望能够同时运行C#和Python项目，并将数据流直接从C#传输到Python项目，而无需使用中间的本地文件( CSV)。
我已经在SO和MSDN文档中进行了自己的搜索。我正在考虑使用来重定向C#应用程序的控制台输出。
我还不知道如何从Python文件中提取这个Stream中的数据。在更好地理解如何处理它方面很有帮助，但我仍然被卡住了
浏览 25提问于2016-08-03得票数 1
回答已采纳
我在csv文件上有以下数据：
XG,612.0
YG,-1924.0500000000002
ZG,-959.085
A_mod,6.889112523645457
I1_mod,0.478595694542785
I2_mod,32.64258822366686
如果我用excel或atom打开它，一切都是正常的。该文件位于我的GitHub repo文件夹中，我不知道这是否重要，它不应该，但是当我使用pd.read_csv()函数读取它时，我得到了以下结果：
熊猫似乎在从文件中读取某种元数据，而不是文件本身。我正在实例上运行来自木星实验室的python3.6。我不认为所有这些都应该
浏览 0提问于2019-04-02得票数 2
回答已采纳
初始CSV文件有以下列和行
enroll_code，student_id
10030,55000
10030,55804
10250,55804
10510,55000
读取csv文件后，数据列表成为子列表的列表。
import csv
data=[]
with open('C:/Users/Taha/Downloads/Data.csv','r') as csvFile:
reader = csv.reader(csvFile)
data=list(reader)
print(data)
csvFile.close()
上述代
浏览 6提问于2019-02-25得票数 0
回答已采纳
1回答
我有一个网页，打印出csv数据使用cgi脚本。我想使用Python解析数据。到目前为止，我知道我可以使用urllib来请求url并将html转换为一个巨大的字节字符串。但是，它包含的csv数据比我需要的要多得多，包括html标记、换行符等。我想要对这些数据做的是能够过滤行和列。这些数据最终将进入另一个csv文件，我可以使用该文件作为数据在图形中显示(highcharts)。
我如何才能只解析csv的html呢？是否有一个库可以将csv收集到字典中，或者更好的是csv文件中？
谢谢
浏览 0提问于2013-04-19得票数 0
回答已采纳
我有一个csv文件，它将出现在S3存储桶中(每日新文件)。从这里，我尝试使用AWS胶水在AWS Aurora数据库中提取、转换和加载。Aurora DB被设计为一个规范化的关系数据库，我必须将csv加载到这个关系数据库中，并在多个表之间映射信息。 我正在尝试的步骤: 1)修改python脚本以执行加载操作。 想知道是否有其他方法来实现此加载操作？
浏览 26提问于2019-02-19得票数 3
1回答
我有一个大于7GB的文件。我试着用熊猫把它放进数据仓库，就像这样：
df = pd.read_csv('data.csv')
但时间太长了。是否有更好的方法来加速数据的创建？我正在考虑更改参数engine='c'，因为它在中显示
"engine{‘c’, ‘python’}, optional
Parser engine to use. The C engine is faster while the python engine is currently more feature-complete."
但是我看不出速度有多大增长
浏览 3提问于2021-01-13得票数 1
回答已采纳
谢谢你的阅读。
我需要每天在Azure中运行Python脚本，但也存在一些挑战。该脚本使用以下库并运行以下步骤：
import os
import shutil
import win32com.client
from selenium import webdriver
Python导航一些URL下载8个.xls文件。
Python打开一个Excel实例并使用win32com触发VBA代码。
VBA脚本循环所有下载的文件，并将数据复制成表格形式。
VBA脚本保存CSV文件的数据。
VBA脚本将CSV文件上传到Azure Blob存储。
VBA脚本使用上传的CSV运行Ser
浏览 0提问于2021-11-29得票数 1
我试着效仿这个例子：
以下格式的数据存储在csv文件中：
Date Open High Low Close Adj. close Volume
23/01/2018 1.00 3.00 2.00 2.10 2.15 1000
使用以下代码读取此数据：
self.symbol_data[s] = pd.io.parsers.read_csv( os.path.join(self.csv_dir,
’%s.csv’ % s),
header=0, index_col=0, parse_dates=True,
nam
浏览 0提问于2018-01-24得票数 1
回答已采纳
1回答
我理解Python中的生成器可以帮助读取和处理大型文件时，需要从文件中进行特定的转换或输出(例如读取特定的列或计算聚合)。
但是，对于我来说，不清楚在Python中使用生成器是否有什么好处，因为它的唯一目的是读取整个文件。
编辑:假设您的数据集适合内存。
pd.read_csv('sample_file.csv', chunksize=chunksize)
vs.
pd.read_csv('sample_file.csv')
生成器是否仅用于读取整个数据而不进行任何数据处理？
浏览 2提问于2022-07-17得票数 2
回答已采纳
我使用以下命令将csv文件读取到python中：
df = pd.read_csv(r"C:\csvfile.csv")
但是该文件有一些摘要数据，如果找到值"valx“，原始数据就会开始。如果没有找到"valx“，那么这个文件是无用的。我想创建当找到"valx“时开始的新闻数据帧。我已经尝试了一段时间，但没有成功。任何关于如何实现这一点的帮助都是非常感谢的。
浏览 0提问于2018-10-22得票数 1
我需要将大约4000个实体插入到Java App Engine数据存储中。据我所知，目前只有Python版本的App Engine具有将数据从CSV文件上传到数据存储的工具。因此，到目前为止，我所做的是遵循上的说明，并使用Python成功地将大约4000个实体写入到我的本地数据存储中。我使用Python只是为了从.csv中获取实体并将它们写入数据存储。我已经在我的本地主机python版本的app engine上使用/_ah/admin地址来查看数据查看器，从而验证了实体是否存在。
我现在要做的是在我的初始Java版本中本地使用这些实体。现在，当使用Python将实体上载到App Engine的
浏览 1提问于2009-11-06得票数 1
回答已采纳
我正在开发基于Azure逻辑应用程序的解决方案，将数据从数据库导出到CSV文件。
到目前为止，我能够做到以下几点：
使用SQL数据库连接器并执行存储过程检索数据创建CSV文件使用FTP连接器将文件上载到FTP服务器
使用这种方法，问题将是数据大小。我正在设法找出一种处理大型数据导出的方法。以下是我能想到的不同方法：
选项1:在SP中使用分页，并迭代地收集数据。
问题1.1:在Logic的每个循环中，将生成多个CSV文件。如何将每个迭代中的数据组合成一个CSV文件？
问题1.2:我正在考虑使用变量数组来收集每次迭代中的数据，然后从变量数组创建CSV文件。如果变量数组的大小变得太大，我会遇到任何问
浏览 3提问于2020-03-26得票数 0
3回答
尝试使用库将CSV格式的数据读取到javascript中，但从每行末尾的^M字符获得CSVDataError: Illegal Data错误。
似乎无论CSV是如何保存的，我都会得到这个^M。我只有在vim中打开CSV文件时才能看到^M，即使是在文本编辑器或集成开发环境中，数据看起来也没有问题。我在使用其他语言时不会遇到这个问题，比如Python或R。
我在一个Mac环境中工作。
我如何解决这个问题并在将来避免这个问题？
浏览 1提问于2014-09-27得票数 0
使用zipfile模块解压缩Python中的大型数据文件可以正确地处理Python2，但在Python3.6.0上会产生以下错误：
BadZipFile: Bad CRC-32 for file 'myfile.csv'
我追踪到这是因为错误处理代码检查CRC值。
在Python2上使用ZipFile.testzip()不会返回任何内容(所有文件都很好)。在Python3上运行它将返回'myfile.csv'，表示该文件有问题。
在Python 2和Python 3上复制的代码(涉及300 MB的下载，对不起)：
import zipfile
import ur
浏览 5提问于2017-01-05得票数 15
回答已采纳
大家好，
我正在尝试编写一个python脚本，该脚本从文本文件中获取IP地址(Es)，检查CSV文件中是否已经存在IP地址，如果IP地址已经存在，则什么也不做(pass)，如果IP不在CSV文件中，则在CSV文件中追加IP地址。
我可以将IP地址添加到CSV文件中，但是我无法了解如何检查IP地址是否已经存在于文件中。
if os.path.isfile('IP_file.txt'):
logfile = open('IP_file.txt', 'r')
csv_file = open('csv_file.csv',
浏览 9提问于2013-11-26得票数 0
回答已采纳
1回答
我想从两组数据文件(txt和csv)生成一个图表，我遇到了一些使用R或Python的问题，如果有人能帮忙的话，我会非常感激的:)
如何将数据导入到数据集中，以及如何在它们中选择特定的列(是否与处理一个文件完全相同)？
其中一个文件比另一个文件有更多的数据点(3600vs80000)。如何选择csv文件中的每一行？
无论是R还是python，我都非常感谢您的帮助。
浏览 1提问于2018-04-07得票数 0
2回答
我有一个大型(145 MB) CSV文件，我想在Python中使用。我是Python新手，我正试图用迭代器的形式处理csv.reader()给出的数据。我一直在搜索，我发现了大量关于迭代器是什么以及它们是如何工作的信息，但是关于如何在处理数据时实际使用它们的信息却很少。
我理解next()方法和整个停止迭代，但这似乎是存储和检索数据的一种非常笨拙的方法。除了在for循环中遍历迭代器中的每一行并将其附加到列表(这看起来非常麻烦)之外，我真的不知道如何从迭代器中获取我需要的数据，特别是考虑到我的数据是按列排序的，而不是行。使用csv.reader()函数的目的是什么，是否有更好的方法来读取csv文
浏览 5提问于2015-07-10得票数 2
回答已采纳
我对Python非常陌生。本公司采用Base SAS进行数据分析(ETL、EDA、基本模型建立)。我们希望检查用Python替换它是否可以用于大数据块。关于这一点，我有以下几个问题：
python如何处理大型文件？我的PC有8gb的RAM，我有一个30 8gb的平面文件(比如说csv文件)。我通常会在这样的文件上做一些操作，如左联接、删除、分组等等。这在SAS中是很容易做到的，也就是说，我不必担心内存不足。在python中也可以执行相同的操作吗？如果有人能提供库的列表&同样的代码，我会很感激的。
如何在从服务器获取数据的同时在本地PC中执行像python中的"PROC
浏览 1提问于2015-10-15得票数 0
我有一个非常基本的CSV文件上传模块，批量上传我的用户的数据到我的网站。我使用在crontab上运行的python脚本在后端处理CSV文件，然后将批量上传的结果通过电子邮件发送给用户。这个过程在操作上运行良好，但我的问题是csv文件的格式。
对于如何接受不同格式的csv文件，有没有好的工具，甚至是基本的规则？用户可能具有不同的数据列顺序，列标题的名称略有不同(我希望电子邮件列的标题为" email "，但它可能显示“主电子邮件”、“电子邮件地址”)，或者缺少其他数据列。有没有非常宽松和用户友好的CSV上传功能的好例子？
另外，如何告诉用户将数据导出为CSV数据？我正在导入地址簿
浏览 2提问于2009-02-25得票数 2
回答已采纳
1回答
我在上托管一个PHP/MySQL应用程序。PHP中有一个部分调用python文件的执行。代码看起来是这样的：
exec("python3 /site/wwwroot/dataProcess.py");
它的运行并不是出于某种原因。但不能把错误还给我。我想知道这是否是因为执行所有操作的权限尚未授予该文件。
我的应用程序正在linux服务器上运行。
或
我想知道这是否是因为python的路径在PHP exec()命令或shebang中都是不正确的。
或
这可能是我在.py文件中使用的python模块的问题吗？但我非常肯定，所有版本的python 3都包含了这些模块。
我已经尝试过确
浏览 1提问于2019-07-22得票数 0
我有一个Python (3.6)脚本，它将数据从csv文件读取到熊猫数据文件中，熊猫对从CSV文件读取的每一行执行操作.
对于静态CSV文件来说，这很好，例如，要处理的所有数据都包含在CSV文件中.
我希望能够从另一个Python进程中追加CSV文件，这样数据就可以连续地输入到熊猫的数据中，或者如果向熊猫提供数据的进程到达文件的末尾，它将等待一个新的行被附加到CSV文件中，然后继续读取熊猫的行.
这个是可能的吗？
我是熊猫的新手，目前，我很难理解熊猫是如何使用实时/动态数据的，就像我看到的所有示例一样，我似乎使用静态CSV文件作为数据源。
理想情况下，我希望能够直接从消息队列向熊猫输入行，但我
浏览 0提问于2018-01-25得票数 1
回答已采纳
是否有任何模块或包可以帮助解析appengine中上传的csv文件中的csv内容。已尝试在python中使用csv包。但它只能解析文件系统中的文件，而不能解析数据。
浏览 1提问于2011-05-24得票数 2
回答已采纳
我想建立一个使用Docker容器的数据科学前端测试环境。该平台应该提供一个用户友好的界面，并能够管理巨大的CSV文件.我的第一种方法是使用Anaconda发行版，以便利用Python和木星笔记本的灵活性。不幸的是，考虑到我的团队主要使用Python (例如Pandas)的数据科学库，这个解决方案在使用大型CSV时太慢了。我考虑使用像Hue这样的前端迁移到HDFS，以便在导出数据之前使用SQL处理数据，并使用其他工具对其进行数据科学处理。但是，这种方法太复杂了(为了使用Hue，需要设置Hadoop和许多其他东西)。此外，据我所知，没有提供Hadoop的官方容器。据我了解，Hue Docker容器
浏览 1提问于2018-07-24得票数 1
我需要能够使用python在csv单元中打开文件路径。目前，我能够使用python读取csv，但我不确定如何打开文件路径并使用python从文件中检索我想要的信息。我不知道如何在读取csv之后继续读取文件路径并转到文件路径中的文件。然后，我想从文件中检索一些数据，并将其放入另一个csv中。我想对csv文件中包含内容的所有行执行此操作。我已将我目前的代码附在下面。请就如何进行提出建议。
`
with open(r'\\excel.csv', newline='') as dh:
for row in csv.DictReader(dh, str
浏览 9提问于2022-05-22得票数 0
3回答
优化python文件比较脚本
、、、、
我写了一个剧本，但我猜不是最有效率的。我需要做的是：
比较两个包含用户信息的csv文件。它本质上是一个成员列表，其中一个文件是另一个文件的更新版本。文件包含诸如ID、名称、状态等数据，只将新文件中不存在于旧文件中的记录写入第三个csv文件，或者包含更新的信息。对于每条记录，都有一个唯一的ID，它允许我确定一个记录是新的还是以前存在的。
下面是我到目前为止编写的代码：
import csv
fileAin = open('old.csv','rb')
fOld = csv.reader(fileAin)
fileBin = open('new.csv&
浏览 3提问于2012-03-29得票数 1
回答已采纳
我想得到关于在我的特殊需求中使用No-SQL数据存储的建议。
，让我解释一下：，我必须处理五个csv文件。每个csv包含500万行，并且在每个csv.So中也显示了公共id字段，我需要通过迭代500万rows.So来合并所有csv，在这里我使用python字典来合并所有基于公共id field.But的文件，瓶颈是您无法用python-字典将500万键存储在内存中(< 1gig)。因此，我决定使用No-Sql.I，我认为处理500万键值的storage.Still可能会有所帮助，我对此没有明确的想法。
无论如何，我们不能减少迭代，因为我们有五个csvs，每个csvs必须被迭代以更新值。
浏览 4提问于2012-07-17得票数 1
我使用熊猫和python从数据库中的表中提取数据，并将其写入windows文件目录中的CSV文件。
如果文件大小超过一定数量的内存，我想将数据分割成多个文件。
例如，阈值为32 MB，如果我的CSV数据文件小于32 MB，我将把数据写入一个CSV文件中。但是，如果文件大小可能超过32 MB，例如50 MB，我将将数据拆分并写入两个文件，一个为32 MB，另一个为(50-32)=18 MB。
我发现的唯一一件事是如何使用memory_usage方法或python的getsizeof函数来找到数据only所容纳的内存。但我无法将该内存与数据文件的实际大小联系起来。进程内内存通常比文件大小大5-10
浏览 13提问于2022-06-13得票数 2
回答已采纳
在这种情况下，我应该在csv文件中读取一行，然后尝试查找该行中的第一列是否具有有效的utf-8字符。
下面是我拥有的csv文件中的一个小样本数据：
Pension Roob,"68233 Kertzmann Mountains Apt. 057, Swiftburgh, NY 18633"
ࠀabaa,"AECS layout main road"
Motel One,"23 Parkstad Germany"
我原以为第二行会出现错误，但没有发生。
下面是我的Python代码：
import csv
def is_valid_utf_8(wo
浏览 1提问于2018-10-21得票数 0
回答已采纳
我有一个csv文件，我有1000个视频链接。我想检查这些视频是否仍然存在，或者它们已经从YouTube中删除或删除。我如何在python中做到这一点呢？
请对此进行指导
浏览 0提问于2018-04-10得票数 2
1回答
我有一个CSV文件，包含20501行和26列。我想选择5列和9列数据。这是我有的东西
import csv
filename = 'feed_data.csv'
f = open(filename)
readCSV = csv.reader(f, delimiter=',')
names = []
confidence_score = []
for row in readCSV:
names.append(row[8])
confidence_score.append(row[4])
这是错误
Traceback (most recent ca
浏览 4提问于2018-03-15得票数 0
回答已采纳
2回答
web抓取数据
、、、
我目前正试图在网站上抓取一个数据(关于一个公司的sctack交换)，以便在python中创建一个新的数据格式。为了存储在csv文件中并使用pandas.read_csv()方法，我尝试放弃数据格式的行。我遇到了一些麻烦，因为csv文件没有我想的那么好。如何才能在python中获得与web完全相同的数据--以下是我的代码：
from bs4 import BeautifulSoup
import urllib.request as ur
import csv
import pandas as pd
url_danone = "https://www.boursorama.com/cou
浏览 3提问于2022-05-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
