当块退出时，CSV.open将数据存储在内存中并写入文件一次，还是将自动写入多个批？
require 'csv'
CSV.open('result.csv', 'wb') do |csv|
while row = next_row
csv << row
end
end
浏览 2提问于2015-12-09得票数 10
回答已采纳
我正在编写python代码，以提取列表并在.CSV文件中给出输出。代码是在每个字符之后而不是每个名称之后分割的。下面的代码中的名称包含一个名称列表，如: aeims aelog Name兼容工具
with open("csvtest.csv", "wb") as f:
writer = csv.writer(f,delimiter='\t', quotechar='"', quoting=csv.QUOTE_MINIMAL)
for namespace in namespaces:
writ
浏览 1提问于2019-06-26得票数 0
回答已采纳
1回答
import pandas as pd
import csv,sched,nltk,arrow
from time import perf_counter
def ngram_search():
#code here
item['length']=len(word_tokenize(s)) # number
item['time edit']=arrow.utcnow().shift(hours=-1).humanize().upper() # text
item['top1'] = "word
浏览 48提问于2019-04-21得票数 2
1回答
我根据列"ColumnName“分割一个CSV文件。如何将创建的所有CSV文件保存到指定的路径中？
data = pd.read_csv(r'C:\Users\...\Output.csv')
for (ColumnName), group in data.groupby(['ColumnName']):
group.to_csv('{ColumnName}.csv', index=False)
谢谢
浏览 11提问于2022-05-12得票数 0
回答已采纳
离开这里的代码：而不是printing，我想写一个csv文件。
在底部添加以下内容：
# Request a file-like object containing the spreadsheet's contents
csv_file = gs.download(ss)
# Write CSV object to a file
with open('test.csv', 'wb') as fp:
a = csv.writer(fp, delimiter=',')
a.writerows(csv_file)
也许我需要对
浏览 1提问于2013-08-01得票数 0
回答已采纳
2回答
因此，我有几个csv文件，我正在导入，然后我使用FB Prophet为我提供未来几个月的预测数据。我希望所有的预测要么转到不同的csv，要么都放在同一个csv上。目前，它只将文件名的最后一个csv写入csv，而不执行其他的操作。
filenames=['example1.csv','example2.csv','example3.csv']
for f in filenames:
df=pd.read_csv(f)
df.columns=['ds','y']
df['ds'
浏览 0提问于2018-12-27得票数 0
我的代码:拆分CSV的每一行并将其保存到单独的CSV文件
import csv
with open("PMBC_Final_Neucube.csv") as data:
for index, line in enumerate(data):
with open('sam{}_diet.csv'.format(index), 'w', newline='') as fw:
writer = csv.writer(fw, delimiter=',',
浏览 7提问于2018-02-12得票数 1
回答已采纳
我需要使用SFTP服务器上的Mulesoft的SFTP写处理器来存储csv文件。
文件格式: CSV (逗号作为分隔符)，UTF-8带BOM。
在“转换消息”中，我将JSON有效负载转换为应用程序/ csv编码= "UTF-8“
这很好，csv可以在SFTP服务器上以utf-8格式使用。
%dw 2.0
output application/csv encoding="UTF8"
---
payload.data
我的问题是如何将BOM附加到文件中？
浏览 3提问于2021-05-25得票数 1
我将数据从循环写入csv文件。
预期结果:每次迭代都应该在新列中写入数据。
实际上，它覆盖了上一次迭代的数据。我如何为每次迭代添加一个新列？
def keywordsToCsv(filename, single_phrases):
path = 'keywords/keywords.csv'
with open(path, 'w', encoding='utf-8') as csvfile:
filewriter = csv.writer(csvfile, delimiter=',', quot
浏览 0提问于2019-03-10得票数 3
回答已采纳
现在，我可以从AWS s3中获取拼花文件，并在lambda中对该拼花文件做了一些修改。在将此数据插入到来自同一个lambda的postgreql数据库时，我面临问题。我找到了将这个数据转换为csv文件并插入到我的本地系统中的解决方案，但是我无法在lambda中实现代码。我的lambda代码如下所示，其中data是从S3收到的data集合。
def lambda_handler(event, context):
**data** = read_data_from_s3(event)
print('lambda')
print(data)
**dat
浏览 5提问于2022-05-29得票数 0
1回答
为什么我的csv文件读写不正确？
、、、、
我有一个csv文件，每个列表包含3个元素。我正在尝试使每个列表的第一个元素成为可以轻松搜索的字符串元素的嵌套列表。我不能让我的代码打印出我的结果，因此我不知道我是否真的正确地重写了csv文件。
with open('trump_tweets_proto.csv', 'w+') as file:
contents = csv.reader(file)
contents2 = csv.writer(file)
for row in contents:
for info in row:
contents2
浏览 2提问于2018-12-02得票数 0
1回答
这是我的code.csv文件：
one,two,three
1,2,3
2,3,4
3,4,5
和code2.csv文件：
,two,three
,2,3
,3,4
,4,5
这是我的code.py文件：
import csv
with open('code.csv', 'rb') as input, open('result.csv', 'wb') as output:
reader = csv.DictReader(input)
rows = [row for row in reader]
浏览 0提问于2014-04-08得票数 0
回答已采纳
1回答
多线程web抓取数据的安全存储
、、、、
我正在使用selenium进行web抓取，然后尝试将数据存储到CSV文件中。我正在使用一个有工人的队列，以使抓取操作更快。
但是，我发现有时一个工作线程会写入CSV，然后另一个尝试写入CSV，导致数据溢出到新行上。
有没有一种安全的方法可以让多个工作进程同时写入一个CSV (或其他文件类型)？
下面是我的worker和queue：
def worker():
while True:
params = q.get()
crawl(*params)
q.task_done()
q = Queue()
for i in range(7):
t = Thread(t
浏览 2提问于2016-02-26得票数 1
1回答
我正在使用OpenCsv API，现在我遇到了一些问题。
protected void processRequest(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
response.setContentType("text/html;charset=UTF-8");
PrintWriter out = response.getWriter();
try {
浏览 3提问于2013-10-22得票数 1
1回答
我有一些Python代码，其中列出了Github中的拉请求。如果我将解析后的json输出打印到控制台，就会得到预期的结果，但是当我将解析的json输出到csv文件时，结果就不一样了。他们被切断后，第六结果(这是不同的)。
我要做的是每次用最新的输出覆盖csv。
另外，我正在处理unicode输出，我使用了unicodecsv。我不知道这是不是把csv输出抛掉了。
我将用print语句和csv代码列出相关代码的两个实例。
谢谢你的帮助。
import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdou
浏览 2提问于2015-09-08得票数 0
回答已采纳
1回答
我正在尝试使用Python中的Dask合并许多大型数据集，以避免加载问题。我想将合并后的文件另存为.csv。事实证明，这个任务比想象的要难：
我用两个数据集组合了一个玩具示例，然后我使用的代码如下所示：
import dask.dataframe as dd
import glob
import os
os.chdir('C:/Users/Me/Working directory')
file_list = glob.glob("*.txt")
dfs = []
for file in file_list:
ddf = dd.read_tab
浏览 1提问于2018-11-15得票数 0
我正在尝试创建两个CSV文件并同时写入这两个文件。这段代码不是以这种方式工作的，但它只是举例说明我想要做的事情。由于(* csv.Writer)是一个指针，我不知道如何将它与另一个文件区分开来。这样做有可能吗？ package test
import (
"encoding/csv"
"os"
"sync"
"time"
)
var csvSuccess *os.File
var csvError *os.File
var csvErr error
var csvWriterSuccess *
浏览 30提问于2019-12-30得票数 0
回答已采纳
我在Azure Data Lake中有一个CSV文件。我想将此文件的类型更改为DataBricks的csv.gz。
我可以将此文件写入df，然后将文件另存为csv.gz，然后从数据湖中删除csv文件。
是否有可能在不将文件写入df的情况下将类型更改为csv.gz？
提前谢谢。
浏览 5提问于2020-09-29得票数 0
我有一个需要写入csv文件的列表列表。
mylist = [['Siddharth','Bangalore','blah@gmail.com'],
['Rahul','Bangalore','blah2@gmail.com'],.....and so on]
这个列表通常有20,000到40,000个长度。
因此，现在，将它们写入csv文件的唯一方法是遍历列表并写入：
fileObj = open("/home/siddharth/sample.csv", &
浏览 2提问于2012-12-27得票数 4
回答已采纳
我对蟒蛇很陌生。
我有一个包含19188行的列表，我想将其保存为csv。
当我将列表的行写入csv时，它没有最后的行(在19112处停止)。
你知道是什么导致的吗？
下面是我给csv写信的方式：
mycsvfile = open('file.csv', 'w')
thedatawriter = csv.writer(mycsvfile, lineterminator = '\n')
list = []
#list creation code
thedatawriter.writerows(list)
每一行列表都有4个字符串元素。
另一条信息：
浏览 1提问于2016-12-01得票数 1
回答已采纳
我正在尝试从FTP服务器下载一些文件并自动执行此任务。我在很大程度上遵循了本教程来完成我的过程：
现在，我想使用以下命令：
synchronize local \\somesharefolder /someremotedir
如果我从我的命令行运行这个come命令，它可以正常工作，并同步所需的300~文件。
我的问题是，当我从C#运行时，它只同步30~文件并挂起WaitForExit()函数调用。如果我显示进程窗口并手动关闭它，我的输出就没有什么问题。连接成功，文件开始下载，然后停止。
以下是修改后的代码：
// Create a new Process object to execute
浏览 0提问于2016-01-26得票数 2
回答已采纳
我编写了一个python程序，它每分钟调用一次api服务器，然后解析json响应，并将解析的值保存到csv文件中。
下面是将值保存到csv文件中的代码：
with open('data.csv', 'a', newline='') as file:
writer = csv.writer(file)
writer.writerow([current_time,SHORTPERC, LONGPERC, SHORTvolume, longVolume, longPositions, shortPositions])
如何才能使它在最上
浏览 1提问于2021-03-15得票数 1
回答已采纳
1回答
在下面的两个实例中，有人能告诉我lineterminator='\n'和newline=''的区别吗？
1：
data=[person,age]
with open(document.csv, 'a') as file:
writing = csv.writer(file, lineterminator='\n')
wr.writerow(data)
2：
data=[person,age]
with open(document.csv, 'a', newline='') as fi
浏览 2提问于2016-03-05得票数 0
回答已采纳
1回答
我在一个更大的循环中有几个循环，我需要将csv文件写入两次：
更新，更详细的示例
with open("file.csv", "w", encoding="utf-8", newline="") as file:
writer = csv.writer(file)
while True:
try:
element = driver.find_element_by_xpath(xpath)
if element.is_displayed():
浏览 2提问于2020-04-29得票数 0
回答已采纳
我想根据这个列表过滤一个csv：
items = ["1", "test", "11", "9", "2003"]
之后，它应该删除csv文件中的条目，该条目的值与列表的值完全相同。
我的代码如下所示：
import csv
items = ["1", "test", "11", "9", "2003"]
Id, name, day, month, year = items
with open("database.csv
浏览 0提问于2018-10-27得票数 0
回答已采纳
我有一些使用d3-fetch读取csv的代码。我用这种方式加载我的csv：
D3.csv(./mydata.csv).then(function (info) { Console.log(info); });
这很好，并给我我的数据。但是我该怎么写这些数据呢？
浏览 0提问于2018-09-11得票数 0
回答已采纳
我正在尝试只从谷歌工作表的CSV导入几列。我的CSV很大(26k行)，我只需要导入32列中的4列。下面的脚本(我在论坛中找到的)用于将CSV导入GoogleSheet： function importReport() {
var threads = GmailApp.search('label:stock_fastmag subject:"Rapport de commande - article detail - TOTAL"');
var message = threads[0].getMessages()[0];
var attachmen
浏览 38提问于2019-01-25得票数 0
我在logstatsh管道中有以下筛选器配置。它所做的是，在事件开始时，首先过滤器创建一个带有头的CSV文件，并将文件名设置为元数据。第二个过滤器将输出写入上述CSV。
我面临的挑战(或)要求是:每隔一秒钟，我们就需要创建新的CSV文件并写入该文件。我不是红宝石专家，也无法从谷歌搜索中得到任何线索。有人能告诉我吗？
filter {
ruby {
init => "
begin
randval = (0...8).map { (65 + rand(26)).chr }.join
浏览 7提问于2022-03-11得票数 0
回答已采纳
这是我的代码片段： def segregate_files(self, list_of_csv, each_sub_folder):
new_list_of_csv = []
for each_csv in list_of_csv:
pattern = f"{each_sub_folder}/(.*?)/"
self.data_centre = re.search(pattern, each_csv).group(1)
if "org_dashboards/" in each_csv:
浏览 13提问于2020-11-04得票数 0
回答已采纳
我的功能是 导入资源导入csv s3 = boto3.client('s3') dynamodb = boto3.resource('dynamodb') def lambda_handler(事件，上下文)： bucket='bucketname'
file_name='filename.csv'
obj = s3.get_object(Bucket=bucket,Key=file_name)
rows = obj['Body'].read()
lines = rows.splitlines()
# print
浏览 18提问于2020-10-14得票数 1
我正在使用Kedro管理一个数据管道，在最后一步，我将一个巨大的csv文件存储在一个S3桶中，我需要将它加载回Server。
我通常会用来实现这一点，但不太确定如何将其放入kedro模板中。这是目标表和在S3中配置的catalog.yml桶
flp_test:
type: pandas.SQLTableDataSet
credentials: dw_dev_credentials
table_name: flp_tst
load_args:
schema: 'dwschema'
save_args:
schema: 'dwschema
浏览 4提问于2021-07-13得票数 0
回答已采纳
我编写了一个DataFlow管道，它在上输出一个小的csv文件。该文件的文件类型为text/plain，但我希望它是application/csv。
这是我使用的代码
TextIO.write()
.to("gs://bucket/path/to/filename").withoutSharding()
.withSuffix(".csv")
.withDelimiter(new char[]{'\r','\n'})
如何指定文件类型，以便在管道完成后文件类型为application/csv？
浏览 1提问于2019-08-11得票数 0
回答已采纳
2回答
我正在使用Spark2.3，我需要将一个保存到一个csv文件中，我正在寻找一种更好的方法来实现它。通过查看相关/类似的问题，我发现了，但我需要一个更具体的：
如果DataFrame太大，我如何避免使用Pandas？因为我使用了toCSV()函数(下面的代码)，它产生了：
内存不足错误(无法分配内存)。
使用文件I/O直接写入csv是更好的方式吗？它能保护分离器吗？
使用df.coalesce(1).write.option("header", "true").csv('mycsv.csv')将导致在每个文件中写入标头，当文件合并时，头部将
浏览 2提问于2018-06-06得票数 1
1回答
我修改了我的代码：
private static final String SAMPLE_CSV_FILE_PATH = "src/main/resources/testCSV.csv";
private static final String OUT_PUT_CSV_PATH = "src/main/resources/outCSV.csv";
public static void main(String[] args) throws IOException {
Reader reader = Files.newBufferedReader(Pat
浏览 0提问于2018-05-02得票数 1
我正在尝试使用pyautogui记录鼠标位置的输出或X和Y坐标，并将它们写入csv文件。每当我运行我的代码时，它在单独的列中打印出X和Y，这很好，但是在左上角的X下面，它显示'True‘，然后在Y列下面的一行中，它也显示'True’。我真的不明白为什么会这样。 import pyautogui, sys
import numpy as np
import csv
try:
while True:
x, y = pyautogui.position()
positionStr = 'X: ' + str(x).rjust
浏览 20提问于2019-01-24得票数 0
2回答
我正在Raspberry Pi上运行Python3.9.2，我编写了一个脚本，它将从我的锅炉中读取水温并将它们写入CSV文件。但是，输出文件中的每个数据项都会出现在新行上。
这是我的密码：
from subprocess import check_output
import csv
header = ['Flow', 'Return']
cmd = ["/usr/bin/ebusctl", "read", "-f"]
data = [
[float(check_output([*cmd, "FlowT
浏览 13提问于2022-12-04得票数 0
回答已采纳
读取CSV时，该方法中的代码重复。如何删除重复项?为什么会出现重复项？在没有它们的情况下写入CSV，但在读取时，重复开始： 方法： public class Program
{
public class Product
{
public int Id { get; set; }
public string Name { get; set; }
public Product(int id, string name)
{
Id = id;
Name = name;
浏览 30提问于2021-07-27得票数 0
回答已采纳
我正在对一个Neo4J服务器运行一个查询，我希望它返回大于100M的行(但只有几列)，然后将结果写入CSV文件。这对于返回最多10-20M行的查询很有效，但是当结果行数增加到10^8个数字时就会变得很棘手。
我认为，逐行写入结果(理想的缓冲)应该是一种解决方案，但csv.Writer似乎只在整个代码执行时(即在迭代结束时)写入磁盘，而不是像预期的那样分块写入。在下面的示例中，我尝试显式刷新文件(这不起作用)。我在stdout上也没有得到任何输出，表明迭代没有按预期进行。
然而，进程的内存使用率正在快速增长，据我所知超过了12G。这让我认为游标正在尝试在开始迭代之前获取所有数据，除非我误解了什么
浏览 5提问于2021-12-01得票数 0
1回答
我正在尝试使用以下代码附加到CSV文件
import csv
cat_options = [row for row in csv.reader(open('catOptions.csv', 'r'), delimiter =',')]
print cat_options
new_cat = raw_input("\nEnter the new category: ")
cat_options = csv.writer(open('catOptions.csv', 'a'))
cat_options
浏览 7提问于2011-12-20得票数 2
我在python中有一个字符串列表。
header_list = ['column_1', 'column_2', 'column_3']
我想替换基于text.csv的cvs文件header_list的标题行，使标题看起来像这样；
column_1, column_2, column_3
我正在使用python v3.6
编辑:这是我想出的代码。
import csv
with open('text.csv', 'wb') as csvfile:
writer = csv.writer(csvfile)
浏览 2提问于2018-07-22得票数 0
回答已采纳
2回答
问题是在新的csv文件中对csv文件进行排序和保存。使用下面的代码(Below1)，当我打开新的csv文件时，我似乎得到了结果。但是，当我在作业界面上运行代码时，它打印错误(below2)。有人能确定为什么不起作用吗？我对ask (below3)也有正确的解决方案。我不明白为什么我的不管用。
Below1：
import csv
def sort_records(csv_filename, new_filename):
file = open(csv_filename)
lines = file.readlines()
newfile = open(new_filena
浏览 3提问于2022-10-11得票数 0
回答已采纳
1回答
因此，我有这段代码来从mysql数据库生成一个CSV文件。但是，它下载代码，而不是将其保存到目录以供进一步使用(需要通过phpmailer发送该文件)。我应该做什么改变，使它将文件保存到目录。
$array = array();
if(file_exists('records_monthly.csv'))
{
unlink('records_monthly.csv');
}
# Headers
$array[] = array("Serial Number","Donation Type",
浏览 0提问于2015-06-05得票数 1
回答已采纳
我正在处理一个足球数据集，其中有几个列。有一个名为TimeUnder的列，该列的数据类型为int64。我希望将单元的“值”附加到列中的所有值，并将其保存回数据集。
我将该列转换为字符串数据类型，并对列TimeUnder中的每个值附加一个's‘进行了修改。我将修改保存到一个新的csv文件中。
import pandas as pd
football=pd.read_csv("Football_dataset.csv")
football1=football['TimeUnder'].astype(str) + 's'
football1.t
浏览 2提问于2020-12-02得票数 0
回答已采纳
我有一个程序，可以解析从眼睛跟踪器输出的大量数据文件。原始文件是以文本格式提供给我的，但我需要一个CSV文件来进行数据分析。
我所做的就是在Excel中打开文本文件，将其另存为.csv文件，然后通过我的解析器运行它。这很好用，但很费力，所以我想创建一段代码在解析器的开头运行:它获取原始文本文件，将其转换为CSV文件，然后在刚刚创建的CSV文件上运行解析器。
我尝试使用的代码如下所示，并从修改而来
txt_file = subjectNum + ".asc"
csv_file = "subject_" + subjectNum + ".csv"
i
浏览 2提问于2013-09-30得票数 3
回答已采纳
我找到了这个帖子：
这对我能够将csv附加到Google App Engine的电子邮件中很有帮助。我的代码如下：
self.response.headers[str('Content-Type')] = str('text/csv')
self.response.headers[str('Content-Disposition')] = str('attachment; filename="data.csv"')
writer = csv.writer(self.response.out)
[write csv
浏览 0提问于2014-04-23得票数 0
1回答
我试图用以下方法验证django中csv文件的上传：
class CSVUploadForm(forms.Form):
csv_file = forms.FileField(label='Select a CSV file to import:',)
def clean(self):
print 'clean'
file_csv = self.cleaned_data['csv_file']
records = csv.reader(file_csv, dialect=csv.ex
浏览 6提问于2013-11-17得票数 2
2回答
我在一个文件夹a.csv b.csv中有5个文件....
我需要将这些文件合并到一个名为X.csv的文件中，并在将来继续将X.csv的内容与a、b、c等合并。
即使每个文件中只有两行，我也会收到错误消息，指出内存不足--它实际上只复制了10行。我正在使用以下命令：
paste -d, *.csv >> X.csv.
但是，当我使用
paste -d, *.csv > X.csv
没有内存问题。这是我不能使用的，因为我之前也需要X.CSV文件的信息，所以我应该只附加而不是编辑整个文件的内容。
有人知道我是怎么做到这一点的吗？这些是'，‘分隔的CSV文件，我不想复制
浏览 2提问于2014-07-07得票数 0
import csv
FirstName = 0
Surname = 1
Grade = 2
def read_csv_data(assessment):
data = [ ]
with open('UASHSDDP1efiles.csv', mode='r') as
csv_data:
records = csv.reader(csv_data, delimiter=',')
for row in records:
data.append(row)
def find_max(student_grades):
max_grade
浏览 0提问于2021-03-04得票数 1
我希望将来自单行dataframe的值写入csv文件中的下一个可用的空行。
df8 = pd.DataFrame([Accuracy])
df8.to_csv('accuracies.csv',header=False)
现在，它总是重写csv上的第一行。
例如，准确性列表包含10个值，每次我运行实验时都会发生变化。现在，每次我运行实验时，值都会覆盖csv中的第一行数据。
我试图实现的是在下面的下一个空行中写入的值。
浏览 1提问于2019-07-19得票数 1
回答已采纳
我能够让我的提交文件夹正确地命名3个.csv文件并包含正确的学生信息，但是当我试图复制提交文件夹中每个.csv的第2行并打印到输出文件夹中的单个文本文件中时，我将在文件中获得这个输出：
COURSE ID,TEAM ID,STUDENT FIRST NAME,STUDENT LAST NAME,STUDENT ID,ASSIGNMENT ID,DATE SUBMITTED,TIME SUBMITTED,SUBMITTED BYCOURSE ID,TEAM ID,STUDENT FIRST NAME,STUDENT LAST NAME,STUDENT ID,ASSIGNMENT ID,DATE
浏览 1提问于2017-08-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
