Python |同时写入多个文件

文章/答案/技术大牛

发布

1回答

python、file-handling

使用python 2.6并转换为HTML。PE PENDINGTR TRANSITDU DUPLICATELO LOCA

浏览 119提问于2020-06-06得票数 0

回答已采纳

4回答

Python多个用户同时追加到同一文件

python、concurrency、text-files、simultaneous、simultaneous-calls

我正在编写一个python脚本，该脚本将通过web访问，因此将有多个用户尝试同时附加到同一文件。我担心的是，这可能会导致竞争条件，如果多个用户同时写入同一文件，则可能会损坏文件。#!/usr/bin/env python new_entr

浏览 4提问于2012-08-08得票数 35

回答已采纳

1回答

Python多处理未使用全部cpu核心

python、multiprocessing、biopython

我使用正则表达式检查成对结束的fastq文件的序列记录，并将匹配的序列写入到相同的文件中。这是否意味着正则表达式搜索比将输出写入文件更快，所以进程正在等待？你能建议我如何改进多进程吗？附件是代码。

浏览 2提问于2019-08-01得票数 2

1回答

如何使用ftplib Python 2.7进行多段FTP下载？

python、multithreading、python-2.7、ftp、ftplib

完成到Python的noob，但我已经完成了简单的FTP下载和上传，它们将块写到磁盘上，而不是在写入整个文件之前填充RAM。我的问题是，如何同时下载x个部分的文件(多个线程下载单个文件的不同段)，同时立即将其写入磁盘，而不是先填满RAM？我到处找过这样的例子，但他们先填满RAM，然后再写出文件。

浏览 1提问于2016-05-20得票数 2

13回答

在Python中锁定文件

python、file-locking

我需要锁定一个文件，以便在Python中写入。它将同时从多个Python进程访问。我在网上找到了一些解决方案，但大多数都失败了，因为它们通常只基于Unix或Windows。

浏览 17提问于2009-01-29得票数 179

回答已采纳

1回答

同时写入多个文件

python、file、microcontroller、sensors、beagleboneblack

我正在做一个项目，使用Beaglebone从多个传感器读取数据，然后将这些数据传递到文本文件中。我正在监视六块不同的肌肉，所以我有对应的文件。现在，有6个传感器输入到Beaglebone的ADC引脚中，我的代码指示Beaglebone为每个引脚创建一个单独的文件。每当我运行下面的代码时，我只得到一个文件(第一个函数正在运行)。在此之前，我还没有包括"while：“的陈述，这导致了1-2阅读和6个文件的创建。我添加了“what：”来连续记录传感器的数据，因为我认为这是我在每个<e

浏览 5提问于2016-04-14得票数 2

回答已采纳

3回答

使用sqlite3进行并发编写

python、concurrency、sqlite

我正在使用sqlite3 python模块将批处理作业的结果写入一个通用的.db文件。我之所以选择SQLite，是因为可能会有多个进程同时尝试编写代码，而据我所知，SQLite应该能够很好地解决这个问题。我不确定的是，当多个进程完成并尝试同时写入时会发生什么。是否礼貌地等待其他进程写入？有没有更好的方法来做到这一点？

浏览 1提问于2013-08-13得票数 14

回答已采纳

1回答

是否有Python模拟matlab的"save()“函数？

python、numpy

假设我运行了一些代码，生成多个数组作为输出。如何像matlab那样一次将整个输出保存下来？在matlab中，我简单地说save(data) -> load('data')。

浏览 3提问于2021-10-12得票数 0

回答已采纳

2回答

单个文件，由多个用户在nodejs中编写

node.js

我有多个用户同时登录，他们可以同时写入同一个文件。当多个用户在nodejs中的单个文件上写入时，如何防止文件的冲突。

浏览 2提问于2016-04-05得票数 3

回答已采纳

1回答

在Python中并行处理AWS S3数据

python、python-3.x、amazon-web-services、amazon-s3、parallel-processing

我有一个文件列表，我需要通过一个lambda函数从S3存储桶中访问和处理这些文件，我的想法是遍历每个文件并并行地从所有文件中收集数据。我的第一个想法是使用线程，这导致了一个问题，只允许我的最大池大小为10，而我正在处理许多文件。我希望能够不断地追加进程，直到所有文件都被访问，而不是创建一个进程列表，然后并行运行它们，这似乎就是多进程池中的情况。如果有任何建议，我将不胜感激。

浏览 8提问于2017-08-05得票数 1

2回答

CFFILE是否支持同时写入文件系统？

coldfusion、file-upload、cffile

我们已经编写了一个功能，允许我们的用户使用UNC路径将文件上传到nas设备。这个功能还没有经过压力测试，我不是100%相信CFFILE可以处理负载。cffile是否使用多线程来执行对文件系统的写入?

浏览 3提问于2010-10-22得票数 1

2回答

在bazel构建中使用生成的代码

bazel

$ python gencpp.py 我想在构建之前在bazel中运行这个命令，以便能够在cc_binary的srcs属性中包含foo.cpp。我试过的是： name = 'foo', cmd = 'python gencpp.py', cc_library这可能是因为泛型规则实际上没有创建这个输出，或者是因为输出是一个目录，并且是远程运行的(

浏览 7提问于2017-02-15得票数 9

1回答

在进程之间共享Python 3的多维数组

python-3.x、numpy、multiprocessing、shared-memory、python-multiprocessing

据我所知，sharedmem-numpy package ()只适用于Python2。Python3是否也有类似的东西(共享的numpy数组)？其目的是通过多个进程同时写入一个多维数组。默认情况下，我们知道每个进程只会在自己的数组中写入数据，所以不会有任何冲突。

浏览 4提问于2015-07-17得票数 3

5回答

在Python中从多个线程进行酸洗

python、pickle

我有一个有多个线程的python程序。每个线程都会检测事件，我希望将它们存储在某个地方，以便可以再次读取它们(用于测试)。现在，我使用Pickle输出事件，每个线程输出到不同的文件。理想情况下，我应该只使用一个输出文件，并且所有线程都将写入该文件，但是当我尝试这样做时，它看起来像是不同的线程试图同时写入它们的输出，并且它们没有被正确地筛选出来。有没有办法做到这一点？

浏览 1提问于2011-09-22得票数 5

回答已采纳

1回答

django/python日志记录与gunicorn: django日志记录如何与gunicorn一起工作

python、django、django-logging

我部署了一个Django/Python应用程序(使用gunicorn)，其中有9个工作线程，每个工作线程有5个线程。假设在给定的时间内处理了45个请求，每个线程都在写入大量日志。Django如何避免同时为多个线程写入日志？以及如何为每个请求打开和关闭文件(是否在每个请求时都会发生这种情况，如果是，是否有任何其他有效的日志记录方式)？

浏览 1提问于2018-03-06得票数 0

1回答

PHP写入文件而不截断

php

我正在创建一个平面文件数据库，并试图解决同时进行多个编辑的问题。我知道为了编辑和删除行，我需要截断文件，但对于添加行，这不是必需的。那么，如果我使用fopen($file, 'a')来写入一个文件，并且多个人在何处打开该文件并向其写入，他们是否都能够同时向该文件写入数据？在不截断文件的情况下，人们不应该互相覆盖，对吗？

浏览 0提问于2011-12-12得票数 2

回答已采纳

2回答

Django记录服务器和命令之间的线程安全

python、django、logging

我希望我的Django服务器和Django管理命令的输出都写到同一个文件中。这在settings.py文件中很容易设置，但是是否对线程安全或使用管理命令(从命令行运行)来写入与主Django服务器(从wsgi运行的)相同的文件有任何担心？如果不同版本中有不同的答案:Python3.4Django 1.11 谢谢!

浏览 1提问于2018-10-30得票数 0

回答已采纳

1回答

为什么文件对象在python中是它们自己的迭代器？

python、file、python-3.x

我正在学习python，这个东西把我搞糊涂了。如果文件迭代器和文件对象是不同的，那不是更好吗?这样我们就可以在文件中支持多次迭代。那么为什么python文件对象是它们自己的迭代器呢？

浏览 0提问于2015-02-24得票数 1

1回答

Flask应用程序中Gunicorn工作进程和文件处理的数量和类型

python、flask、gunicorn

我是python新手，刚刚开始使用flask并构建一个可能需要同时处理5到6个用户的web应用程序。它还会在特定的.log文件中写入每天的日志。现在我正在读它，并发现我不需要担心处理多个请求，因为GIL不允许运行我的应用程序的多个实例，即使我有10个实例同时运行。比如写入log file和执行shell脚本。我需要在日志文件上实现locking吗?它会影响shell脚本的执行吗？

浏览 4提问于2021-02-13得票数 1

2回答