用Python替换JSON文件中的字符。由于文件太大(超过1 GB)而导致编辑问题

文章/答案/技术大牛

发布

2回答

python、json、python-3.x

我有一个很大的JSON文件(通过Azure Data Factory导出)。如果DataFactory发现问题，它会在对象之间添加$符号。例如，它看起来像这样： <br>{...}- notepad++将$替换为\n，这很好;)但是现在我的文件大约1.3 GB，我没有工具来编辑这么大的文件。我使用python从文件中的</em

浏览 32提问于2019-02-01得票数 2

回答已采纳

3回答

文件太大python

python、ubuntu、file-io

我正在用python写一个文件。脚本突然停止运行并抛出“IOError: Errno 27文件太大”是否对使用程序创建的文件大小有限制？还有没有人遇到过这个问题？停止时文件大小接近4.3 to (有点大)。

浏览 1提问于2012-06-09得票数 5

回答已采纳

1回答

如何在python的json.load过程中编辑/重命名密钥？

python、json、mongodb

我有一个json文件(~3 3Gb)需要加载到mongodb中。相当多的json键包含一个。(点)，这会导致加载到mongodb失败。我想要加载json文件，并在这个过程中编辑键名，比如用空格替换圆点。= json.loads(data, object_hook=RemoveDotKey) 名为RemoveDotKey的object_hook应

浏览 1提问于2012-06-25得票数 13

回答已采纳

1回答

c#通过引用同一json文件中的另一个值来获取json对象的值

c#、json

我需要从JSON文件中读取值，但模式名称将取决于语言环境。JSON节点是： "en_GB": "Raj Garden"但关键字"en_GB“将取决于所使用的语言区域设置。这是在同一文件的另一个节点中指定的： "locale": "en_GB"

浏览 17提问于2021-02-23得票数 0

2回答

使用Java更新文件中所有出现的字符串

java、file

我有一个文件，其中包含一些需要更新的字符串。MY REPORT文件不会<

浏览 0提问于2012-08-27得票数 2

回答已采纳

5回答

使用sed (或awk或tr)用表达式替换换行符\n

awk、sed、grep、tr

我试图清理伪json文件的语法。该文件太大，无法在文本编辑器(20 gb)中打开，所以我必须通过命令行(运行Arch )来完成所有这些操作。我想不出如何替换sed中的新行字符(GNU sed v. 4.8)。所以我希望输出看起来像： "id" : 1,}, "

浏览 0提问于2021-08-25得票数 2

回答已采纳

3回答

Powershell -如何将目录中所有文本文件的第一行提取到单个输出文件中？

powershell、text、large-files

我有一个目录，里面有大约10,000个不同长度的文本文件。全部超过1 1GB的大小。有没有办法在Powershell中使

浏览 0提问于2014-06-24得票数 7

回答已采纳

2回答

替换大文件中的字符串

c++、io

我有一个服务器-客户端应用程序，其中客户端能够编辑存储在服务器端的文件中的数据。问题是文件太大，无法将其加载到内存中(8gb+)。连接的客户端每秒可能会调用大约50个字符串替换。所以复制整个文件并用新的字符串替换指定的字符串是不成问题<em

浏览 0提问于2012-09-28得票数 0

回答已采纳

1回答

Three.js加载大型模型

javascript、3d、three.js

当我尝试使用库中提供的合适的加载器加载一个非常大的文件时，我的网站运行的选项卡崩溃了。我尝试过实现Worker类，但它似乎不起作用。下面是会发生的事情：var worker = new Worker('loader.js'); 当用户选择一个可用的模型时，我检查扩展名并将文件URL/路径传递给worker：(在本例中</

浏览 3提问于2016-07-15得票数 0

1回答

如何删除所有超过100MB的GitLab文件

github、gitlab、filesize

我正在尝试将一个Gitlab项目导入到Github中，但由于无法导入超过100MB的文件而失败(这是Github的规则)。我删除了导致问题的第一个文件，但是在重新启动另一个文件时，它太大了。有没有办法自动删除所有超过这个门槛的Gitlab项目？或者，有没有办法查看列表中所有文件的文件<

浏览 6提问于2017-08-02得票数 0

1回答

如何强制应用程序使用内存而不是页面文件？

c++、memory、memory-management、windows-8.1

我不确定这是不是一个恰当的问题，但是有没有办法“强制”应用程序使用物理内存而不是页面文件？更准确地说:我编写了一个应用程序(C++)来分析一些测量数据。因此，它需要分配一个非常大的数组，这使得进程使用大约12 GB的RAM。我确实安装了16 GB，所以这应该不是太大的问题。我启动了这个程序，它填满了我的RAM (直到有大约1 1GB</

浏览 0提问于2015-03-23得票数 2

1回答

如何在启动Python应用程序之前在cloudfoundry上运行一次性任务以上传数据

cloud-foundry

主要的问题是我试图部署的应用程序由于大量的python依赖而变得很大。我的app目录的大小是200KB。我观察到的第一个错误是: Staging失败，原因是“未能为droplet上传有效负载”。我认为原因是当所有的Python依赖项都从requirements.txt文件中下载并最终创建了droplet时，它的大小对于上传来说太大了。水滴size

浏览 16提问于2021-04-05得票数 0

回答已采纳

2回答

在所有Wordpress文章中替换

post-editor

我希望在我所有的WP职位中替换一个字符串(超过100个)。我可以想到下载数据库，用编辑器打开它，然后做一个替换。在GUI编辑器中，这可能会失败，因为文件太大了。如果我阅读数据库结构和MySQL，我可能会隔离包含post文本的变量，并且只编辑这个变量。最好使用像SED这样的行

浏览 0提问于2018-06-16得票数 1

回答已采纳

2回答

删除一些行后，包含大列表的.rda文件的大小会增加。

r、list、compression、rda

我有一个包含大列表的.rda文件，如下所示：[[2]] Null[[1000]] (Some data) ...第一个K空行(示例中为999行)是由于代码中的错误而创建的，因此我决定删除所有1:K行。保存文件后，它的大小变得很大:在它<1GB之前，在它超过16GB之后。怎

浏览 2提问于2014-11-02得票数 0

回答已采纳

1回答

用lxml.html解析超文本标记语言的一个字符集问题

python、html、parsing、character-encoding、lxml

我一直在尝试使用lxml.html解析Python中的html页面。文件的编码已更改为utf-8，而页面中的字符集声明如下：顺便说一句，gb2312是一种汉字字符集。我

浏览 4提问于2011-01-22得票数 1

回答已采纳

2回答

对于太大而无法一次进行内存映射的文件，每次建议的字节数是多少？

memory-mapped-files

我正在使用内存映射打开文件。这些文件显然太大(在32位PC上为6 6GB)，不能在一个文件中映射。因此，我正在考虑每次映射它的一部分，并在下一次映射中调整偏移量。是否存在每个映射的最佳字节数，或者是否有方法确定这样的数字？谢谢。

浏览 0提问于2009-06-23得票数 2

回答已采纳

1回答

替换非标准文本文件中特定行中的字符串

python、string、replace

类似于posting：，但是在我略有不同的实例中，结果并不是可以预见的。我在windows 7上使用python 3，我试图批量编辑目录中的一些文件。它们基本上是带有.LIC标记的文本文件。我不确定这是否与我的问题有关。我能够将文件读取到python中，而不存在任何问题。我的</em

浏览 2提问于2017-04-26得票数 0

回答已采纳

4回答

如何使python程序具有可扩展性

python

所以在我的程序中有一行代码，就像下面这样：str = str.replace('twy', '20s') str = str.replave我想让它不需要手动打开我的源文件来添加新案例。例如('sy'，'70')。我知道我必须以某种方式将所有这些都放在一个函数中，但我希望从命令行映射不在我的“映射库”中<

浏览 0提问于2012-10-10得票数 0

1回答

将多个节点级别具有相同属性名称的XML导入到mySQL中

mysql、xml

我尝试使用LOAD XML函数将XML文件导入到MYSQL表中：XML文件的结构如下：<timestep time="2"> <la

浏览 8提问于2018-02-15得票数 0

1回答

读取模板JSON文件并在bash或Python中创建带有替换的新文件

python、json

对于不同的环境，我希望有一个稍微不同的JSON文件。我可以使用json.load，然后

浏览 3提问于2020-10-27得票数 0

点击加载更多