解析\加载非常大的xml文件时出现内存错误
解析/加载非常大的XML文件时出现内存错误是由于XML文件过大，导致内存不足而引起的问题。为了解决这个问题，可以采取以下几种方法：
- 使用流式解析：流式解析是一种逐行读取XML文件的方式，可以避免一次性将整个文件加载到内存中。常见的流式解析库有SAX和StAX。SAX是基于事件驱动的解析器，逐行读取XML文件并触发相应的事件，适用于处理大型XML文件。StAX是一种基于迭代器的解析器，可以按需读取XML文件的内容，也适用于处理大型XML文件。
- 分割XML文件：如果XML文件过大，可以考虑将其分割成多个较小的文件进行处理。可以根据XML文件的结构将其分割成多个子文件，然后逐个解析和处理。
- 使用压缩技术：如果XML文件中存在大量重复的数据，可以考虑使用压缩技术来减小文件的大小。常见的压缩格式有gzip和zip等，可以将XML文件压缩后再进行解析。
- 使用数据库存储：如果XML文件包含大量的数据，可以考虑将数据存储到数据库中，然后通过查询数据库来获取需要的数据。这样可以减小内存的使用量，并且可以利用数据库的索引和查询优化功能提高数据的访问效率。
- 使用专门的XML处理工具：有些云计算平台提供了专门用于处理大型XML文件的工具和服务。例如，腾讯云提供了XML解析服务（XML Parser），可以帮助用户解析和处理大型XML文件。用户可以通过调用相应的API来实现XML文件的解析和处理，具体的使用方法可以参考腾讯云的官方文档。
总结起来，解析/加载非常大的XML文件时出现内存错误可以通过使用流式解析、分割XML文件、使用压缩技术、使用数据库存储或者使用专门的XML处理工具来解决。具体的方法选择可以根据实际情况和需求进行决定。
相关·内容
8回答
我想创建一个文本框来加载xml文件，并让用户编辑它们。但是，我不能使用XmlDocument加载，因为文件可能非常大。我正在寻找以块为单位流式传输/加载xml文档的方法，这样就不会出现内存不足的错误--同时，性能也很重要。你能告诉我有什么好的选择吗？
浏览 2提问于2010-05-20得票数 5
1回答
我有一个非常大的XML文件(确切地说是20 it，是的，我需要所有的文件)。当我尝试加载该文件时，收到以下错误：
Python(23358) malloc: *** mmap(size=140736680968192) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Traceback (most recent call last):
File "file.py", line 5, in <mo
浏览 0提问于2013-02-18得票数 13
回答已采纳
我有一个非常大的XML文件(如果您关心的话，它是来自EAD的AIXM文件，但这并不重要)。为了弄清楚它是如何使用的，我想写一个简单的脚本，它遍历每个节点，记录它下面出现的子节点以及出现的次数，这样我就可以看到哪些节点包含<AptUid>，以及大多数<Rdn>节点是否有<GeoLat>节点，诸如此类的事情。
我尝试使用将整个内容加载到hashref中，但它太大了，无法放入内存。有没有XML解析器可以让我一次只查看文件的一部分？
浏览 0提问于2010-07-09得票数 1
回答已采纳
1回答
所以我找到了一种加载xml文件的方法。
DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();
DocumentBuilder builder = null;
String filePath = stuff;
try {
builder = factory.newDocumentBuilder();
} catch (ParserConfigurationException e) {
// TODO Auto-generated catch block
e.printStackTrac
浏览 4提问于2015-08-06得票数 1
我们目前正在使用DataSet加载数据，并使用Dataset将数据保存到xml文件中，xml文件的大小很可能会变得非常大。无论哪种方式，我们都想知道是否对xml文件的大小有任何限制，这样数据集将来就不会因为它的大小而遇到任何问题。请给我建议。感谢N
浏览 3提问于2009-11-09得票数 0
8回答
我需要建议在Delphi中使用什么(我使用Delphi 2009)来尽快处理非常大的XML文件(例如100 MB)。
我需要输入XML，从我的程序中访问和更新其中的数据，然后再导出修改后的XML。
希望输入和输出可以在几秒钟内在一台快速Windows机器上完成。
澄清。我希望我将需要使用DOM，因为访问数据结构对于开发报表和对数据进行更新很重要，而且我需要这个功能非常快。
输入只为文件加载完成一次，输出仅用于文件保存，通常在退出时只完成一次。这些应该也是快速的，但不像内存中的数据访问和更新那么重要。
我的理解是，第三方解析器只帮助输入和输出，而不是使用和修改一旦加载到内存中的数据。还是我弄错
浏览 11提问于2008-11-05得票数 8
回答已采纳
2回答
我有一个非常大的xml文件，其中类别在一个xml文件中，它根据类别id映射到另一个xml文件中的子类别。只有类别id和名称的xml文件加载速度很快，但是具有图像路径、描述、纬度-经度etc...is的子类别的xml文件需要时间加载。
我使用的是javax.xml包和org.w3c.dom包。列表操作是在每次单击时加载文件以查找子类别。有没有办法让整个过程更快？
编辑-1
下面是我用来获取子类别的代码: Document doc = this.builder.parse(inStream，null)；
doc.getDocumentElement().normalize();
浏览 2提问于2011-09-07得票数 0
回答已采纳
8回答
关于在C++中解析XML，等等，已经提出了很多问题……但是，我的问题并不是一般性的，而是非常具体的。
我要求一个非常有效的C++解析器。特别是，我有一个非常大的XML文件要解析。我的应用程序必须打开此文件并检索数据。它还必须插入新节点，并将最终结果再次保存到文件中。
为此，我在一开始使用了rapidxml，但它要求我打开文件，解析所有内容(所有内容，因为这个库在不加载整个树的情况下没有直接访问文件的功能)，然后编辑树，修改它，并通过覆盖它将最终的树存储在文件上……它消耗了太多的资源。
有没有一种XML解析器不需要加载整个文件，而是可以用来快速插入新节点和检索数据？你能指出我这个问题的解决方案吗
浏览 0提问于2011-01-13得票数 10
回答已采纳
我有一个非常大的XML文件，其中包含40,000个标记元素。当我使用元素树解析这个文件时，由于内存的原因，它给出了错误。那么，python中有没有什么模块可以读取数据块中的xml文件，而无需将整个xml加载到内存中?我该如何实现该模块？
浏览 3提问于2012-02-12得票数 6
回答已采纳
2回答
我有一个大约300mb的大型XML文件，当我尝试用XSLT转换它时，总是出现内存不足的错误，有没有人能推荐一个好的解决方案，让我能够成功地转换XML文件而不会出现这种错误。
我使用VB6并使用XSLT1.0转换XML，im使用DOMDocument加载XML文档。
浏览 0提问于2016-12-07得票数 0
我的要求是从服务器下载xml并将其保存到SD卡中，然后解析xml.XML大小非常大的文件。我直接使用url解析该xml，而不保存SD卡，但要求是先保存后解析。
我该怎么做呢？
浏览 0提问于2012-03-19得票数 0
回答已采纳
我的应用程序创建了一个非常大的xml文件(大约有300K事务)。每个事务将有大约20个xml元素。所以它创建了一个巨大的xml文件。我们没有使用JAXB、SAX或DOM来创建xml文件，因为内存是约束条件。现在，我需要在xml文件创建后替换它中的某些标记值。我知道要替换什么以及要替换的值。如何在不将整个文件加载到内存中的情况下替换这些变量？对于300K事务，文件大小约为600 MB。所以我们不想为了替换几个变量而将整个文件加载到内存中。
我们使用的是Java5。有什么办法可以做到吗？
浏览 2提问于2015-04-30得票数 2
使用Xstream解析器解析xml文件就像小xml文件的护身符一样。有时，我的web响应(xml格式)可能非常大，因为xml文件可能超过10MB。此时，Xml解析需要花费太多时间才能完成。如何提高Xstream解析器对大文件的性能。
浏览 1提问于2015-02-23得票数 2
我们需要加载和读取非常大的xlsx文件，其中可能包括100行和1000行。我们尝试加载一个大小为8MB的文件，而应用程序和web服务器上的最大堆大小都设置为4 4GB。代码在以下行运行到内存不足
XSSFWorkbook workbook = new XSSFWorkbook(is);
我想知道一个8MB的文件是否占用了4 4GB的堆大小。如果是这种情况，那么可以采取什么措施来避免出现内存不足问题。
浏览 0提问于2015-10-19得票数 0
项目可以很好地解析逗号分隔值、制表符分隔的数据和类似的数据格式。
我的印象是，这个工具读取文件时完全使用内存中保存的行对象。但是我不确定，我找不到任何关于这种行为的文档。
对于非常大的解析，我希望进行增量读取，一次只读一行，或者一次读一小行，以避免过多的内存限制。
仅在内存使用方面，这里的想法类似于XML的SAX解析器如何增量地读取，以尽量减少对RAM的使用，而DOM风格的XML解析器则将文档完全读入内存以提供树遍历。
问题：
Apache在读取文档方面的默认行为是什么:完全进入内存，还是增量？
这种行为可以在增量文档和整个文档之间进行更改吗？
浏览 1提问于2019-06-03得票数 3
回答已采纳
1回答
我正在尝试将大量的dbpedia数据加载到我的C#应用程序中，每次尝试加载它时都会出现内存不足的情况。
这些文件是非常大的文本文件，包含数百万条记录，每个记录的大小都超过250MB (其中一个实际上是7 7GB!!)，当我尝试将250MB的文件加载到我的应用程序时，它等待了大约10秒，在此期间，我的RAM (6 7GB，最初使用了2 7GB)增加到大约5 7GB的使用量，然后程序抛出内存不足异常。
我知道内存不足的异常都是关于空的相邻内存块，我想知道如何将这样的文件加载到我的程序中？
下面是我用来加载文件的代码，我使用的是库。
TripleStore temp = new TripleStor
浏览 4提问于2012-02-13得票数 3
在读取非常大的XML字符串并将其转换为Document对象时，我遇到了一些内存不足异常。
我这样做的方法是打开一个指向XML文件的URL流，将其包装在InputStreamReader中，然后将其包装在BufferedReader中。
然后我从BufferedReader中读取并附加到一个StringBuffer：
StringBuffer doc = new StringBuffer();
BufferedReader in = new BufferedReader(newInputStreamReader(downloadURL.openStream()));
String inputLi
浏览 0提问于2017-11-10得票数 0
1回答
我正在处理一个非常大的XML文件(我想因为它大约有45 GB)，我必须搜索OpenStreetMap数据文档并找到满足特定条件的特定路径。我目前正在使用，但是我认为它有点慢，因为我需要在XML中搜索特定的地理坐标。有没有更好的方法来做这件事？我也看过一点，但我想知道两者之间是否有更好的选择？谢谢!
浏览 2提问于2015-04-28得票数 0
3回答
我需要解析一个非常大的XML文件，文件大小为750Mo！
我的最大限制是512米
ini_set('memory_limit', '512M');
在30Mo下打开文件没有问题，但在750Mo下，我得到了一个致命错误
Fatal error: Allowed memory size of 1677721600 bytes exhausted (tried to allocate 2988843769 bytes)
我这样做是为了打开文件：
$fichier = file_get_contents($inputfileName);
$xmlInput = simp
浏览 0提问于2011-09-07得票数 3
回答已采纳
2回答
我正在用libxml2编写一个XML解析器。实际上，我完成了它，但有一个相当恼人的记忆问题。程序首先从我的数据库中获取一些链接，所有这些链接都指向一个XML文件。我使用curl来下载它们。这个过程很简单:我下载一个文件，然后解析它，依此类推……
问题似乎出在解析完成的时候。Curl下载下一个文件，但是看起来前面的XML并没有被释放，因为我猜libxml2会把它加载到内存中。在解析最后一个XML时，我发现自己泄漏了大约2.6 of (是的，其中一些文件非常大……)而我的机器只有4 4GB的内存。它目前有效，但在未来，更多的链接将添加到数据库中，所以我必须现在修复它。
我的代码非常基础：
xmlD
浏览 1提问于2013-05-21得票数 7
回答已采纳
2回答
我在将非常大的XML文件加载到Oracle DB (80MB)时遇到了问题。XML文件如下所示：
<?xml version="1.0" encoding="utf-8"?>
<names>
<catalog>
<row>
<col name="NAME">John</col>
<col name="SURNAME">Smith</col>
<col name="AGE">24</col>
<
浏览 2提问于2014-03-26得票数 1
我将构建一个脚本，并处理一个非常大的XML文件。我的问题是，当您必须使用拉式解析器而不是使用DOM或SimpleXML时？
当xml文件加载到内存中时，每次请求数据的每个用户都会加载它，即使是同时加载还是在一段时间内加载一次也是如此？
我应该遵循“分块方法”，还是避免使用它而使用SAX/XMLreader？
谢谢。
浏览 0提问于2011-07-21得票数 0
回答已采纳
我有一个很大的xml文件(要解析的osm地图数据文件)。要处理的初始代码如下：
FILE* file = fopen(fileName.c_str(), "r");
size_t BUF_SIZE = 10 * 1024 * 1024;
char* buf = new char[BUF_SIZE];
string contents;
while (!feof(file))
{
int ret = fread(buf, BUF_SIZE, 1, file);
assert(ret != -1);
contents.append(buf);
}
size_
浏览 0提问于2014-08-10得票数 0
我正在解析transxchange数据，它有一些大小非常大的文件，几乎是800 MB。当我试图解析这些文件时，我会得到以下错误。
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
=======================================================================
at java.util.ArrayList.<init>(Unknown Source)
at java.util.ArrayList.&
浏览 3提问于2012-05-15得票数 0
回答已采纳
3回答
如何解析一个非常大的xml文件并将其插入到mysql数据库中？我知道PHP和javascript
浏览 0提问于2011-03-31得票数 0
回答已采纳
如何使用Linq从目录中每个XML文件中提取单个XML属性，并将该元素放入C#列表中。我必须逐个遍历每个文件吗？XML文件非常大，因此我希望在不将整个文件加载到内存的情况下完成此操作。
谢谢，j
浏览 1提问于2010-05-12得票数 1
我对Java很陌生。我有这个2GB的xml文件，我需要解析它并将它的数据存储到数据库中。
StackOverflow上有人建议我在长xml文件中使用Dom4j。解析做得很好，但是返回的文档(由Dom4j返回)非常长，在迭代时将所有DOM对象加载到内存(堆)中。
这导致内存不足的异常.有人能帮我避免这样的错误吗？Java中是否存在按需堆分配和沉积的现象？
浏览 5提问于2013-06-10得票数 0
1回答
当我尝试使用库中提供的合适的加载器加载一个非常大的文件时，我的网站运行的选项卡崩溃了。我尝试过实现Worker类，但它似乎不起作用。下面是会发生的事情：
在主javascript文件中，我有：
var worker = new Worker('loader.js');
当用户选择一个可用的模型时，我检查扩展名并将文件URL/路径传递给worker：(在本例中是一个pcd文件)
worker.postMessage({fileType: "pcd", file: file});
现在，loader.js包含了使其正常工作所必需的适当的包含：
importScrip
浏览 3提问于2016-07-15得票数 0
6回答
(以下所有内容都是用Java编写的)
我必须构建一个应用程序，该应用程序将接受可能非常大的XML文档作为输入。文档是加密的--不是使用XMLsec，而是使用我的客户预先存在的加密算法--将分三个阶段进行处理：
首先，根据上述算法对流进行解密。
其次，扩展类(由第三方为我提供的API编写)将读取文件的某些部分。读取的量是不可预测的--特别是不能保证它会出现在文件头中，但可能会出现在XML中的任何点上。
最后，另一个扩展类(同样的处理)将把输入的XML细分为1..n个子集文档。这些可能会在某种程度上与第二个操作处理的文档部分重叠，即:我相信我将需要回溯我正在使用的处理此对象的任何机制。
这是我的问
浏览 3提问于2008-12-10得票数 19
回答已采纳
3回答
我一直在研究用Java加载XML文件，但我似乎无法破译其中的某一部分。我知道SAX是一种流机制，但是当谈到DOM时，不同的站点谈论的是“在完整文件中加载”或“在所有标记中加载”的模型，建议将SAX用于大型XML文件。
DOM实际加载整个文件的程度如何？第二次访问根节点时，它会为文件的每个字节分配程序内存吗？当它加载文本内容时，它是否只加载标签直到最低级别？
我将处理大文件，但随机访问会很有用，而且需要编辑，所以我相信DOM是我的最佳选择。
非常感谢。
浏览 0提问于2011-08-16得票数 2
回答已采纳
我正在构建一个从服务器获取XML，然后对其进行解析的应用程序(它是DIDL格式的，在某些地方)。我们的目标是将尽可能多的内存加载到内存中，让用户更容易浏览(以便快速浏览结果)，但我一直在使用OutOfMemoryErrors。我对Android还是个新手，看起来虚拟机对事情真的很挑剔。我加载的XML不超过一兆字节，并且几乎立即丢弃它。我应该做些什么来防止这些错误的发生？
我是不是应该通过网络逐块加载文件，将其写入磁盘，然后逐块加载回内存，然后将所有内容解析为POJO？如果可以避免，我希望不必实现某种形式的分页，就像Twitter应用程序一样(它过去在触底时加载更多条目，现在它一次加载很多条目，
浏览 0提问于2011-02-28得票数 1
回答已采纳
1回答
假设我有非常大的XML文件，其中的条目具有<id>标记或id=""属性。
怎么用这个身份证搜索？我能创建一些搜索索引什么的吗。
目前我正在使用org.w3.dom。它有什么搜索手段吗？
更新
我最大的XML文件是下载的维基百科。它有40G大小，有数百万张记录。
是否有可能用Lucene之类的东西索引它，然后快速搜索ID？
UPDATE2
尝试过BaseX。它吃掉了我的XML并创建了32 It的数据库。不明白它是否截断数据或32‘t是由于某种压缩。
不幸的是，按ID进行搜索需要70-80秒或更长时间。因此，它比Mediawiki查询更长。
浏览 3提问于2013-02-03得票数 2
我正在使用下面的代码在Lua中加载一个非常大的文件(大约16 of )，并出现内存不足的问题。我想知道下面的代码是在内存中加载整个文件，然后逐行迭代，还是一次只加载一行？
for line in f:lines() do ... end
在Lua中有没有更好的加载大文件的方法？
浏览 1提问于2016-07-01得票数 2
我正在用IzPack创建一个安装程序。它非常大，并且我已经使用和标记适当地分解了我的XML文件。不幸的是，在构建安装程序时，IzPack不会将它们组合在一起。这需要您将文件与安装程序一起打包，这是行不通的。
我正要开始用Java编写一个工具来加载XML文件并组合它们，但我不想重复发明轮子。
Java XML库是否提供对xinclude的本机处理？谷歌似乎并没有出现太多。
如果我必须自己写这篇文章，没什么大不了的，只是想和你们确认一下。谢谢。
用于示例的XML格式: File1.xml
<?xml version="1.0" encoding="iso-8859-1
浏览 0提问于2008-09-16得票数 2
3回答
内存使用率恒定的xml解析
、、、、
我正在尝试寻找具有xpath支持的xml解析器，该解析器使用少量内存，或者更确切地说，使用恒定数量的内存，我正在尝试解析大型xml文件，比如几乎1Giga，我一直在阅读关于xqilla的文章，它似乎使用了非常大量的内存，因为它是基于dom的，如果我错了，请纠正我。不管怎么说，有什么想法可以为C++和linux开发这样的xml解析器吗？
浏览 0提问于2011-04-16得票数 5
我有一个问题，我试图读取一个可能非常大的JSON文件，它给了我一个内存错误，因为我找到的所有东西都直接加载到一个数组中，而不是能够逐个对象地访问。
我的代码是：
Object obj = parser.parse(new FileReader("file.json"));
JSONArray jsonObject = (JSONArray) obj;
Iterator<JSONObject> iterator = jsonObject.iterator();
while (iterator.
浏览 0提问于2020-08-11得票数 0
我有一个非常大的XML文件(包含一个xsd文件)，它有许多不同的对象需要导入到Server表中。当我指对象时，我指的是最高级别的XML包装标签，例如产品、订单、地点等。
我目前使用SSIS的方法是：
创建数据流任务
在数据流任务中设置新的XML源。
将新的OLE DB目标拖到任务中
将XML输出链接到OLE DB目标的输入。
打开OLE DB目标任务，并要求它为要进入的数据创建一个新表。
我必须对XML文件中的所有对象重复步骤3-5，这些对象可能会运行到数百个。我不可能手动这么做。
是否要让SSIS只为SQL server中的所有不同对象创建新表并将数据导入其中？因
浏览 5提问于2014-12-03得票数 0
在我最新的应用程序更新中，我将每个用户的.sqlite数据库移动到不同的目录。我使用的是核心数据方法migratePersistentStore:toURL:options:withType:error，一些用户的应用程序由于内存占用过多而关闭。因此，我返回到NSFileManager的moveItemAtPath:toPath:error方法。我不认为这会像migratePersistentStore:toURL:options:withType:error那样将数据库加载到内存中，但我担心的是，移动一个非常大的数据库仍然会出现相同的内存问题。我需要一些建议--当文件被移动时，是否有人确切地
浏览 1提问于2018-09-08得票数 0
回答已采纳
我正在解析一个格式不正确的xml文档，其中包含"&“，如果节点中包含"&”，则解析不正确。
例如<abcnode>£70.00-£90.00</abcnode>
当我尝试获取这个节点的值时，它返回"70.00-“。
我无法控制这个xml，所以我必须解析这个格式错误的xml。
我正在使用XmlTextReader reader = new XmlTextReader(url);从url加载xml。
我可以让xml替换£来解决我的问题，但是这个xml可能非常大，所以我不想下载
浏览 0提问于2011-06-24得票数 1
2回答
我有相当大的xml文件和相对较少的内存。在解析文件时，我目前正在将整个文件加载到内存中，如下面的代码片段所示，这会减慢整个计算机的运行速度，有时甚至无法工作。我想知道是否有一种方法一次只将一个项目装入内存？也许在处理当前文件时加载下一个文件时使用一些多处理，比如在深入学习中使用。
root = ET.parse("my_file.xml").getroot()
for child in root:
do_something()
浏览 13提问于2022-01-14得票数 1
在搜索一个非常大的文本文件时，如何分配内存才不会出现“空间不足”错误呢？有什么特殊的算法吗？
浏览 1提问于2019-06-17得票数 1
我们如何在Ruby中解析json文件？
require 'json'
JSON.parse File.read('data.json')
如果文件非常大，而且我们不想一次将它加载到内存中，该怎么办？那么我们将如何解析它呢？
浏览 2提问于2018-10-18得票数 4
回答已采纳
我有一个庞大的XML集(2000个文件，每个有500行)需要在Android中解析，以便从中获取信息。所有文件都将出现在设备中。我需要在iPhone中完成这项工作，我通过将所有的XML转换成PLIST文件来完成它。iOS中的PLIST处理比iphone中解析XML更快。同样，对于android，有没有可用的选项？或者，在android中解析这些XML的最好方法是什么，因为我觉得我们在iphone中遇到的同样问题(解析时产生的性能)也会出现在这里？
浏览 1提问于2010-10-27得票数 2
回答已采纳
随着这些天非常大量的内存，我在想，有可能分配一个大于4 4GB的内存块吗？或者，我是否需要分配一堆较小的块并处理它们之间的切换？
为什么？我正在处理一些openstreetmap xml数据，这些文件非常大。我目前正在传输它们，因为我不能在一个块中加载它们，但我只是对malloc或new的上限感到好奇。
浏览 4提问于2008-10-08得票数 43
回答已采纳
我在一台内存为8 8gb的机器上用python创建一个非常大的netCDF文件时遇到了问题。
我用numpy.memmap创建了一个非常大的数组，以便将此数组放在磁盘中，而不是ram中，因为它的大小超过了可用的ram和交换空间。(ram和swap分别=8 gb )
我用以下命令在nc文件中创建了一个变量
var = ncout.createVariable('data',ARRAY.dtype,\
('time','latitude','longitude',),\
浏览 1提问于2015-09-17得票数 2
我在Windows 32位PC上使用Python2.4版本.我试图使用ElementTree模块解析一个非常大的XML文件。我从effbot.org下载了这个模块的1.2.6版本。
为了达到我的目的，我遵循了以下代码：
import elementtree.ElementTree as ET
input = ''' 001 Chuck 009 Brent '''
stuff = ET.fromstring(input)
lst = stuff.findall("users/user")
print len(lst)
for i
浏览 0提问于2012-06-06得票数 2
1回答
我正在使用lxml解析一些非常大的xml文件(每个大约15MB)。虽然我在概念上是这样做的：
import lxml.etree as ET
def process_xmls():
for xml_file in xml_files:
tree=ET.parse(xml_file)
etc. etc.
现在，我调用这个函数，我看到内存在不断增加，这是合理的。问题是，在函数结束之后-内存仍然很高，Python不会释放它！为什么会这样，有什么解决方法吗？
浏览 20提问于2017-12-26得票数 3
我有一些非常大的txt文件(大约1.5 GB )，我想将它们作为数组加载到Python中。问题是在此数据中，逗号被用作小数分隔符。对于较小的文件，我提出了以下解决方案：
import numpy as np
data= np.loadtxt(file, dtype=np.str, delimiter='\t', skiprows=1)
data = np.char.replace(data, ',', '.')
data = np.char.replace(data, '\'', &#
浏览 0提问于2017-01-11得票数 5
2回答
我对XML非常陌生，在Matlab中对XML也非常陌生，但我正在尝试从(非常大的) XML文件中读取属性。
该文件如下所示：
<WorkGen>
<experiment>
<parameters>
<exptid> abcd </exptid>
<years> 400 </years>
</parameters>
</experiment>
<experiment>
<parameters>
<exptid> wxyz &
浏览 10提问于2014-08-20得票数 0
回答已采纳
1回答
我们有非常大的xml文件(5-10MB)，其中包含大量的数据，我们需要在java中开发POC来解析它，并通过维护适当的关系将它们插入到数据库表中。
谁能告诉我这种设计的最佳实践是什么？我们如何才能以更有效的内存方式解析它们？
浏览 0提问于2015-08-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
