解析大型(10GB+) JSON文件的最佳方法
解析大型(10GB+) JSON文件的最佳方法可以通过以下步骤来实现：
- 读取文件：首先，需要使用适当的方法从磁盘上读取大型JSON文件。可以使用流式读取的方式，逐行或逐块地读取文件内容，而不是一次性将整个文件加载到内存中。这样可以避免内存溢出的问题。
- 解析JSON：在读取文件的过程中，可以使用JSON解析器逐行解析JSON数据。JSON解析器可以将JSON数据解析为内存中的对象或数据结构，以便后续处理。
- 分批处理：由于文件较大，可以将数据分批处理，以减少内存的使用。可以将文件分成多个较小的部分，然后逐个部分进行解析和处理。
- 使用流式处理：对于大型JSON文件，可以使用流式处理的方式来处理数据。流式处理可以在解析JSON数据的同时进行其他操作，而不需要将整个JSON文件加载到内存中。这样可以提高处理效率和降低内存消耗。
- 并行处理：如果处理速度较慢，可以考虑使用并行处理的方式来加速处理过程。可以将文件分成多个部分，然后使用多个线程或进程同时处理这些部分，以提高处理速度。
- 错误处理：在解析大型JSON文件时，可能会遇到各种错误，如格式错误、缺失字段等。需要适当处理这些错误，以确保程序的稳定性和可靠性。
- 数据存储：解析完成后，可以将解析后的数据存储到数据库或其他存储介质中，以便后续的数据分析和应用。
总结起来，解析大型JSON文件的最佳方法包括流式读取文件、逐行解析JSON数据、分批处理、使用流式处理、并行处理、错误处理和数据存储。这些方法可以提高解析效率、降低内存消耗，并确保程序的稳定性和可靠性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生应用引擎（Tencent Cloud Native Application Engine）：https://cloud.tencent.com/product/tcnae
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（Mobile）：https://cloud.tencent.com/product/mobile
- 腾讯云分布式数据库（TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云区块链（Blockchain）：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
相关·内容
可以在javascript/jquery中为JSON对象生成hashmap吗？我有一个复杂的大型JSON对象。我必须遍历它以根据时间过滤数据。
从JSON/hash map获取数据的最佳方法是什么？
浏览 4提问于2012-09-25得票数 0
回答已采纳
1回答
可能重复：
所以我有一些相当大的json编码文件。最小的是300MB，但这是目前为止最小的。其余的是多GB的，从大约2 GB到10GB+。
所以当我尝试用Python加载文件时，我似乎耗尽了内存。我目前正在运行一些测试，看看处理这些东西大概需要多长时间，然后再看看下一步该怎么做。下面是我用来测试的代码：
from datetime import datetime
import json
print datetime.now()
f = open('file.json', 'r')
json.load(f)
f.close()
print dateti
浏览 153提问于2012-04-30得票数 103
回答已采纳
我试图使用简单的JSON解析大型JSON文件，并且正在摆脱内存错误。我在Windows 10上，我的笔记本电脑有8gb内存。该文件为250 2gb，我还需要解析一个2GB文件。我也尝试过使用StrinBuilder，但是我在StringBuilder上得到了内存错误。下面是我使用StringBuilder的代码：
BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("myfile.json")));
String line = null;
Str
浏览 6提问于2016-04-24得票数 1
回答已采纳
3回答
目前，我需要构造和更新大型xml文件。那么，创建或更新C#文件的最佳xml解析器是什么呢？我在c#中听说过LINQ，这个可以用吗？
浏览 0提问于2010-04-12得票数 4
回答已采纳
1回答
加载大型Json文件的另一种方法
、、、、
我正在尝试加载一个大的json文件(大约4G)作为pandas dataframe，但以下方法不适用于大于2G的文件。有没有其他的方法？
data_dir = 'data.json' my_data = pd.read_json(data_dir, lines = True)
我尝试过ijson，但不知道如何将其转换为dataframe。
浏览 3提问于2017-07-11得票数 2
我正在尝试上传大小超过10GB+的文件，并且有多个文件要在服务器上上传。
我在Web.config中做了一些修改，以上传大文件。
<system.web>
<compilation debug="true" targetFramework="4.5" />
<httpRuntime executionTimeout="6000000" maxRequestLength="2147483647"/>
</system.web>
<system.webS
浏览 2提问于2016-03-21得票数 4
这对我来说是一项非常具有挑战性的任务，因为在将XLSX转换为CSV的过程中，为了摆脱OutOfMemroyError，我做了大量的研发工作，我的excel文件可以有三个工作表，每个工作表有60000行。我最近使用了XSSF和SAX (事件API)，因为这种方法消耗的内存非常少。然而，Event只对文件中实际存储的内容触发事件，这对我来说可能是原因。
在此事件API方法的前面，我使用Workbook类来处理XLSX文件，最后在下面提供的工作簿创建过程中，我将从内存中解脱出来。
工作簿工作簿=WorkbookFactory.create(新文件(“myfile.xlsx”))；
那么，使用
浏览 1提问于2012-11-08得票数 0
回答已采纳
1回答
在处理用Java实现的API时，其中一个操作需要打开一个大的JSON文件，并返回一个由给定字符串标识的对象。所讨论的文件是由大量对象组成的数组，读取整个文件并在内存中创建大量Java对象只返回一个是没有意义的。 那么，在流模式下读取JSON文件的好方法是什么呢？
浏览 24提问于2019-02-22得票数 0
我进退两难。
我需要从各种来源读取非常大的XML文件，因此这些文件通常是无效的XML或格式错误的XML。我仍然必须能够阅读文件并从中提取一些信息。我确实需要获取标记信息，所以我需要XML解析器。
是否可以使用Beautiful将数据作为流而不是整个文件读取到内存中？
我试图使用ElementTree，但我不能使用，因为它会阻塞任何格式错误的XML。
如果Python不是用于此项目的最佳语言，请添加您的建议。
浏览 6提问于2014-02-12得票数 3
回答已采纳
1回答
我将使用包含一些数据的本地JSON文件。我的问题是在哪里存储文件的最佳/适当的方式，以及我应该如何访问它和它的内容？
我以前通过http使用过json，但没有在本地使用过。
浏览 0提问于2014-05-22得票数 39
回答已采纳
将自定义JSON文件作为数据加载到A框架组件中的最佳方法是什么？例如，JSON文件可能包含点的坐标。我希望将文件作为资产加载，并在组件中使用解析的json对象。
{"coordinates": [{"x": 0, "y": 1, "z": 2}, // ...]}
浏览 3提问于2017-01-09得票数 5
回答已采纳
1回答
是否有jq处理的最大json文件大小。我从github源代码构建了JQ1.6。
我尝试过处理288 to的json文件(在下面的命令handwriting_data_info1.json中)，并得到了以下错误：
$ jq 'INDEX(.images[]; .id) as $imgs | { "filename_with_label" :
[ .annotations[] |
select(.attributes.type=="letter" ) |
$i
浏览 1提问于2020-04-20得票数 1
回答已采纳
我想使用Spark streaming来读取JSON格式的单个Kafka主题消息，但是并不是所有的事件都有类似的模式。如果可能，检查每个事件的模式并进行相应处理的最佳方法是什么？
是否可以在内存中对多个组进行分组，每个组由一组相似的模式事件组成，然后将每个组作为一组进行处理？
浏览 0提问于2018-05-30得票数 1
在数据库中存储大型JSON文件的最佳方式是什么？我知道CouchDB，但我非常确定它不支持我将要使用的文件大小。
我不愿意只从磁盘上读取它们，因为读取和更新它们需要时间。该文件是一个由大约30,000个元素组成的数组，因此我认为将每个元素分别存储在传统数据库中会在我试图将它们全部选中时杀死我。
浏览 0提问于2009-12-27得票数 2
回答已采纳
2回答
在Linux中，有没有办法将JSONL转换为JSON，并具有完整的JSONL文件深度？我发现了一些基于jq的方法，但它们不适用于完整深度的JSONL文件
浏览 1提问于2018-01-16得票数 1
正如在问题标题中提到的那样，我需要最佳实践，从资产文件夹加载大型的JSON文件，并在列表视图中解析它，并考虑列表的分页。
浏览 1提问于2019-03-05得票数 0
我在一个非常大的javascript项目中工作，最近流开始占用过多的RAM (大约4Gb)来运行它的静态分析。
我相信我的团队将包/文件引入到可能难以解析的项目中(例如，JSON数据文件)。
是否有任何方法可以让我看到哪些文件流正在挣扎，或者看到它正在加载的文件的日志？或者，是否有一种方法可以告诉流“放弃”大文件？
编辑:我的问题来源是一个150 my的JSON文件--我使用Lewis C的答案中的命令找到了这个文件。
浏览 4提问于2017-03-25得票数 1
回答已采纳
5回答
我正在尝试使用gson在android模拟器上进行对象映射。
在处理208kb左右的json数据时，它的速度慢得离谱。我的json中没有任何层次结构。
对象映射完成后，我可以看到gson创建了大约500条记录。
在android模拟器上映射输入json需要超过3分钟。
我已经注释了我的实体，它由字符串和几个浮点组成。
我是不是错过了什么？
任何想法和最佳实践都会有很大帮助。
有没有什么方法可以快速映射json数据？
URL myURL = new URL(url);
/* Open a connection to that URL. */
URL
浏览 0提问于2010-07-16得票数 14
我想要创建一个请求类，它收集所有部分(文件和项)并验证它，类似于我在json请求中放置的示例(如下所示)。
请求JSON示例类
import kotlinx.serialization.Serializable
@Serializable
class CreateGroupRequest(
val name: String,
val description: String? = null,
val visibility: String? = "PUBLIC"
)
处理JSON请求示例
route("create") {
浏览 6提问于2021-10-19得票数 0
回答已采纳
我有一个ADF管道，将原始日志数据作为JSON文件加载到data 2容器中。
我们现在希望从这些JSON文件中提取信息，我正在试图找到从上述文件中获取信息的最佳方法。我发现Azure和U脚本非常强大，也很便宜，但它们需要一个陡峭的学习曲线。
是否有一种解析JSON文件并从中提取信息的推荐方法？数据湖表是否足以储存所提取的信息，从而作为下游报告进程的来源？
最后，Azure是否能够解析嵌套数组JSON？
浏览 0提问于2021-02-17得票数 3
回答已采纳
2回答
我正在处理一个涉及一个大型JSON文件的项目，基本上是一个以JSON形式转储的多维数组，但总体大小将大于我拥有的内存量。如果我以字符串的形式加载它，然后解析该字符串，这将消耗所有的内存。
是否有任何方法限制内存消耗，例如仅检索特定索引之间的数据？我能否仅使用Nlohmann库/标准库来实现它呢？
浏览 4提问于2022-10-21得票数 0
1回答
我有一个这样的JSON文件：
{"start":1489730400000,
"end":1489733999999,
"interval":1000,
"weight":1,
"augmented": true,
"profileName":"Selene/prod",
"prunedSamples":0,
"fleet":{"c4.2xlarge":14.313278698132972}, "costPerSe
浏览 0提问于2017-04-02得票数 0
2回答
下载大文件
、、、
关于制作应用程序的最佳方法，我有一个问题，它必须下载并显示pdf，它是由一个JSON提供的，它有147个pdf文件的链接，大小在1到2MB之间。
问题：
将所有文件下载到iPad的最佳方法是什么？
我要使用AFNetworking 2.0吗？
NSFileManager是保存所有文件的方法吗？
我可能会遇到以下问题：
通过异步下载，如果失去了连接或iPad上没有更多的空间，计数器是什么？
是否有针对这种情况的教程或示例？
很抱歉问了这么多问题，但我是新手。诚挚的问候。
浏览 5提问于2014-10-23得票数 1
回答已采纳
1回答
将两个大型XML文件的元素与产品进行比较的最佳方法是什么？
例如:如果一个XML文件包含一个与第二个XML文件具有相同id的product，我想选择具有较新date_added的产品并将其保存到新文件中。
我的XML代码示例：
<products>
<product id="1" date_added="2016-05-05">
<category><![CDATA[Category1]]></category>
<name><![CDATA[P
浏览 0提问于2016-06-15得票数 0
我在网上到处寻找组织ASP.NET MVC2项目的最佳方式。我只见过人们使用MVC2项目的默认模板的例子。但是，如果项目包含大量文件，这是组织项目的最佳方式吗？
我们正在构建一个大量围绕JSON和ajax的jQuery构建的应用程序。因此，正如您可以想象的那样，我们将拥有许多自定义的.js支持脚本。
在我们的解决方案中，我们已经将所有的支持库(第三方和自定义)放入了各自的项目中。也在解决方案中的MVC2项目正在使用默认的MVC2模板。
在MVC2项目中，“起始”结构仍然保持不变。在控制器目录下，我们有每个控制器AccountController.cs和HomeController.cs (例如
浏览 2提问于2011-01-28得票数 4
回答已采纳
我正在学习iOS开发。目前，我开始了我的爱好项目，这是一个天气预报应用程序。我找到了一个开放的REST API，我可以发送请求来获取一个城市的天气数据。
REST需要我用城市id而不是城市名称发送请求&它为我提供了一个20 me的json文件，其中包含带有字段city_id、city_name、longitude、latitude的城市对象。我知道我应该创建一个City类来拥有这些字段。
我的应用程序应该允许用户输入城市名称，然后，我的应用程序使用相应的城市id发出请求。我的问题是关于这方面的最佳做法：
因为我需要所有的城市it，我应该下载20 my的json文件并将它嵌入到我的应
浏览 0提问于2016-05-12得票数 0
回答已采纳
1回答
使用大型.JSON文件(PHP)
、、、、
我有一个很大的JSON文件，我正试图将其插入到数据库中。当使用json_decode将其转换为数组以将其插入到数据库中时，我得到一个错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 188340087 bytes) in site.php on line 48
有没有一种更有效的方法来转换这些数据，而不必逐行读取和缓冲。如果没有，我应该如何开始读取每一行并解码它？如果能帮上忙我会很感激的。
{"items":[ {
"itemId" :
浏览 2提问于2014-01-11得票数 2
我有一个很大的JSONL文件(大约100 GB)。我想将其转换为pandas数据帧，并通过迭代所有行对列应用一些函数。 阅读这个JSONL文件的最佳方式是什么？我目前正在做以下工作，但它被卡住了(在GCP上运行此程序) import pandas as pd
import json
data = []
with open("my_jsonl_file", 'r') as file:
for line in file:
data.append(json.loads(line))
浏览 9提问于2020-03-17得票数 0
回答已采纳
1回答
我正在用我的mp4应用程序下载一个iOS文件，它使用
NSData dataWithContentsOfURL
但只有在文件被更新后我才需要更新，
我能检查一下文件头吗？或者，确定文件是否已经更新以便我再次下载该文件的最佳方法是什么？
谢谢
浏览 2提问于2014-01-13得票数 0
回答已采纳
我有一个带有|分隔符的CSV文件。我想使用mlcp将其加载到MarkLogic中，并将所有数据作为单个JSON文档加载，而不是多个JSON (每行一个JSON)。
CSV：
Name | age | gender
Steve | 30 | M
Rogers | 28 | M
JSON期望：
{
"Name":"Steve",
"age":30,
"gender":"M"
},
{
"Name":"Rogers",
"age":30,
"
浏览 4提问于2019-07-29得票数 0
我正在用Python编写一个程序，它解析一个文件并记录对该文件的更改。现在我的问题是，什么格式是存储这些信息的最佳方式，以便它可以在本地机器上与Javascript一起使用。目标是生成离线html文件，这些文件将以格式化列表和图形的形式显示日志。
JSON有很好的品质，但我认为以后要一遍又一遍地编写整个JSON文件会很麻烦。
“正常”类型的日志文件很容易附加到文件的末尾，但我有点不确定用Javascript访问这种数据的最佳方式是什么。
日志文件将是最大的，也许是一万行。
浏览 0提问于2013-05-27得票数 0
我的问题是，我认为JSON.stringify需要很长时间才能发送给每个单独的用户。假设有4个人同时连接，服务器会被困在解析数组中，每个人都会有很长的等待时间。
还有比JSON.stringify -ing更好的方法吗？
浏览 0提问于2017-04-03得票数 0
我是angular js.i google的新手，但没有发现任何有用的东西。
这是我的retails.json文件：
{
"categories": [
{
"dept_id": "123",
"category_name": "database",
"category_discription": "list of database",
"curren
浏览 20提问于2016-09-01得票数 0
2回答
在Read服务器上异步读/写文件
、、、、
我有一个快速服务器在运行。其中一个post路由执行http请求，其中每个请求我都希望将数据记录到一个文件中。我要记录的数据是从发送的数据中提取出来的。
我发送的数据是xml格式的，所以我首先用xml2js模块解析它。之后，我读取该文件，以便可以附加新的JSON，然后将结果写回我的文件。我使用jsonfile模块来读写我的json文件。
我现在担心的是当两个请求同时到来的时候。
我的读/写将是异步的，并且我会丢失数据。我相信，随着文件开始增长，函数需要更多时间才能完成，问题将变得更加明显。
那么我该如何处理呢？我绝对反对使用readfilesync和writefilesync。
...
a
浏览 0提问于2016-06-27得票数 0
我正在编写一个nodejs实用程序(NPM模块，打算在全球安装)，它需要存储一些用户提供的值。在系统上存储这些值的最佳方法是什么？
例如，我是否应该在say：/etc/{my-utility-name}/conf.json下面创建自己的配置文件，并在directory+file脚本中初始化这个directory+file？
()
浏览 3提问于2013-10-18得票数 9
回答已采纳
在Backbone.js中，模型加载和保存是通过ajax调用完成的。但是，有没有在页面加载时加载初始集合而不必通过ajax下载的最佳实践？我正在尝试尽可能多地提前进行服务器端渲染。
在过去，我用一个包含初始数据状态的json字符串的javascript变量作为html的种子，这样它就可以呈现在服务器端，但我不确定这是否是一个好的做法。
浏览 2提问于2012-10-26得票数 9
我正在使用qt，并且我解析了一个复杂的JSON数据结构，但是每次我需要解析这个JSON时，我都会发现自己在做很多循环。解析复杂、大型和复杂的JSON结构的最佳方法是什么？
浏览 0提问于2010-05-10得票数 0
我们与业务合作伙伴共享FTP。合作伙伴向那里发送包含有关订单信息的文本文件。
在我们这边，我们每小时(CRON)运行一个rake任务，它将连接到FTP (我们使用)，然后在一个循环中列出所有文件，一个接一个地打开，从中提取所需的信息并将其保存到数据库中。然后，我们从FTP中删除该文件。
对于一个普通的文件，这个操作大约需要20秒。如果我想象我们需要处理20个文件，那几乎是7分钟，我担心应用程序会崩溃。
下面是我们使用的伪代码：
namespace :check_ftp do desc "Check every 30 minutes"
task :fetch_orders
浏览 0提问于2018-05-14得票数 0
我想知道如何存储JSON数据以获得最佳的性能和可伸缩性。
我有两个选择：
第一种方法是使用，这可能在性能和处理数据方面为我提供了一个简单的优势，因为我不必每次都将它们从文件中取出。
我的第二个选择是将我的JSON数据存储在FileFields中作为json文件。这似乎是最好的选择，因为大量的JSON不会存储在DataBase中(只存储文件的位置)。在我看来，这是可伸缩性的最佳选择，但对于用户性能可能不是这样，因为在模板中显示文件之前，必须每次读取文件。
我想知道，如果我有合理的想法，那么存储JSON数据的最佳方法是如何使JSON数据尽可能快地被重用，而不会使数据库变得复杂&am
浏览 0提问于2017-06-25得票数 1
回答已采纳
1回答
我有一个500mb的JSON文件大小，需要使用fromJSON在R中处理它。
要么崩溃，要么达到内存限制。
我使用过的一些代码如下所示
raw<- big.matrix(unlist(fromJSON("data.json")), ncol=24, type='integer', init=2, backingfile='data.bin')
其他信息Win 8 64位，内存6 6GB，R版本3.1.3
以下是JSON文件的一些行
["UPGRADE(ONLINE)", "20150223", "5
浏览 1提问于2015-03-30得票数 0
5回答
我在网站上做了一些快速搜索，但似乎找不到我正在寻找的答案，因此，可以说，在网络上传递大型xml文件的最佳实践是什么。我在这个问题上的想法是在网络中以可管理的部分流块，但是我正在寻找其他的方法和最佳实践。我意识到大是一个相对的术语，所以我会让你选择一个任意的值来认为是大的。
如果出现任何混淆，问题是“在网络上发送大型xml文件的最佳实践是什么？”
编辑：
我看到很多压缩被谈论，任何特定的压缩算法，可以使用和在解压缩所述的文件？当我意识到外面有经过验证的算法时，我不太想翻滚自己的电脑。此外，我也非常感谢到目前为止的答复。
浏览 1提问于2010-01-25得票数 3
回答已采纳
2回答
PHP自定义数据服务缓存
、、、
我需要为PHP应用程序实现一种快速缓存机制。它的工作原理是这样的:多个节点服务器从一个中央服务器请求数据(通过JSON服务)。节点服务器应该以某种快速有效的方式在文件系统上缓存响应。这就是问题所在--存储部分的最佳解决方案是什么？我有一些类型- XML (听说它对于许多记录来说效率很低)，将包含内容的数组定义存储在PHP文件中，或者只是将记录数组转储到文件中。在这种情况下，哪种方案最有效？或者是别的什么？我需要注意的是，它必须在一个干净的PHP上实现，没有任何额外的库或>=5.2。
浏览 0提问于2012-10-04得票数 0
回答已采纳
1回答
在Ruby中一次又一次地解析同一个JSON文件似乎需要越来越多的内存。请考虑下面的代码和输出：
为什么在第一次迭代之后没有释放内存呢？
为什么一个116 up的JSON文件在解析后占用1.5Gb的RAM？考虑到文本文件被转换为散列，这是令人惊讶的。我在这里错过了什么？
代码：
require 'json'
def memused
`ps ax -o pid,rss | grep -E "^[[:space:]]*#{$$}"`.strip.split.map(&:to_i)[1]/1024
end
text = IO.read(&
浏览 1提问于2013-06-17得票数 12
我有一个包含两列[key, chunk]的csv文件，需要将其插入到SQL db表中。(放大信息-托管在GCP上的Postgresql数据库，我可以很好地选择和执行其他数据库操作。)
我的csv文件有1000多万行。因此，我很好奇，针对Postgresql语法，我可以使用的最佳批处理插入选项是什么？将csv文件作为pandas数据帧打开会有帮助吗？由于文件的大小，我希望避免迭代行插入。
浏览 2提问于2021-05-28得票数 0
我对JavaScript编译器的术语很好奇。
当您在撰写或描述Webpack (将多个文件捆绑为一个文件并执行优化)和Babel (将ES6转换为较旧版本的JavaScript)等技术时，编译器会是描述这些技术的最佳词吗？
浏览 0提问于2019-07-15得票数 0
回答已采纳
4回答
我正在创建一些用JavaScript/jquery准备的自定义控件的树。
为了创建树，我们提供了json对象作为java-script的输入，用于遍历和创建树。
因为数据量可能会增加到25K个节点。在一次基本的负载测试中，我们发现浏览器会因为这样的容量而崩溃。
另一种解决方案是加载第一级节点，然后通过AJAX请求按需加载rest。第一级容量最高可达500 - 1K个节点。
作为来自服务器的响应，json的最大大小是多少。在浏览器上处理如此大量的数据的最佳方法是什么？
浏览 2提问于2012-01-20得票数 43
回答已采纳
1回答
因此，我的问题包括两部分：
我应该把我的翻译文件放在我的应用程序结构的顶部，还是应该在每个组件附近保存一个单独的翻译文件，以使它们真正独立？如何组织它最好的方式？
在翻译文件(JSON)中组织翻译字符串以避免搜索和复制问题的最佳方法是什么？
浏览 0提问于2021-06-24得票数 0
回答已采纳
2回答
在google上搜索了几天之后，我终于强迫自己在这里问这个问题。
我几乎没有json文件。
localhost/feed01.json
localhost/feed02.json
localhost/feed03.json
所有与此类似的json文件结构。但随机数据包括随机、id、日期类型等.
[
{
"id":1,
"date": "12/12/2011",
"type": "Run",
"di
浏览 3提问于2012-10-22得票数 1
回答已采纳
1回答
我正在使用excel-as-json模块()，我已经设置了它，以便将我的.xlsx文件转换成.json，但是现在我改变了它，以便用户在应用程序的前端上传.xlsx。
我想在上传的Excel文件上运行转换，但是由于我要让用户上传它-实际上我没有路径，只有文件对象本身。所以excel-as-json告诉我它找不到src文件[Object object]
作为json函数调用的excel是：
convertExcel(src, dst, options, callback);
以src的形式传递对象的最佳方法是什么？如果我将.xlsx存储在我的mongoDB中，那么我可以更容易地传递它的路径吗？
浏览 2提问于2017-10-16得票数 0
回答已采纳
虚构故事：
我有一个汽车网站，包含了在美国各地的200,000+汽车清单。我从两个来源获取数据，CarSeats和CarsPro每晚更新一次。这两个源都包含大约100,000个JSON格式的详细列表。这两个提要的文件大小约为8GB，我计划在不久的将来加入更多的二手车源。
当前的JSON数据包含了显示从汽车搜索到购买汽车的所有信息，但是JSON是本地存储的，我使用PHP的file_get_contents()为每个清单获取适当的元数据。归还200辆车大约需要8至12秒，这还不错，但我知道还有改进的余地。
我的问题是：
将我的数据从本地化的JSON文件迁移到MariaDB 10.1是一个最佳实践吗
浏览 3提问于2016-10-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
