2回答
我正在做一个包含大量非结构化数据的项目。是否有适用于非结构化数据的数据库软件或工具？如果没有工具或其他软件，如果mysql或sql server是我唯一的选择，我会使用什么数据库设计？
浏览 3提问于2011-12-10得票数 3
给出以下情况：
使用了Mongo中的一个集合，使用了超过1,000万行的数据，没有嵌入式关系，只是一个简单的文档，但是在许多字段中，使用具有相同字段的Mysql(MyIsam Engine)表。
--
是其中任何一个的选择速度都要好的吗？在其中任何一个更新/插入速度更快吗？在其中任何一个都有显著的优势吗?
浏览 3提问于2012-03-02得票数 3
1回答
我试图建立一个大的数据平台，在Hadoop中接收和存储大量的异构数据，如文档、视频、图像、传感器数据等，然后实现分类过程。那么，由于我目前使用的是VMware VSphere EXSi Hadoop，什么样的体系结构可以帮助我
Habse XAMPP所有这些都很好，但是我不知道如何接收大量数据和如何存储数据，因为我发现Hbase是一个面向列的数据库，而不是数据仓库。
浏览 1提问于2015-10-05得票数 0
回答已采纳
我正在切割我的牙齿进入Hadoop生态系统，并对MR，纱线和HDFS相当了解。
我正在探索生态系统的其他部分。我相信HiveQL可以以类似于SQL的方式在HBase上运行，而且几乎是实时的。如果是这样的话，我认为有必要将HDFS上的非结构化数据转换为结构化数据，以便在HQL中运行相对较快的查询。这是否意味着数据以非结构化形式以HDFS形式存在，然后以结构化形式复制到HDFS上供HBase和HQL使用？
此外，HiveQL是否可以以批处理模式(小时)直接运行在HDFS上的非结构化数据上。类似于Java运行的时间与job先生相似)？
浏览 1提问于2015-08-30得票数 0
1回答
如何建立一个小的文档存储？
、、、、
假设我需要为文本文档构建一个存储空间。存储应该包含文档(只是文本文件)及其元数据:创建日期和每个文档的几十个标记。要存储的文档数为10^6(每个文档为10K)。
主要语言是Java，存储应该部署在Windows中。
用户应该能够根据日期范围和标签将文档及其元数据存储在存储和搜索文档中:例如，使用标记获取上周的所有文档: tag1和tag2。
假设我们将文档存储在文件系统中，并添加一个索引来存储文档名称(路径)、日期和标记。你将如何建立索引？您会使用关系数据库管理系统(例如mySQL)吗？你会使用Lucene或任何其他全文搜索引擎吗？
浏览 5提问于2013-08-14得票数 0
1回答
目前，我正在从多个来源提取数据，并研究使用这些数据集训练模型的不同机器学习方法。接下来，我想提出数据存储的最佳方案。
目前，我正在使用普通的老式CSV。然而，我之所以有动力切换的原因之一是数据集中存在相关字段，这些字段都属于同一个对象。例如，如果我们要存储多个餐馆的数据，我将给餐厅编号，并为它设置多个字段。更具体地说，我将在标题中有一个相关的字段，即restaurant_1_name、restaurant_1_location、restaurant_2_name、restaurant_2_location.诸若此类。此外，在特定情况下，某些数据点将有可变数量的餐馆，因此我必须为CSV中的许多潜
浏览 5提问于2017-06-21得票数 0
1回答
试图理解未标记数据和非结构化数据之间的区别。它们是同义词吗？ 据我所知，未标记的数据是突出显示目标变量的数据。非结构化数据只是原始数据。
浏览 27提问于2020-02-02得票数 1
回答已采纳
我希望任何人都能在这个话题上帮助我，即使这不是一个具体的编程问题。我正在写一篇学士论文，将MySQL和MongoDB进行比较，我想写一些关于Youtube的东西，因为这个平台必须处理大量数据负载的请求。我找到的唯一好的资源是这个视频：
由于会议是在2007年举行的，我可以想象有一些关于数据库的更新。
我从这次演讲中得到的最后一个信息是，缩略图存储在BigTable数据库中，元数据存储在MySQL中。从那时起有什么变化吗？视频存放在哪里？MySQL表中是否有引用存储的视频的条目？
提前感谢你的回答！
浏览 2提问于2012-04-05得票数 1
回答已采纳
1回答
我正在尝试将公交车时刻表存储到数据库中，我想知道哪种数据库模型适合我的情况。
我有公交车运营商，每个运营商有几条路线，每条路线有几个转弯，每个转弯都有停靠点，等等。转弯是由定义调度(频率，停靠点等)的“转弯主站”生成的。在未来N天内。
我希望提供一个非常快速的公交车搜索时，用户试图搜索从一个城市到一个城市在给定的日期。
我正在使用MySQL，停靠点的数量达到了大约100.000条记录，搜索速度很快，但我不确定当数据变得非常大(1000个操作员，每个操作员有上千个轮次，每个轮次有大约10个停靠点，大约在接下来的30天内生成轮次)时，它是否仍然很快。
基本上，执行搜索就是查找站点(城市/城镇/地点
浏览 2提问于2013-09-28得票数 0
1回答
我们想要设计一个用关系型数据库保存请求消息(http/s，xmpp等)的数据存储。日志。为了生成日志，我们使用了一个基于Apache synapse esb的解决方案。但是，由于我们希望存储日志，并且仅为了维护问题而读取日志，因此读/写比率将会很低。(写入计数将非常密集，因为系统将收到许多要记录的消息。)我们考虑利用Cassandra的分布式特性和集群功能。然而，对于Cassandra数据库模式，使用过滤器进行搜索查询是困难的，总是需要辅助索引。
简而言之，我的问题是，我们是应该尝试mysql的集群解决方案，还是应该使用具有适当模式设计的Cassandra来进行带有过滤器的搜索查询？
浏览 3提问于2011-10-14得票数 2
1回答
不规则间隔数据到三维网格的插值
、、、、
我正在处理一些仪器数据，这些数据记录了特定纬度、经度和压力(高度)坐标下的温度。我需要从这个仪器数据创建一个3d网格，然后我可以使用它来获取插值网格数据的垂直横截面。我已经查看了几乎所有我能找到的插值函数/库，但我仍然无法理解如何做到这一点。
我不喜欢使用Mayavi，因为它似乎在我学校的服务器上出了问题，而且我不想现在就去解决它。
数据目前在4个独立的一维数组中，我用这些数组模拟了一些我想要得到的散点图。
以下是我的仪器数据点的结构：
这就是我想要创建的：
最终，我想从这些点创建一些3d轮廓，我可以对其进行切片。每个绘制的点都有一个对应的温度，这就是我认为在尺寸和诸如此类的方面让
浏览 0提问于2016-04-21得票数 0
我读到rdbms和nosql数据库的一个区别是存储非结构化数据，我知道每个nosql数据库都有自己的架构和算法，但我想知道为什么rdbms不能存储非结构化数据？
为什么nosql数据库可以做到这一点，如果你给我一个简单的例子，让我理解nosql数据库是如何做到这一点的，以及是什么使rdbms无法存储非结构化数据，我将非常感谢。
浏览 1提问于2013-09-10得票数 3
当我尝试使用linux console将名为"Table.csv“的表导入到MYSQl数据库时，它显示以下消息，ERROR 1265 (01000)：Data truncated for column 'factor‘at row 1
这是对我之前创建的表的内容的描述：
+---------------------+---------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+---------------------+---
浏览 6提问于2019-07-09得票数 2
假设我有一个数据仓库( datawarehouse，DWH)，现在我想添加许多其他大数据源，其中大多数不是结构化的。我仍然保持DWH没有任何建筑变化。我所做的唯一的事情就是使用连接来丰富数据驻留在DWH中的大数据。在这种情况下，DWH可以定义为datalake吗？
浏览 0提问于2016-11-01得票数 2
回答已采纳
1回答
在使用SQL数据库时，有不同的方法来显示系统的流程。在银行中，您可以使用ER来显示其属性。对于它的操作，使用UML类的关系图。
如果有我可以使用的图表，那么还有什么更好的方法来为最终用户表示NoSQL数据库。
浏览 0提问于2018-07-08得票数 3
回答已采纳
1回答
我们有一个需求，即结构化数据和非结构化数据都进入系统。我们需要对两者都进行索引，然后启用搜索功能。我们在Hadoop平台上使用SolrCloud。对于结构化数据，我们计划将数据放入HBase中，而非结构化数据则直接放入HDFS中。
我的问题是如何在单个Solr核心下索引这些源？这是否可能在SolrCloud中将结构化和非结构化数据都索引到单个核心/集合中，然后启用该索引上的搜索功能？
提前谢谢。
浏览 8提问于2015-03-29得票数 0
回答已采纳
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
数据仓库+ Hadoop =数据湖
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
我很难找到一种简单的方法来重新创建导航结构，并将数据存储在mysql数据库中。我不能更改数据库结构，它是自动生成的。
我使用Laravel5.2作为这个项目的基本框架。
以下是数据库结构：
数据：
| id | origin | type | value |
|----|--------|------------|------------------------------------|
| 1 | 20 | menuLevel | 0 |
| 2
浏览 2提问于2016-07-19得票数 0
回答已采纳
2回答
如何将非结构化数据用于预测目的？(所谓非结构化，我指的是数据库意义上的非结构化)。
我有一个预测系统，它使用历史数据和一组额外的解释功能来预测需求。就数据库而言，这是数据所能得到的结构。
我在几个地方听说过，大数据和非结构化数据可以用来改善需求预测。
但是当我深入研究细节时，它们似乎总是首先将非结构化数据减少为某种结构化格式，然后将其提供给他们所使用的任何预测方法。他们没有使用“真正的非结构化数据”。
如何在预测算法中使用真正的非结构化数据？有什么出版物和参考资料吗？
浏览 0提问于2016-06-03得票数 0
问题：
我将在PHP中构建一个基于web的工具，以帮助用户访问分散在XML文件集合中的信息，我计划将这些数据存储到MySQL中的表中。我在网上看到的许多例子似乎都是基于从一堆使用相同格式的XML文件中导入数据。我没有那种奢侈。
我如何能够通过具有以下因素的XML文件进行解析？
此集合中有多个类别的XML文件，每种文件都有不同的格式和信息类型，从而区分每个类别。理想情况下，我将为每个类别创建一个单独的表。然而..。
可以在此集合中添加其他新类别的XML文件，而无需事先了解。
任何现有类别都可以对其格式进行调整和(或)增加或减少内部的信息类型，而且我事先也不知道。
即使在同一类别的
浏览 1提问于2019-01-31得票数 0
回答已采纳
1回答
我正在尝试从大量事务数据中找出信息性的数据模式。
通常，我的数据是一组定义良好的列的记录(如发送者、接收者、金额、货币地址等-我大约有40-50个不同的列)，数据量将是数百万条(可能是上亿条)记录，我的目标是从这些记录中生成信息性的交易模式-谁购买特定商品最多，交易量最大的接收者，费用模式，谁从相同的另一个发送者那里获得更多交易等。
早些时候，我计划在关系数据库(Oracle/MySQL)中加载数据，并编写复杂的SQL来获取这些信息，但通过在概念验证期间查看卷，它似乎没有多少可伸缩性。
我试图获得更多关于使用Hadoop等分布式数据处理的信息。我刚刚开始阅读Hadoop，据我最初的理解，Had
浏览 1提问于2012-10-25得票数 1
回答已采纳
我是一所大型州立大学的高级计算机专业，在他们的数据科学系担任一家大型上市科技公司的实习生。我在学校学过数据结构和算法(地图、树、图、排序算法、搜索算法、MapReduce等)。我在MySQL和SQL查询的个人项目中也有一些经验。
我的实习项目是创建一个仪表板，用于显示从Hadoop数据库收集的分析数据。我很难理解这些数据是如何构造和查询的。我确信Hadoop中的所有数据都来自运行其平台的Oracle Relational产品。--我想我的核心问题是，为什么需要Hadoop和分布式处理从已经采用结构化格式的数据库中收集分析？存储在Hadoop中的数据是什么样子的？有没有像MySQL这样的表，或者
浏览 0提问于2019-06-01得票数 1
我有一个移动应用程序后端，由其他人在节点(Express)中编写。他正在管理mysql中的所有数据，但是在mongodb中存储新裁剪器、注册等的通知是否有性能提高，或者我应该在整个项目中使用一个d.b？
浏览 1提问于2019-01-23得票数 0
回答已采纳
1回答
像Spark、apache这样的数据处理引擎是如何将结构化、半结构化和非结构化数据集成在一起并影响计算的？
浏览 2提问于2015-04-12得票数 0
回答已采纳
我刚安装完Hadoop。我正在从互联网上下载数据样本。
我可以把什么类型的数据放入HDFS？例如，我可以放Excel表格吗？
谢谢
浏览 7提问于2014-07-03得票数 0
回答已采纳
关于NoSQL数据库更适合非结构化数据，因为它们的无模式性，这种说法随处可见。坦白说我不明白。人类的语音记录常常被用作非结构化数据的一个例子。我可以用数据类型BLOB将其存储在关系数据库中，并将其存储在定义良好的模式中。有人能解释一下吗？
浏览 0提问于2018-01-22得票数 2
回答已采纳
我目前将用户的活动/播放时间存储在JSON文件中，格式为日期->ID->Time
{
"2021-06-5": {
"User1Identifier": 3789,
"User5Identifier": 9889,
"User2Identifier": 3542
},
"2021-06-6": {
"User5Identifier": 96408,
"User7Identifier": 3674,
"User3Identifier": 864
},
浏览 0提问于2021-06-18得票数 0
回答已采纳
我正在编写一个web应用程序，它需要一个数据库，其中包含用户、朋友等实体。因为Cloud 服务不是免费的，所以我正在寻找替代方案。Amazon 是一种选择，因为他们有一个免费的层，可以在短期内满足我的需求，但在我进入之前，我想了解更多关于know商店的信息。
使用such存储这类信息是理想的吗？有这样的问题：
如何将读/写延迟与传统数据库进行比较？
如果我从blobstore开始，然后我想要迁移到关系数据库，那么我可能面临哪些问题呢？
最重要的是，如果在我的场景中使用blobstore是理想的话。
在查看了google站点上的文档之后，我发现like商店被用来存储大/中型文
浏览 3提问于2012-09-11得票数 0
回答已采纳
1回答
Hadoop主要用于处理非结构化或半结构化数据。我想使用Hadoop来处理大量的结构化数据。
虽然hadoop能够从数据库读取(通过DBInputFormat)，但它不被认为是一种可伸缩的方法，因为数据库连接的数量将是有限的。
有人使用hadoop从RDBMS读取数据吗？表演是什么？它可以支持多少个节点？
谢谢
浏览 3提问于2011-12-01得票数 1
回答已采纳
1回答
我试图将JSON数据存储在数据库中，因为我认为将其存储在数据库中会比将其存储在JSON文件中更有效。
我使用它将数据解析为JSON对象：
$json_data_decoded = json_decode($json_data_found, true);
if(!empty($json_data_decoded)){
foreach($json_data_decoded as $key => $data){
// Do something with this data
}
}
当然，它工作正常，但我担心将这种数据存储在数据库中，因为它将接受用户输入并对其进
浏览 5提问于2014-05-02得票数 0
2回答
NaNs上的填充和插值
、、、、
我一直难以解决如何使用scipy.interpolate函数( LinearNDInterpolator、网格数据或最好是NearestNDInterpolator)。
网上有一些教程，但我很困惑我的数据需要以什么形式出现。nearestND的在线文档非常糟糕。
该职能要求：
x : (Npoints, Ndims) ndarray of floats
Data point coordinates.
y : (Npoints,) ndarray of float or complex
Data point values.
我有表格中的数据:
浏览 2提问于2018-07-25得票数 1
回答已采纳
Informatica如何处理像PDF这样的非结构化数据源？如果表格报告存储为PDF，我们能否将其作为表格数据(如.NET中的数据表)从PDF中读出？
浏览 0提问于2009-04-21得票数 1
1回答
我正在开发一个带有Asp.net核心web的颤振应用程序，该应用程序连接到Server数据库。
除了存储图像部分，一切都很正常。
我以前有过使用sql server varbinary(max)数据类型的经验，但问题在于，我使用了image_picker：^0.8.5+3包来选择多个图像，我试图使用dart的Uint8List将其转换为二进制数据--看起来如下所示: 255、216、255、225我把它存储成字符串，这就是图像表的设计。
我遇到的问题是字符串长度太大，有时达到40000，所以我认为这不是存储数据的最佳方法。
因此，我所需要的只是一种有效的方法来根据我前面提到的需求和约
浏览 4提问于2022-10-18得票数 0
与 (是最重要的研究项目)相比，最近缺乏对领域的研究，这让我想知道DHT的用法。
BitTorrent和分布式哈希表都提供了一种使用类似键值的数据存储在对等节点之间分发内容的方法。在哪些用例中，分布式哈希表比使用BitTorrent更适用？
浏览 1提问于2012-07-24得票数 0
回答已采纳
我和一个队友在讨论我们的工作经验，他说他在一个叫做Informatica的工具中工作。他的工作包括从EDI文件中提取所需的信息并进行转换，然后将它们加载到数据库中。他说，EDI文件具有非结构化数据，而不是像.CSV和.SQL这样的格式，而在EDI文件中，列由“\”符号分隔。
在我看来，EDI和CSV没有任何区别，只有CSV是'，‘分离’和EDI是‘\’分开的，那么为什么EDI文件会被归类为非结构化数据呢？
浏览 5提问于2015-09-01得票数 1
回答已采纳
1回答
能实现什么？
、、
我正在阅读Hadoop教程，并得出以下浅显的理解。有人能帮我确认一下我的理解是否正确吗？
Mapreduce是一种聚合数据的方法
在分布式环境中
使用非常大的文件中的非结构化数据。
使用Java、Python等。
生成类似于使用SQL聚合函数在RDBMS中可以执行的操作的结果。
select count, sum, max, min, avg, k2
from input_file
group by k2
map()方法基本上是将从输入文件到垂直行的一行的水平数据v1枢轴，每一行都有一个字符串键和一个数值。
分组将发生在数据流的洗牌和分区阶段。
减()方
浏览 3提问于2015-11-12得票数 0
回答已采纳
1回答
我正在研究REST体系结构，阅读本文：
但我对此有些怀疑：
我知道REST并不直接依赖于HTTP，但是HTTP是实现REST的一种聪明方法。
我还了解到，REST的重点是资源概念，它类似于管理数据、状态、执行处理的编程元素，资源由URL表示。例如，如下所示：可以是代表家庭银行帐户的资源。
此外，我知道，通过REST，资源可以通过URL在Web上访问，我们可以使用预定义的方法集与其交互，如果REST是基于HTTP的，则这组方法是HTTP协议(GET、PUT、POST、DELETE)提供的方法。
我觉得这一切对我来说都很清楚。
我所怀疑的是REST 提供了一组交换表示的资源的概念。我认为我理解资源
浏览 1提问于2015-02-15得票数 0
1回答
我目前正在与一组开发人员一起工作，他们正在将CosmosDB作为后端存储来实现，我对如何使用它有一些疑问。
我知道这些文档应该是平面结构的，但这到底意味着什么呢？
如果数据是真正的关系型的，并且彼此之间非常依赖，那么这种设计是否正确，或者SQL数据库是否更适合？
RetailProduct
{
"RetailProductId": "123",
"FriendlyName": "TestRetailProduct",
"WholeSaleProductId": "100"
}
浏览 1提问于2018-09-10得票数 5
回答已采纳
1回答
我有几百万份文件。我要做的很简单，处理文档以提取我需要的信息，并将其加载到数据库中。我用Python语言和SQLAlchemy来做这件事。另外，我使用multiprocessing来利用我机器上的所有内核。文档是包含大量文本的XML。数据库是定义了自定义关系模式的MySQL。
然而，它的运行速度非常慢，在6-7个小时内只加载了大约50k个文档。
有什么方法可以加快这项任务的执行速度吗？
浏览 0提问于2014-01-21得票数 0
我不是数据科学领域的人，我需要对我的数据进行一些统计分析，但我不知道我应该使用哪种分析工具。
变量数-6
自变量3 -(一个是标量(例如，2, 4，6,8,10)，另两个是标称变量(例如，A、B、C和Lote 1、Lote 2、Lote 3、Lote 4、Lote 5)
因变量-3(所有标量变量和所有三个自变量的相依性，它们基本上是性能指标)
我想回答的一个问题是，考虑到名义变量，当标量自变量增加时，因变量是如何运行的。下图显示了我的数据样本。
📷
浏览 0提问于2020-08-22得票数 0
1回答
存储异构元素
、、
我希望生成输出文件，以便随后在Paraview中可视化。我将拥有：
多边形(具有标量属性)
行(带有标量属性)
结构化网格上的数据
在Paraview中，我想同时可视化它们。对于每个类(例如多边形、线条)，颜色代码将表示单个属性值。
问:我是否必须为每个类生成一个文件，即多边形及其属性的一个文件、线条及其属性的一个文件、网格数据的一个文件，并在Paraview中手动组装“全貌”？
还是有办法将所有内容存储在一个文件中？
浏览 1提问于2014-10-19得票数 0
回答已采纳
1回答
我正在建一个视频数据库。
而一个你知道的视频，有很多tags.And每个标签也与很多视频相关。
正常的解决方案是在每个标签和视频之间创建一个中间表记录关系。
刚才，令我惊讶的是，我了解到mysql可以查询xml！所以我认为我可以将视频的所有标记保存到视频表中的一个列中。
但我不知道这样做是否更有效。
浏览 3提问于2014-02-11得票数 0
回答已采纳
1回答
我想知道在MySQL数据库中存储非关系元数据的最佳方法是什么？数据不会被查询，因此不需要对数据应用索引。
这里是我尝试过的第一个例子，理论上似乎很好，但事实证明，我使用的ORM很难解析成有用的结构：
CREATE TABLE test (
id INT(11) PRIMARY KEY AUTO_INCREMENT,
username VARCHAR(255)
);
CREATE TABLE test_metadata (
id INT(11) PRIMARY KEY AUTO_INCREMENT,
test_id INT(11),
name VARCHAR(255),
浏览 0提问于2014-10-16得票数 0
回答已采纳
1回答
关于数据挖掘，结构化文本和非结构化文本有什么区别？在选择/开发数据挖掘方法来分析这些不同的文本时，主要考虑因素是什么？
浏览 109提问于2011-05-04得票数 0
回答已采纳
作为我正在开发的内容管理系统的一部分，我已经将MongoDB作为主要的数据存储，它提供给ElasticSearch和Redis。所有这些都是以解密方式配置的。
我目前正在尝试用JSON (一种DSL )开发一个声明式api，在实现时，它将使我能够用JSON编写统一的查询，但在后端，这些数据存储协同工作才能得出结果。联合搜索，如果您愿意的话。
现在，在充实此Json api支持的查询类型时，我遇到了当前设置不(有效)支持的一类查询:基于图形的查询，如friend- of -friend、RDF-queries等。我也希望支持这些查询。
因此，我正在寻找一种方法，以最合适的方式将GraphDB引入
浏览 1提问于2013-02-03得票数 2
1回答
我正在研究和几个相关的问题。事实证明，所有这些问题都与数组本身是结构化的，但其掩码不是：
In [38]: R = numpy.zeros(10, dtype=[("A", "<f2"), ("B", "<f4")])
In [39]: Rm = numpy.ma.masked_where(R["A"]<5, R)
In [41]: Rm.dtype
Out[41]: dtype([('A', '<f2'), ('B', '<
浏览 0提问于2015-01-28得票数 2
去噪自动编码器能用于结构化数据的异常检测吗？
我知道我可以用去噪自动编码器来检测图像上的异常，但我不知道他们是否也能对结构化数据进行去噪？如果没有，为什么？
浏览 0提问于2019-04-29得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
