我被要求领导一个程序来理解为什么我们的Hadoop存储经常接近容量。我该问什么问题？
数据时代，
数据大小？
客房安排？
如何识别不同应用程序使用的不同类型的压缩？
我们如何确定重复的数据源在哪里？
是否只为边缘节点指定作业？
浏览 0提问于2020-03-31得票数 0
1回答
我想知道
给出一个公钥加密方案(PKES)，其密文展开接近1，整数N大于或等于2。
有一种用密文展开构造PKES的方法：
size(ciphertext) = size(plaintext) x N
在安全性和效率方面，构造的PKES最好与给定的PKES相似。
谢谢。
Edit :我处理两个不同的实体，它们表示为位字符串。让我们把它们叫做大大小小。
size(large) = size(small) x N
设PKES的加解密函数为(E，D)。
我接收到许多大位字符串，并且需要存储派生如下的小位字符串：
smallInstance = D(largeInstance)
稍后，应该可以使用公钥来
浏览 0提问于2018-01-20得票数 1
2回答
我想知道这是什么类型的数据类型，这样我就可以用PHP解码它：
{s:31:"xperience_achievements_you_have";s:20:"You have %1$s points";s:26:"xperience_award_drawnin_of";s:69:"<b>%1$s</b> drawn-in of <a href="member.php?u=%2$s">%3$s</a> on %4$s.";s:26:"xperience_award_
浏览 0提问于2012-05-07得票数 0
回答已采纳
1回答
我正在编写一个程序，它需要一个字符串，将字符串中的每个字符转换成一个颜色，然后从左到右，从上到下画出图像的颜色。然后，可以使用相同的程序对图像进行解码，以获取原始消息。举个例子，下面是，编码为图像：
我只是把它写成一个玩具，但我注意到它产生的图像的一个有趣的特性:它们比原始消息作为文本要小。对于clojure.core，它是259 it的文本，但是只有88.9kb的图像(上面)(这两个值都是“磁盘上的大小”)。为了确保数据不会丢失，我对图像进行了解码，并得到了原始消息。
这怎麽可能？我认为图像(png格式)将有标题和其他额外的信息，将膨胀的大小。
整个clojure.core包含26
浏览 1提问于2017-01-22得票数 7
回答已采纳
1回答
我注意到一些非关系数据库(例如，Druid)具有这样的特性:如果给定的字符串存储在多个行中，那么物理存储只保留一个副本(每个存储单元)。
我目前的项目将受益于类似的特性，但在关系数据库中。我预计，在这个项目中的几十个列中，字符串的分布将遵循幂律。我知道我可以创建一个helper表，它可以简单地将一个整数映射到一个字符串并使用联接，但是对于这些列来说，这感觉太过了。在此域中，没有单独的业务实体与助手表相匹配，它们被认为是不透明的外部数据块，项目需要将这些数据存储在原始格式中供以后检索。
我估计这些列，如果不是以压缩形式存储的话，将构成项目数据库大小的90%以上，因此，如果这种数据分发有专门的数据
浏览 0提问于2021-07-16得票数 0
我们正在开发一个销售线索管理系统，在该系统中，每封发出的电子邮件和他们的回复都存储在SQL server数据库中。现在数据库大小超过90 we，这是我们存储这些电子邮件文本的表所占用的大部分大小。因此，我正在寻找替代方法来存储这些电子邮件，既快又有效。
提前谢谢。
浏览 1提问于2016-07-27得票数 1
1回答
我有一些小事务，需要同步到文件系统(ext4)到java程序中的SSD。
如果我需要在每个事务之后与文件系统同步，那么将这些事务顺序写入文件的最快方法是什么？每个事务的数据实际上很小，但是如果这样增加了事务/s，那么编写更多的数据(例如填充一个页面)是可以的。
数据写入一次后，只读取一次。
另外，是否对文件系统进行了任何调整以提高性能？是否有一个更适合该任务的稳定文件系统？
更新：，这似乎是一个文件系统问题。当使用同步时，Ext4比Ext3慢得多？建议？更新问题的解决方案是，预先分配文件(以java _file.setLength(大小)表示)。这将导致在ext4上预先分配空间，并且只写一次元
浏览 6提问于2012-10-24得票数 2
我刚刚从MONGO2.6(单节点)迁移到3.2 (ReplicaSet)。
在旧服务器中，Mongo的数据文件夹总共是12‘s，但看起来在新服务器(主服务器和从服务器)中只有大约2.5GB--有意义吗？蒙戈加强了他们保存数据的方式吗？
我上面提到的大小，~12 DB包括索引(在我的DB中有很大的大小，几乎是它的两倍)。
浏览 0提问于2016-04-10得票数 0
我有一个登录页面，除了用户名和密码。在按钮提交时，该页面通过json / api处理用户凭据，并生成一个令牌，从而将用户路由到向客户机显示其各自信息的落地。
我的登录页面是从API获得用户令牌(通过console.log确认)，但我遇到的问题是如何将令牌从登录页面传递到登陆页面。
现在，当我手动将生成的令牌粘贴到我的登陆页面中时，下拉列表会显示用户的数据，因此问题是如何将生成的令牌传递给着陆页面。
首先，在登录页面中，我有一个函数，用于从API检索客户端的令牌。我将此函数称为按钮提交：
componentDidMount() {
this.fetchData();
}
//r
浏览 0提问于2018-05-13得票数 0
回答已采纳
2回答
我正在学习Column Store index (Denali CTP3特性)，并了解到它使用VertiPaq架构进行数据压缩。我开始有兴趣了解它是什么，它是如何工作的，它是架构。我在谷歌上查过，但没有令人满意的结果。有没有人可以让我详细知道它是什么，它是如何工作的，它背后的算法/架构等等。
以及它是如何帮助数据压缩的
浏览 2提问于2011-09-01得票数 9
来自docs：的最大BSON文档大小是16兆字节。
我想知道mongo是如何检查这个限制的。如果我使用WiredTiger和snappy压缩，这是否意味着我可以在文档中放入更多的数据，直到它达到16Mb。或者Mongo在未压缩状态下计算文档的大小？
浏览 2提问于2016-02-28得票数 0
1回答
我想看看GridGain缓存的数据存储效率有多高。即。如果我将1TB的数据加载到缓存中，是否会占用1TB的空间？大多数数据将是重复的，某些字段是相同的，即。例如，Browser="Chrome“，所以我希望看看GridGain是如何利用这种重复的
我环顾四周，发现了，但它本身并没有给出可靠的统计数据，但正如它指出的那样，它预示了一种短期的到来-但我想看看这是否意味着x TB的数据in =x TB的内存消失了，我想知道我自己如何看待这一点(也许是通过ggvisor?)
目标:查看集群，看看我有Y GB的可用RAM。通过GridDataLoader将X个数据单元加载到缓存中。查看集群，可以
浏览 2提问于2014-10-09得票数 0
1回答
我们正在为DB选择做POC。根据我们的用例，我们得到了三个推荐
波斯特格斯
卡桑德拉
Azure SQL
我们不去卡桑德拉，因为我们没有达到最低要求，我们还有两个选择。
在选择db之前，我们如何计算磁盘上需要多少大小才能估算成本。
(我们已经准备好了数据量、模式和年增长准备)
浏览 0提问于2022-06-30得票数 0
我有ASP.Net项目，我使用Memcached进行数据和会话缓存。我还需要使用Memcached的压缩选项。如果你能和我分享你的意见，我将不胜感激！我已经找到了一些站点，但它们没有任何c#.Net代码示例。
浏览 3提问于2012-08-16得票数 1
为了简单起见，假设我每行有一个varchar(50)，下面是我的行：
敏捷的棕色狐狸跳过懒狗2)我喜欢棕色狐狸狐狸
例如，页面压缩会找到单词fox并将其放入字典中。是否只有第3行和第4行受益，第1行和第2行不会受益，因为它们还包含其他数据？这似乎是经验上正在发生的事情。我有一堆高度重复的XML数据段(尖括号，重复的属性名称等)，如果我将其保存到CSV并将其作为控制案例压缩，压缩效果非常好，但在SQL server中压缩几乎为0%。通过查看sys.dm_db_index_physical_stats、page_count和compressed_page_count，我已经确认了确实会发生一些压缩
浏览 5提问于2009-10-31得票数 0
回答已采纳
当我运行git cat-file -p <hash>时，可以很好地打印这个对象的内容。当我在.git-directory中手动查找该文件并在我的文件编辑器(如记事本)中打开它时，我只得到垃圾。
为什么会这样呢？
浏览 0提问于2016-06-14得票数 2
回答已采纳
2回答
我们有两台服务器。我们刚刚压缩了一个，但是我接手了这个小项目和这家伙说有些桌子不是很好的候选人。和其他许多人一样，性能是至关重要的。说一些表不应该压缩是准确的吗？如果是这样的话，一般的门槛是什么？我运行了他的脚本来检查每个对象的读/写，但是由于这看起来像历史，而不是在一个时间框架内发生的事情，所以这可能不是一个准确的方法来衡量它。
浏览 0提问于2013-05-25得票数 7
回答已采纳
1回答
我正在努力提高我正在构建的报告解决方案的性能。我用的技术是：
自定义构建Python工具，提取数据并将其存储在
使用8 8vCores运行GP计算的Azure托管PostgreSQL
PowerBI桌面->打算在app.powerbi.com上发布
数据以JSON格式提取，并存储在两个列表中(id::bigint，document::json)。然后根据ids将视图转换为多列，视图之间有一对多的关系。
问题是其中一个表有大约4.5m行，每次我在Power中执行操作时，数据库都要花费5+分钟来处理请求。实际上，我所做的操作非常简单:使用单个视图(带有4M+条目)作为数据
浏览 2提问于2022-03-16得票数 0
1回答
我有个特别的问题。我有一些由CMS系统使用的部分包含的DB，每当我对这些DB进行备份时，它们都不会压缩。我确实检查了用于压缩备份的服务器属性数据库设置。其他人以前见过这个吗？不幸的是，我在网上找不到很多。
Server版本: Microsoft 2017 (RTM-CU24) (KB5001228) - 14.0.3391.2 (X64)
浏览 0提问于2022-03-16得票数 0
我试图根据打开一个现有的pouchdb数据库，如下所示：
var db = new PouchDB('table_db');
此外，每次打开“table_db”时，我都会检查google脱机存储：
navigator.webkitTemporaryStorage.queryUsageAndQuota (
function(usedBytes, grantedBytes) {
console.log('we are using ', usedBytes, ' of ', grantedBytes, 'bytes'
浏览 3提问于2015-10-24得票数 0
回答已采纳
2回答
一旦我在没有应用程序查询的情况下启动SQL Server，在任务管理器中，它就开始非常快地消耗内存，直到它消耗了大约15 no。我怎样才能解决这个问题？
浏览 0提问于2012-11-21得票数 2
1回答
对于我正在开发的网站，我打算将用户活动信息(如Facebook)和对服务器的超文本传输协议请求存储到一个MySQL数据库中。
我打算使用InnoDB作为存储引擎，然而，我简短地读到了归档存储引擎，这听起来像是只插入或选择而不更新或删除的信息的前进方向。
在我继续之前，我想知道它的优点和缺点，以帮助我决定是否使用它。
浏览 38提问于2009-03-04得票数 17
回答已采纳
1回答
当我在Cassandra的column Family中插入一个新列时，我想知道磁盘上到底存储了多少字节。我的主要问题是，当使用Snappy压缩列时，我需要知道这些信息，我知道原始字节的计算，但由于数据的可变性，我不能正确地近似压缩比。任何关于在Cassandra代码库中哪里可以找到这个大小的字节的信息都将受到欢迎。
提前谢谢。
浏览 5提问于2012-11-26得票数 4
java.util.zip.GZIPOutputStream没有为其基础Deflater的压缩级别提供构造函数参数或设置器。
正如所描述的，有一些方法可以解决这个问题，例如：
GZIPOutputStream gzip = new GZIPOutputStream(output) {
{
this.def.setLevel(Deflater.BEST_COMPRESSION);
}
};
我GZIPped一个10G文件，与使用预置的DEFAULT_COMPRESSION.相比，它的大小没有减少一位
to 表示，在某些情况下，设置该级别可能无法按计划工作。为了确
浏览 9提问于2013-10-02得票数 17
我需要预测Word文件的大小，根据所写的字数大小。当我在Word 2007上创建一个空文档时，它的大小是9'943 bytes.When，我写的字符约为3000个，其捕捉量为10‘107个字节。为什么写的文件和空的文件之间只有164个字节的值，虽然我写了大约3000个字符?一个字符的值至少是8位。
浏览 1提问于2015-01-03得票数 0
我正在创建一个web应用程序，其中一个对象属性是在单击inputs.html页面中的一个按钮时创建的。但是，results.html需要访问创建的属性，以提示用户将其保存在防火墙中。
我已经尝试过导入和导出变量，但是得到了这个错误: Uncaught :意外令牌)。
我尝试在results.html. inputs.html中创建一个const变量属性，该属性可以使用我的脚本进行更改，但我无法在中访问它。
我还在results.html中编写了一个脚本标记，链接到创建property的javascript文件。
下面是用于创建inputs.html.中的属性并导入的inpu
浏览 2提问于2019-08-08得票数 0
我是非常新的bie在Ubuntu的世界。我最近安装了Ubuntu11.10，我无法连接到Windows。
当我登录到Windows 8时，我可以使用默认的Windows连接连接到VPN。
有什么建议吗？
浏览 0提问于2012-03-18得票数 10
回答已采纳
2回答
假设我想压缩一个10 to的文件。像winrar这样的程序如何在如此庞大的数据中搜索模式呢？
我肯定它不会在硬盘上单独搜索每个模式，这将永远花费时间。但它也不能在我的ram +缓冲所有可能的模式中缓冲整个数据集。这将占用原始文件数据量的x倍。但是将文件分成更小的块也会产生各种各样的问题，而且您仍然必须在ram中存储所有可能的模式，这将占用比文件本身更多的空间。
浏览 0提问于2014-01-19得票数 0
是否可以使用TortoiseSVN/VisualSVN预定义项目结构，以便您只需单击“新建项目”或类似的项目？
例如，在VisualSVN中，您可以创建新项目，并自动获得trunk/branch/tag文件夹。
然而，我想在TortoiseSVN中做同样的事情(这样用户就可以在不需要VisualSVn访问的情况下做到这一点)
与/或
我想要预先设置比这个更多的文件夹，这样例如
trunk/docs
trunk/src
trunk/database
trunk/elephant
等等。
这一切都有可能吗？
浏览 3提问于2013-01-17得票数 1
回答已采纳
2回答
我试图在一个复杂的应用程序中实现撤销/重做--这是我的历史数组的样子。
[
{
action:“added”,
payload:{
id:"32132132",
data: "JSON.Stringify(JSON.parse(data))) initial data getting from initial app setup"
}
},
{
action:“updated”,
payload:{
id:"32132132",
data: "getting the diff"
浏览 1提问于2020-04-24得票数 0
回答已采纳
1回答
请注意，我知道有一些其他问题，但没有真正的答案，因此，关于这个问题。
因此，自从实现增量字段值以来所发生的事情是，当增加浮点数时，大多数情况下您将得到十几个小数，而不是实际的数字。
// incrementing 0, with 0.1, 11 times, returns 1.0999999999999999
Math.round( 1.0999999999999999 * 100 + Number.EPSILON ) / 100
这会返回正确的号码..。所以我想知道，这不能在处理Firestore中的实际值的方法中实现吗？
问题是，当我想要显示基于地区的数字时，我使用以下方法：
numb
浏览 0提问于2019-10-23得票数 2
回答已采纳
我有一个西班牙网站，我不允许来自非欧洲国家的人注册和登录。
不久前，我开始接收无法登录的用户的消息。当我询问他们的IP地址时，他们会说: 66.249.93.202。这是谷歌的IP地址。他们是怎么在手机里找到的？他们要怎么做才能使用他们真正的IP地址？
浏览 0提问于2015-01-26得票数 38
回答已采纳
1回答
当我右键单击SSMS并选择编写创建索引的脚本时：
📷
我得到了这个脚本，没有data_compression：
USE [APCore]
GO
/****** Object: Index [i_agencyId] Script Date: 07/11/2019 12:18:13 ******/
CREATE UNIQUE NONCLUSTERED INDEX [i_agencyId] ON [agy].[agency]
(
[agencyId] ASC
)
INCLUDE ( [countryCode]) WITH (PAD_INDEX = OFF,
STATISTIC
浏览 0提问于2019-11-07得票数 1
回答已采纳
2回答
哪一层协议是OpenWire？AMQP和Stomp是应用层协议，但对OpenWire不是很确定。另外，OpenWire是ActiveMQ用来在JMS客户端之间通信的默认协议吗？我查看了文档，但什么也找不到。
浏览 15提问于2018-01-29得票数 3
1回答
H3六边形不匹配
、、、、
我试图在Python的polyfill实现中使用h3函数，但我收到了意想不到的结果。
如果我使用固定分辨率的函数，我可以得到并显示一个多边形网格，如上面所示。
但是，当我想要创建一个更精确的网格时，比如Uber为文档创建的网格：
我得到了奇怪的结果。
我使用与以前相同的方法创建了网格，但使用了更高的精度(12)，然后使用compact函数尽可能地对六边形进行分组。
hexagons = h3.polyfill(json_poly, 8, False)
hex_com = h3.compact(hexagons)
它的结果是，在这里，我可以看到一些地区，没有覆盖任何六边形。
浏览 3提问于2020-10-16得票数 5
3回答
我想在SQLServer2008XML文件中存储，但在某种程度上支持版本控制。例如，我有一个XML文档，并将其保存在DB中(在XML数据类型列中)。在那之后，我编辑它。假设添加了一个新节点。我想保留的是经过编辑的文档(文档的最后版本)和修改，这样我可以在任何时候恢复到同一文档的前一个版本。
在哪里比较我编辑的版本(如果我保存它是最后一个版本)和以前的版本(在开始编辑之前存储在DB中的最后一个版本)，以便存储这两个版本之间的差异？在服务器端，或者我可以以某种方式在DB级别上这样做？您能为这个场景提供一些指南或最佳实践吗？
谢谢!
浏览 0提问于2012-02-09得票数 2
我有一个模型ModelA，它是两个RealmModules的一部分。在一个RealmModule中，我希望模型有一个主键，而另一个则不需要。因此，当安卓应用程序starts.And时，我试图从模型中删除主键。
我有没有提到过，在一个模块中，ModelA充当父模型，而在另一个模块中，它的角色是子模型的子模块，即ModelC -> ModelB -> ModelA。
下面是代码片段：
public class ModelA extends RealmObject {
@PrimaryKey
private long id;
@Required
浏览 2提问于2017-04-11得票数 0
1回答
如何创建新的图像格式？
、、、、
我一直在使用java中的一些图像处理工具，想知道如何创建我自己的图像格式(具有自己的文件扩展名和头文件)。
假设我正在尝试将2张jpeg图像存储到一个扩展名为.abcde的新文件中
我该如何处理这个问题并修改文件头呢？我做了一些研究，发现了这一点，但它没有任何类型的例子。
任何建议/参考/例子都很棒，谢谢。
浏览 0提问于2017-03-20得票数 0
我有一个云上的DB2仓库的入口计划实例，我希望用它来开发一个流应用程序。
如果我将数据保存到<= 1 1GB，则每月将花费50美元。我担心我可以很容易地将数据库填满20 to，而成本将跃升至每月1000美元。
有没有办法可以将我的云上DB2仓库中的数据量限制在<1 1GB？
浏览 8提问于2018-03-02得票数 0
如何在sql server 2012 Standard Edition中压缩数据库表。
下面的查询是使用我的开发机器，具有企业版，但实时服务器具有标准版。我的数据库太大了，需要压缩。
ALTER TABLE dbo.Table1 REBUILD PARTITION = ALL WITH (DATA_COMPRESSION = PAGE )
浏览 1提问于2013-03-06得票数 1
我一直在研究，SQL Server 2012 (又名Denali)和微软有一个预发行版。预发布位于，其中包含有关关键功能的一些信息。因为我已经下载了预发行版并安装在虚拟机上。我对下面提到的关键特性很好奇。但我不确定它的能力。
Column-based query accelerator
Column-Based Query Accelerator will help dramatically increase query
performance ~10x and reduce
performance tuning through interactive
experiences with da
浏览 1提问于2010-11-21得票数 9
回答已采纳
1回答
假设我想要将一些数据转换为图像。在这个场景中，图像的像素包含我的数据。我还想从图像中检索我的原始数据。有可能吗？或者图像压缩算法破坏像素的颜色？有没有像.JPG这样不破坏像素颜色的图像格式？
浏览 2提问于2013-09-05得票数 1
2回答
我有一个Nexus 5，我直接从谷歌(在英国)购买。在过去的几天里，我花了大量的时间试图让设备通过我的笔记本(使用)进行代理。但是，这是行不通的。不管我做什么，当我试图通过Chrome访问任何站点(我的设备上的默认浏览器和唯一浏览器)时，代理都会被忽略。
我试过用完全相同的方法代理我的Nexus 7设备，而且都很好。
我试过：
软重置
清除设备上的Chrome缓存
从wifi网络连接和断开连接的各种组合，删除和恢复代理设置
跟随的字母(并在可能的情况下进行修改)
快把我逼疯了。我有两个相同设置的类似的Android设备，一个并排坐着，一个会打球，但另一个不会。
我在谷歌
浏览 5提问于2014-06-24得票数 3
我正在使用bitbucket管道来部署我的react应用程序。 现在我的流水线是这样的： image: node:10.15.3
pipelines:
default:
- step:
name: Build
script:
- npm cache clean --force
- rm -rf node_modules
- npm install
- CI=false npm run deploy-app
artifacts: # de
浏览 15提问于2019-11-23得票数 2
1回答
我们有一个拥有超过十亿每日统计记录的数据库。每个记录都有多个度量标准(m1到m10)，以及几个不可变的标记。
记录也可以与零组或多组相关联。其想法是使用多个标记(例如g1, g2)来表示特定记录属于特定的组。
我们的数据存储在每天的水平上，大多数时间序列数据库都是针对更细粒度的数据进行优化的。当我们想要生成月度或季度图表(例如，InfluxDB的最大聚合周期为7d)时，这就表示了一个问题。我们需要一个真正针对日级数据点进行优化的数据库，并且能够在月/季度/年级别上生成快速聚合。
此外，记录和组之间的关系是可变的。我们需要数据库来支持记录的批量更新(伪：ADD TAG group1 TO rec
浏览 5提问于2019-10-23得票数 3
回答已采纳
1回答
我正在将数据库从server企业版还原到标准版服务器上。我一直收到一个错误声明：
数据库“MyDatabase”无法在Server的此版本中启动，因为部分或全部对象“包含memeber快照”是使用数据压缩或var十进制存储格式启用的。只支持数据压缩和var十进制存储格式。
因此，我的数据库处于可疑模式。
是否有任何解决方案，以便我可以将此数据库还原到Server标准版？
浏览 0提问于2016-08-25得票数 3
1回答
我的数据库还有9556.97MB的空间。
我确实有大约2TB的免费磁盘空间。数据库处于完全恢复模式，每天进行完全备份，每24分钟进行一次TLOG备份。
📷
📷
当我被教导的时候，我常常被截断，但我偶然看到一篇博客文章，它教我不要退缩：
http://www.sqlskills.com/blogs/paul/why-you-should-not-shrink-your-data-files/
数据库所在的磁盘上有2TB的空闲空间，但它说只有10 it的空间可用。为什么是这样，我应该遵循哪些步骤来防止数据库耗尽空间？
浏览 0提问于2019-03-18得票数 -3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
