哈希分区中使用的哪种算法可以在看到任何数据之前将数据划分为类似大小的分区

文章/答案/技术大牛

发布

1回答

sql、oracle、postgresql、rdbms

我知道Oracle (和其他数据库)中的散列分区方法会在散列键上生成一种算法，这样传入的数据就可以分成大小相当的几个部分，以创建类似大小的分区。但是，在首先看到实际数据之前，这样的算法如何工作呢？难道不可能最终得到一组散列分区，其中99%的</em

浏览 19提问于2019-06-30得票数 1

回答已采纳

2回答

Plinq的范围分区还是块分区？

c#、.net、.net-4.0、parallel-processing、plinq

在哪些情况下，范围分区将比块分区更好的选择？(和老虎钳诗句) select n; 可能在范围分区方面表现不佳吗而这个代码：(找到第一个百万个数字

浏览 3提问于2012-09-01得票数 5

回答已采纳

1回答

如何分割Ubuntu服务器上当前使用的分区？

server、partitioning、mount

我想拆分一个当前使用的分区，这个分区被挂载到/usr目录中。我这么做是因为/只分配了1GB的数据给它。现在，我在创建这个分区时没有考虑到/home目录(否则我会创建两个分区)。所以我有14 gb的安装到usr/与12 gb的免费。是否有一种方法可以收回此分区上的空闲空间，以使另一个

浏览 0提问于2014-06-05得票数 0

1回答

将Postgresql分区按ID划分为一组固定的文件

sql、postgresql、partitioning

Apache Spark具有使用bucketBy命令拆分成多个文件的选项。例如，如果我有1亿个用户is，我可以将表拆分为32个不同的文件，其中使用某种类型的散列算法在文件之间分发和查找数据。Postgres能以某种方式将表拆分为固定数量的分区吗？如果它不是一个原生特征，它仍然可以实现，例如，生成一个哈希；<em

浏览 11提问于2017-12-29得票数 0

回答已采纳

1回答

散列总救助

sql-server、execution-plan、aggregate、database-internals、hashing

在聊天讨论中出现的一个问题：对于散列聚合紧急救助(如果可以的话)，Server会做些什么？

浏览 0提问于2019-07-17得票数 10

回答已采纳

1回答

我的SQL分区通知

mysql、database、hash、partitioning、sharding

我们目前正在决定MySQL数据库中的表的分区方案。我们有多个碎片，并将所有单个用户记录路由到一个碎片。我们还希望通过userid对表本身进行分区。我们对分区有点陌生，我们希望得到一些关于要使用哪种类型的分区以及我们可能需要维护分区的频率的反馈。我们做了一些简单的测试，使用分区</em

浏览 5提问于2015-04-24得票数 1

回答已采纳

1回答

Oracle Insert the绑定JDBC中的分区名称

java、oracle、jdbc、partitioning

我正在使用JDBC将大量数据插入到表的不同分区中。该表是系统分区的，这意味着我需要在insert语句中提供分区名。.); 我使用预准备语句绑定insert语句的值，现在我想知道是否也可以绑定分区名，因为在看到实际数据之前，我不知道需要插入哪个分区。

浏览 4提问于2013-05-29得票数 0

回答已采纳

1回答

如何为特定的数据集确定Cassandra中分区程序的散列函数，以确保数据在多个集群中的均匀分布？

cassandra、database-partitioning、distributed-database、murmurhash

正如我们从Cassandra的文档[]中知道的那样，分区器应该使数据均匀地分布在多个节点上，以避免读取热点。Murmur3Partitioner是Cassandra设置的默认分区算法。它对分区键进行散列，并将其转换为从-2^63到+2^63-1的哈希值。我在这里的查询是，我们有不同的数据集，它们有不同的分区键。

浏览 16提问于2022-01-17得票数 1

回答已采纳

1回答

MySQL插入分区'p‘

mysql、partitioning、load-data-infile

这个问题有三个层次，取决于我的想法不正确或不可行的地方：我想要创建表库存(id，日期，符号，.)哈希分区按id (自动递增)，并创建663分区。或创建表库(日期、符号、.)散列分区按日期划分，663个分区。我应该选择哪种选择？PS: 663个分区，因为存储数据为13年*每年51周

浏览 0提问于2021-01-05得票数 0

2回答

关系数据库能够利用一致散列的方式来完成分区表吗？

algorithm、relational-database、database-partitioning、consistent-hashing

假设我们有一个用户表被用户id划分为整数1，2，3.n。我可以使用用于划分表的一致散列方式吗？问题A。使用一致的散列算法来做分区表是个好主意吗？任何关系数据库都支持吗？但是这里的</

浏览 3提问于2011-08-17得票数 3

回答已采纳

2回答

Kafka如何处理与分区相关的关键消息

apache-kafka、data-partitioning

有谁能解释一下：我的用例是，我正在考虑向代理发送大量的船运数据，并以ship_id (MMSI，如果您知道的话)作为密钥存储它。所以我不能预先定义分区号。

浏览 3提问于2019-10-30得票数 2

回答已采纳

1回答

数据的持久分区

algorithm、partitioning

我正在寻找可以帮助满足以下要求的方法或算法：将元素划分为定义数目的X分区。如果需要的话，分区的数量可能会随着时间的推移手动重新定义。每个分区不应该有超过Y的分区，有一个“类别Id”和“元素Id”。如果集合中的元素以前已分配给给定的分区，则应继续将其分配给相同的partitionAccount

浏览 1提问于2022-09-05得票数 1

回答已采纳

1回答

谷歌BigQuery实时通话记录数据

google-bigquery

我正在考虑使用Google来存储每天约300万行的实时通话记录，插入和从未更新。在我能够继续发展之前，我几乎没有什么顾虑。当通过PHP传输数据时，需要10-20分钟左右的时间才能加载到我的表上，这对我们来说是一个显示障碍，因为网络支持工程师需要实时更新这些数据来解决质量问题。分区，我们可以将数据存储在划分为每天的分

浏览 4提问于2017-01-13得票数 0

2回答

为什么LUKS需要生成散列值？

luks、dm-crypt

对于luksFormat，操作指定在LUKS键设置方案和卷键摘要中使用的散列。由于第一句，我天真地假设哈希的使用方式类似于标准的linux系统，其中哈希值是由指定的算法(例如sha512)创建的。以类似的方式，拥有文件/etc/shadow (他也知道盐值的地方)的攻击者可以根据字典中<e

浏览 0提问于2013-11-16得票数 5

1回答

关于任务并行化的问题

algorithm、pthreads、parallel-processing

我有一个关于并行化的问题：(Option1)Should i将Dataset2划分为x个分区，并

浏览 5提问于2009-09-25得票数 0

回答已采纳

1回答

卡桑德拉partion键生长极限？

cassandra

我认为卡桑德拉能处理很大的一部份。为什么在本例中使用两个partion键？ 

浏览 3提问于2021-06-30得票数 1

回答已采纳

1回答

火花:连接时设置最大分区大小

apache-spark

在火花中执行联接时，或者一般情况下，对于洗牌操作，我可以设置分区的最大数量，在其中，我希望spark执行此操作。根据文件： spark.sql.shuffle.partitions 200配置用于联接或聚合的数据洗牌时使用的分区数。如果我想降低在每个任务中必须完成的工作量，我必须估计数据的总大小并相应地调整这个参数(更多的分区

浏览 0提问于2018-12-03得票数 2

回答已采纳

1回答

星火中的默认分区方案

apache-spark、rdd、partitioning

rdd.partitioner.get它说有10个分区，分区是使用HashPartitioner完成的。scala> rdd.partitions.sizescala> rdd.partitioner.isDefined它说有4个分区，没有定义分区。那么，

浏览 1提问于2015-12-28得票数 20

回答已采纳

3回答

如何确定输入数据大小和群集资源所需的分区数？

hadoop、apache-spark

我的用例如下所述。使用sparkContext.textFile(输入路径)从本地文件系统读取输入数据。在将输入数据(8,000万条记录)提交给映射器/还原器函数之前，使用RDD.coalesce(numberOfPArtitions)将其划分为分区。如果不对输入数据使用聚结()或重新分区()，spark执行得非常慢，并且在内存不足的异常情况下失败

浏览 2提问于2014-08-16得票数 11

1回答

由于批处理被中止，请求无法运行，这可能是由客户端发送的中止信号引起的。

c#、sql-server-2008、task-parallel-library

在我的程序中，我使用任务并行库来减少进程的时间。我使用这段代码来完成这项工作。fullNum,NotFullNum, 10, (e.Argument as string[])[1]))DoFiles()方法处理一些文件，然后在数据库中的文件中插入单词我使用此代码在数据库中插入： SqlBulkCopy sbc = new SqlB

浏览 6提问于2013-08-27得票数 3

点击加载更多