我试图找出数据仓库、集群数据处理和用于查询数据仓库的工具/基础结构之间的区别(工具/服务/程序)
因此,假设我有下面的设置来为某个用例执行一些数据处理
Hadoop Cluster for Distributed Data processing
Hive for providing infrastructure and Functions for querying data from a data warehouse
My data sitting in an RDBMS or a NoSQL database
在上面的例子中,数据仓库到底是什么?我天真的头脑认为这是关系数据库或NoSQL数据
我们每秒钟将实时数据记录到Server数据库,我们希望从1000万行或更多行生成图表。目前,我们使用的代码如下所示。目标是获得至少1000-2000个值以传递到图表中。
在下面的查询中,我们根据从LargeTable中选择的数据的计数来获取下一个n‘行的avg。这可以工作到200.000行,但是速度太慢了。
SELECT
AVG(X),
AVG(Y)
FROM
(SELECT
X, Y,
(Id / @AvgCount) AS [Group]
FROM
[LargeTable]
WHERE
我需要一个心理过程来设计一个OLAP数据库。
从本质上讲,对于标准关系,它将是(松散地):
Identify Entities
Identify Relationships
Identify Properties of Entities
对于每个属性:
Ensure property can be related to only one entity
Ensure property is directly related to entity
对于OLAP数据库,我了解术语、动机和结构;但是,我不知道如何将我的关系模型分解为OLAP模型。
我有一组存储在一个数据库中的存储过程,它们都引用另一个数据库中的表来获取快照数据。它们的结构大致类似于这样(实际查询更复杂,但这反映了数据库的使用):
USE [Database_A]
GO
INSERT [Database_A].[dbo].[MyTable]
SELECT *
FROM [Database_B].[dbo].[YourTable]
当将列筛选器应用于时,为了查看这些查询正在执行的所有操作,我应该在Database_A或Database_B上进行筛选,还是两者都进行?
它写着“运行用户语句的数据库的名称”,但是在每个数据库中是否都有上述查询样式的部分运行呢?