我正在尝试用开源框架来做ETL,我听说过两件事,Apache Beam和Apache Airflow,这两件事最适合整个ETL或ELT,比如Talend、Azure Data Factory等,事实上,我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。哪一个对这些类型的工作更好,如果我能在这两个框架之间进行一些比较,那就太好了。提前谢谢。
我的任务是设计一个Kimball风格的数据仓库。它将位于Server中的prem上。组织物理实现的最佳做法是什么?也就是说,数据仓库是否应该是一个单一的数据库,使用模式来分隔每个数据集市(并且将所有维度都放在自己的模式中,以帮助“驱动”跨市场的重用)?或者,每个数据集市是否应该是自己的数据库(强制所有维度都存在于一个单独的数据库中)?
如果我使用云平台进行数据仓库,比如Azure SQL DB (例如,使用托管实例来允许跨数据库查询),这个决策是否重要?
我正在尝试比较我的PostgreSQL数据仓库和新创建的Hive数据仓库上的相同功能,它们位于具有相同数据和相同表结构的相同盒子上。我在试着理解蜂巢福利,但是...尽管数据加载到PostgreSQL的速度慢了3倍- PostgreSQL上的索引创建/重建速度快了20倍,但不需要像在Hive中那样每次都重建索引。我的问题是:配置单元中缺少什么?
我的设置是:创建表格mytable ( aa int,bb字符串)以'\t‘LOCATION’/data/space/hadoop/hadoopfs‘结尾的行格式分隔字段;
LOAD DATA LOCAL INPATH '/data/In