首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签大数据存储

#大数据存储

在海量大数据分析中,实现计算与存储分离,对存储冷热分层

大数据存储技术(4)—— NoSQL数据库

Francek Chen

NoSQL(Not Only SQL),意即“不仅仅是SQL”。NoSQL的拥护者提倡运用非关系型的数据存储作为大数据存储的重要补充。NoSQL...

13110

大数据存储技术(3)—— HBase分布式数据库

Francek Chen

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布...

11810

大数据存储技术(2)—— HDFS分布式文件系统

Francek Chen

1、产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系...

11310

大数据存储技术(1)—— Hadoop简介及安装配置

Francek Chen

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决,海量数据的存储和海量数据的分析计算问题。 3、广义上来说,Hadoop...

19010

Fuel库实战:下载失败时的异常处理策略

小白学大数据

Fuel库作为一个轻量级的Kotlin HTTP客户端库,因其简洁的API和强大的功能而受到开发者的青睐。然而,网络请求总是伴随着失败的风险,比如网络不稳定、服...

10300

tibble 和传统数据框:哪个更适合网页爬取的数据存储

jackcode

在网页爬取过程中,选择合适的数据存储结构至关重要。R 语言中有两种常用的数据存储结构:传统数据框(data.frame)和现代的 tibble(来自 tibbl...

6810

大数据挖掘实战-PyODPS基础操作

fanstuck

文章链接:https://cloud.tencent.com/developer/article/2465951

33430

​etl 读写 elastic 同步数据

威哥

Elasticsearch的部署和使用不在这里介绍,这里主要介绍如何通过etl engine对elastic进行读写访问。

11810

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

fanstuck

前言这次想聊点出工作技术方面外的内容,DWD该层在写CDM层的时候就提及很多次了大差不差,近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做,说这句话如果能...

33442

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

fanstuck

前言这次想聊点出工作技术方面外的内容,DWD该层在写CDM层的时候就提及很多次了大差不差,近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做,说这句话如果能...

33442

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

fanstuck

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰,等于是我们已经把框架搭建好了,接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分...

39110

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

fanstuck

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰,等于是我们已经把框架搭建好了,接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分...

39110

数据开发/数仓工程师上手指南(三)数仓构建流程

fanstuck

此系列的上篇文章通过拆解电商业务数仓系统,通过数仓分层概念对整个业务进行拆解分层,那么本章节将沿着上一篇的数仓概念分层切割电商业务,去具体构建电商业务的数据仓库...

43810

数据开发/数仓工程师上手指南(三)数仓构建流程

fanstuck

此系列的上篇文章通过拆解电商业务数仓系统,通过数仓分层概念对整个业务进行拆解分层,那么本章节将沿着上一篇的数仓概念分层切割电商业务,去具体构建电商业务的数据仓库...

43810

数据开发/数仓工程师上手指南(二)数仓构建分层概念

fanstuck

在了解了数仓的基本架构之后,我们还需要掌握数仓构建方法,也就是了解数仓是如何建模的,有什么规则和通用方法。我们应该如何去构建一个性能良好、稳定高效、契合业务的数...

36330

数据开发/数仓工程师上手指南(二)数仓构建分层概念

fanstuck

在了解了数仓的基本架构之后,我们还需要掌握数仓构建方法,也就是了解数仓是如何建模的,有什么规则和通用方法。我们应该如何去构建一个性能良好、稳定高效、契合业务的数...

36330
领券