根据企业的需求，业务数据存储在 MySQL 中，选择 Sqoop 作为 ETL 工具，HDFS 临时保存 Sqoop 抽取的数据。数据仓库部分选择主流的 Hive，并使用 Tez 进行优化；其中 ADS 层的数据会导出到 MySQL 中，便于前端业务进行快速调用。使用 Presto 作为快速查询的工具，Azkaban 作为调度工具。
覆盖业务 经过几年时间的改造和推进，到 17年双十一的时候，已经有大量的业务都有了 node 的身影，基本上天猫大部分的 web 页面都是通过 node 渲染出来： 天猫首页、大部分天猫频道页、双十一会场以及所有天猫的活动页面都全部基于 node 应用提供服务。 商品详情、店铺和搜索页等主流程链路上，以及天猫超市和天猫会员等业务线上的页面渲染。 天猫页面搭建平台 web 层基于 node 进行开发，双十一期间在此平台上搭建了超过 1000+ 个双十一相关活动页面。 工作职责 在上述覆盖了 node 的业务
上周发了几篇关于Kubernetes集群搭建相关的文章，里面有一个部分谈到了Kubernetes集群CNI插件（也就是容器网络接口）的部署，很多读者看到了这个部分之后有问到“如何跨VPC或者跨云供应商打通集群之间的网络访问”，我当时搭建集群和写文章的时候也没有注意这点，只是根据以往的经验单纯地把几台机器搞在一起再加上部署好CNI就想当然的以为Kubernetes集群算是“全网通”了。经过读者的提醒和自己的实践，发现忽略了一个严重的问题，也是大多数人在个人搭建Kubernetes集群常常会碰到的问题，也是就今天需要谈论的问题---“如何跨VPC或者跨云供应商搭建Kubernetes集群，保证集群网络互通”。
Hadoop由Apache基金会开源，是一个分布式的储存与计算平台。目前Hadoop已经更新到了3.x以上的版本，相比于Hadoop2.x，Hadoop3增加了更多便于开发的新特性。
1. 简介 InnoDB Cluster 的搭建可以分为两种情况： （1）实验环境 使用 sandbox 沙箱模拟数据库实例，这个非常简单，可以参考之前的一篇文章《体验 MySQL InnoDB Cluster》，也可以看 mysql 的官方文档，其中就是使用 sandbox 来介绍搭建过程的 （2）真实多服务器节点环境 真实环境下的搭建要更复杂一些，过程中我也遇到了一些问题，这方面的资料还很少，花费了不少时间才搭建成功 下面总结了多节点 InnoDB Cluster 搭建的详细过程，供有需要的朋友参考 2
最开始我们介绍了如何安装及运行 RabbitMQ 服务，不过这些是单机版的，无法满足目前真实应用的 要求。如果 RabbitMQ 服务器遇到内存崩溃、机器掉电或者主板故障等情况，该怎么办？单台 RabbitMQ 服务器可以满足每秒 1000 条消息的吞吐量，那么如果应用需要 RabbitMQ 服务满足每秒 10 万条消息的吞 吐量呢？购买昂贵的服务器来增强单机 RabbitMQ 务的性能显得捉襟见肘，搭建一个 RabbitMQ 集群才是 解决实际问题的关键.
几个月前，我在 很哇塞的 3 个 Java 实战项目！ 中推荐过一个在线网盘的实战项目。
最开始我们介绍了如何安装及运行 RabbitMQ 服务，不过这些是单机版的，无法满足目前真实应用的要求。如果 RabbitMQ 服务器遇到内存崩溃、机器掉电或者主板故障等情况，该怎么办？
下载成功之后进行nodejs的安装，选择安装路径之后（不建议装在C盘），一路next就可以了！！（由于我之前已经安装过了，这里就不再进行安装）安装成功之后在cmd中输入 node -v 和 npm -v 显示出node的版本号 和 npm的版本号 即为安装成功！
最近看了<<kubernetes 权威指南>> 这本书，也想着照着书中范例搭建一个k8s集群。书中的例子是在单机跑起来的，也有点年代了，完全照着书中范例配置遇到了不少问题，搭建前前后后花了好几天的休息时间才弄好。 因此把过程中的问题整理出来，方便后续重新搭建的时候能够有坑可循。自己也想过搞个一键搭建脚本，但是作为k8s入门，还是需要自己亲手一步步操作过来，才能有所收获。
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
由于公司的发展，需要使用最新的技术搭建一套前后端分离的代码，于是前端使用了vue来进行搭建页面，所以在学习的过程中遇到的问题以及解决的方案，现在做一下记录，供同学们一起学习指正；
mongoDB搭建完成之后，可以做很多小的项目，常见的又搭建简易的登陆系统，搭建博客等等，最重要的支持就是要用到Node+express，所以顺便把这些也写一写，接下来要做的是一个基于mongoDB+Node+express搭建的登陆注册的后台管理系统流程示例。
题记：DevOps 平台通常搭建于内网环境，不能直接外网，所以，如果你也要在内网环境构建前端，就一定会遇到本文所说的问题。
各种编程语言均有其优势和生态，有兴趣的朋友完全可以涉猎多门语言。在平常的工作之中，也可以尝试选择相对适合的编程语言来完成相关的工作。
Apache Spark是专门为大规模数据处理而设计出来的计算引擎，相对于Hadoop MapReduce将结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入磁盘时在内存中进行运算。Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统，如果需要使用Spark，需要搭载其他文件系统例如用HDFS和更成熟的调度系统进行配合更好的进行计算工作。
本教程手把手教你搭建一套使用 Node.js + Express + Sequelize + MySQL 构建的后端服务，详细描述通过 Node.js 与数据库通讯。整个服务搭建起来后，我们使用 Postman 对整个后端服务进行测试。本教程每段代码我都亲手测过，保证百分百没有错误，请打开你的 terminal 跟随本教程一起操作，从这里开始，成为一名后端工程师。
声明下笔者的环境，Mac(10.14.6) CLion WebStorm(其他平台Node.js文档里也有介绍)
环境说明： 服务器（系统版本CentOS 7） elasticsearch版本: elasticsearch-6.2.2 elasticsearch目录: /home/soft/
使用3台虚拟机来进行搭建集群，分别为Node01、Node02、Node03。集群的规划如下：
大数据是基于集群的分布式系统。所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。
NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能力以及单个接口，通过该接口可以更改数据流并监控数据流。集群允许DFM仅进行一次更改，然后将更改复制到集群的所有节点。通过单一接口，DFM还可以监视所有节点的健康状况和状态。
1、一个 redis 镜像 2、准备一份 redis.conf，建议使用物理机安装 redis 后自带的。 3、准备一个承载目录，用于挂载 redis 容器数据卷，以及将配置文件放进去。 我这里使用 /redis-data
相信在看了上一篇博客《带你快速认识NamenodeHA和Yarn HA,为搭建HadoopHA集群打下基础!》后，大家一定对于如何搭建HA集群非常期待٩(๑❛ᴗ❛๑)۶不要慌，本篇博客即将为大家带来搭建HA集群的详细教程!
前几天分享了下搭建MySQL Group Replication的脚本， 分分钟搭建MySQL Group Replication测试环境(r11笔记第82天) 其实感觉还是不太踏实，虽然我成功搭建了3个节点的环境，但是有不少问题还没有解决，甚至是特意避开了。 1.节点数都是在脚本里固定的，想搭建4个，6个节点的，完全适应不了 2.模板臃肿，每个节点一个参数模板，其实就几个参数不一样 3.单主模式下的节点，其实就一个写节点的配置略有不同，其它节点配置都是一样的，但是脚本里也是写固定了。
上篇已经大概讲述大数据组件版本和集群矩阵配置说明，有不清楚的同学，可以阅读上一篇
完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址
本文章这里详细的介绍appium的环境搭建，关于它的设计哲学，可以到http://appium.io/documentation.html地址去看，appium的发布，确实是很值得庆贺的事，它实现了跨平台的移动应用程序的测试，重要的是，它提供的api，可以使用主流的语言如java,python,c#等供使用，这对于测试来说，这些主流语言基本了解，而不需要学习一门框架而去学习另外一门语言。下面详细的介绍appium的环境搭建步骤。
这个项目的名字叫做 AJ-Report ，是 Gitee 上的一个 GVIP 项目。
这个项目是为了学习 node 而建的，从前端到后端一手包办。相对来说，还是有一定难度的，适合有一定编程基础的人进阶学习。
该文介绍了如何使用kubeadm部署kubernetes集群，包括Master和Worker节点。首先介绍了kubeadm的作用，然后描述了如何利用kubeadm部署Master节点。接着介绍了如何配置kubectl以通过Master节点来管理集群。最后，介绍了如何添加Worker节点以扩展集群。
本文主要讲elasticsearch-2.2.1的安装过程。 准备工作： 1.搭建虚拟机 你需要先参考 hadoop2集群环境搭建 把你的虚拟机搭建起来-hadoop环境可以先不用搭建（完成步骤1到步骤8） 2.下载elasticsearch包 下载elasticsearch-2.2.1.tar.zip 这里我搭建的是4台虚拟机(node1,node2,node3,node4) elasticsearch 只允许普通用户操作，不允许root用户操作 --1.关闭防火墙 service iptables st
• Hadoop是由Apache基金会开源的 分布式储存+分布式计算平台提供分布式的储存和计算
EasyDarwin是目前比较热门的开源平台之一，上一篇我们给大家详细展示了搭建EasyDarwin环境前实现虚拟机Linux系统共享目录，本文我们将说明一下如何在Linux下搭建起nodejs环境。
ThinkJS 是一款使用 ES6/7 特性全新开发的 Node.js MVC 框架，它综合了众多框架的设计理念和思想，让使用 Node.js 开发项目更加简单、高效。Node.js 是一个能够在服务器端运行JavaScript的开放源代码、跨平台 JavaScript 运行环境。Node.js 采用 Google 开发的 V8 运行代码，使用事件驱动、非阻塞和异步输入输出模型等技术来提高性能。
Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置，Master的高可用可以使用fileSystem(文件系统)和zookeeper（分布式协调服务）。
HBase是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
今天从etcd集群的搭建开始切入。计划从VMware安装CentOS虚拟机开始，先创建一个模板机，后续搭建redis集群、etcd集群等各种需要创建虚拟机的时候，直接克隆模板机。
Distributed Rabbitmq brokers的实现方式有三种，分别是clustering、federation、shovel。本节围绕clustering（集群）讲述。
之前文章介绍了在vue页面内嵌三方监控展示页面grafana，看到里面有主机相关的详细监控信息，有的开发朋友比较感兴趣，问我如何搭建，我这边就介绍一番。
前几天写了关于搭建私人博客的好处以及转载了一篇关于大牛写博客的心得，这里小编准备将建博客的详细步骤给大家分享出来，也是为了让大家在自己搭建博客时踩更少的坑。
前段时间在开发微信小程序，然后后台接口没有跟上，为了不影响开发进度，然后就使用了node.js搭建微信小程序的数据模型mock服务。那么本篇博文就来分享一下node.js搭建数据模型的服务方法。本案例只介绍Mac电脑环境下的安装方法，也就是使用命令终端进行操作的，其他系统应该都是大同小异，请选择性阅读本篇博文。
随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库，渐渐为开发人员所关注。
1. Redis 单机搭建（以 6.0.6 版本为例） ---- 2. Redis 哨兵高可用搭建 ---- 目前为了方便演示，在一台机器上以不同的端口启动 3 个服务。 进行之前，先进行单节点上的前 8 个步骤。 3. Redis 集群搭建 ---- 目前为了方便演示，在一台机器上以不同的端口启动 6 个服务。 进行之前，先进行单节点上的前 8 个步骤。 1. 集群搭建 2. 集群 slot 数量整理 reshard。 3. 测试自动故障转移。 cluster 集群不保证数据一致，数据也可
以上是我的节点及机器上安装的相关软件，东西会比较多，但是运行都离不开我们上面的架构图。
建议采用新的机器, 我用了之前的机器导致, 配置是对的, 但是三个节点就是不组成集群.... 哭了一晚上
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
