行者悟空-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

行者悟空

专栏成员

51

文章

83759

阅读量

22

订阅数

一次nginx引起的线上502故障

今天突然接到某PM的求救，说微信支付到应用的请求一直返回502，于是初步了解完情况后，就进入了问题排查阶段。

2018-12-13

10.8K0

项目进度估算难题

程序员要面临的挑战千千万，项目进度评估是有史以来就存在而且到现在也没有完美解决的重量级问题。项目进度这个坎儿其实又可以拆分为两个： 1.工作量评估 2.项目执行与评估前一阵圈子里流行一篇文章，题目是“做一个这样的APP要多久”，类似的版本还有“做一个这样的网站要多久”、“做一个这样的APP要多少钱”、“做一个这样的网站要多少钱”…… 多年的软件开发经验给我施了墨刑，在脸上刻了三个字：“程序员”，所以我走到哪里都会被识破身份。嘿嘿，都不用介绍了。这不，上周我去洗车时，就被一个兄弟认出来是搞软件的。然后

2018-06-22

1.2K0

CentOS Linux安装nginx及负载均衡的配置

linux nginx centos

centos安装nginx 一、安装nginx 1、在nginx官方网站下载一个包nginx官方下载 2、WinSCP(ftp上传工具).exe FTP 上传工具上传达到CentOS中 3、我是先建一个目录，把要用的到的安装包放到一起. #mkdir /home/ #tar zxf nginx-1.4.1.tar.gz #cd nginx-1.4.1 4、安装pcre开发包 #yum install -y pcre-devel 5、如果安装出现在下面的错误是缺少编译环境。安装编译源码所需的工具和库 ./c

2018-06-22

7690

cas server + cas client 单点登录原理介绍

开源 java .net php

CAS 介绍 CAS 是 Yale 大学发起的一个开源项目，旨在为 Web 应用系统提供一种可靠的单点登录方法，CAS 在 2004 年 12 月正式成为 JA-SIG 的一个项目。CAS 具有以下特点：开源的企业级单点登录解决方案。 CAS Server 为需要独立部署的 Web 应用。 CAS Client 支持非常多的客户端(这里指单点登录系统中的各个 Web 应用)，包括 Java, .Net, PHP, Perl, Apache, uPortal, Ruby 等。 CAS 原理和协议从结构上看

2018-06-22

7.1K0

架构之路（一）：目标

标准来源于目标评价架构好坏是一个很主观的东西。既然大家写出来的程序都能跑，凭什么就说你架构好，我的架构差？拿出来大家评评理，张三说好，李四说不行，王五说将就……究竟谁说了算？现在已经不是一个迷信权威的时代了，所以不管你多少光环加持，你都得说出子丑寅卯来，都得服众才行。我觉得，这种现象的产生，抛开“同行相轻”和“流派之争”之类无厘头的东西，一个很重要的原因就是没有明确判断标准。所以在网上，常常就出现这样一种很热闹很奇葩很无奈的现象：我和你说性能，你跟我说安全；我跟你说安全，你跟我说扩展；我跟你说扩展，你跟

2018-06-22

3860

Hadoop之RPC机制

什么是RPC机制 Remote Procedure Call（简称：RPC):远程过程调用协议。 RPC是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易 RPC的运行模式 RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数

2018-06-22

4960

Hadoop之HDFS概念与体系结构

HDFS是什么 Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。 HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文

2018-06-22

7920

通过Keepalived实现NginxHA高可用

摘要 Keepalived是由C语言编写，目标是基于Linux为应用提供简单而又强大的负载均衡和高可用的服务。概述随着互联网井喷式发展，单节点服务已经不能满足并发需求，通常利用nginx反向代理来实现集群部署以此解决并发需求（nginx负载均衡实现）。此时虽然保证了应用的集群化和高容灾性，但nginx却单节点运行，这极大的为系统宕机埋下伏笔。为此我们必须来采用一主一备或一主N备的方式来保证nginx的运行，高可用（HA- High Availability）的解决方案很多，本文以Keepalived

2018-06-22

9140

SSH免登陆原理及配置

ssh shell 安全

SSH简介 SSH(Secure Shell的缩写):是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。 SSH免密码登录原理非对称加密算法在日常的工作生产中，我们经常需要进行数据的通讯，开发人员经常需要对数据进行加解密操作，以保证数据的安全。数据的加密算法非为对称加密和非对称加密两种，常用的DES、三重DES、AES等都属于对称加密，即通过一个密钥可以进行数据的加解密，密钥一旦泄

2018-06-22

1K0

Hadoop 2.x 伪分布式环境搭建

摘要体验一下Hadoop2.x版本在单机环境下是如何安装配置。系统环境操作系统：centos 6.5 x64 hadoop版本：2.7.0 jdk 1.7 上传hadoop安装包上传完毕后，为了方便操作，在系统根目录下创建/itunic目录，代码如下： mkdir /itunic 将hadoop解压到itunic目录下 tar -zxvf hadoop.2.7.0.tar.gz -C /itunic 配置hadoop 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/ha

2018-06-22

4650

利用Hadoop Mapreduce实现pv统计分析

hadoop 网站 mapreduce

摘要本文将介绍通过Hadoop Mapreduce实现离线统计网站每日pv的思路及代码。前言利用网站的kpi数据来分析出网站潜在的价值，那么了解网站的PV、UV、IP的状况，是一项必不可少的任务。本文将介绍通过Hadoop Mapreduce实现离线统计网站每日pv的思路及代码。什么是PV pv是指页面的浏览量或点击量（Page View），用户每访问一次或刷新一下即被计算一次。需求对网站以往的访问数据进行日pv、月PV、年PV统计。技术选型对于访问量大的网站来说，普通程序计算实现成本非

2018-06-22

1.9K0

Hive基本概念

hive mapreduce 数据库 hadoop 存储

摘要 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 Hive简介什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。为什么使用Hive 直接使用hadoop所面临的问题：人员学习成本太高项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大为什么要使用Hive：操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce，减

2018-06-22

9510

Apache Hive 安装详解及相关问题解决方案

apache hive 云数据库 SQL Server mapreduce spark

摘要本文介绍hive工具的安装及整合mysql 下载Hive 点击hive官方下载 hive目前两个运行版本分为两个分支：1.x 、2.x 1.x主要是运行在MapReduce上面。 2.x主要运行在Spark上面。安装及配置上传并解压Hive 将Hive上传到hadoop集群服务器/itunic/目录下，并解压到当前目录。 tar -zxvf apache-hive-1.2.1-bin.tar.gz 2.将hive配置到环境变量 vi /etc/profile #set hive env ex

2018-06-22

6590

Nginx性能优化的那些事

nginx作为最优秀的web服务器之一，以轻量级，高并发而著称，用户遍及全球各地。下面来讲述一下nginx常规的一些优化。仅供参考！并发数调整谈到web服务器，并发是一个无法规避的问题。那我们来看一下nginx的并发数是如何设置的。 nginx并发数调整，主要有取决于worker_processes和worker_connections参数，下面介绍关于ngnix性能优化全局设置的相关参数。 worker_processes：指定nginx开启的进程数，默认是1。每个进程消耗约12M左右的内存。进程数

2018-06-22

1.1K0

Nginx 启用upstream模块后，location块中的相关参数说明

前言写这一篇文章之前，一直很头疼一件事。就是nginx需要配置哪些东西，哪些东西需要注意什么。还有就是有关http下面的location块中都有哪些参数可以设置，设置完都能有什么样的效果。这些细节的东西很难用脑袋记住，也并不需要用记住。只需要有一个大体的印象就Ok了，当要用的时候直接查阅就可以。此篇文章就是为了给需要的人查阅，有什么解释不对的地方可以留言沟通。 location具体参数及说明 location / { proxy_pass http://itunic; #用来定义

2018-06-22

6330

Nginx启用具有一般的TCP代理和负载均衡的stream模块

nginx 人工智能

一直以来，nginx并不支持TCP协议，一些基于TCP的业务必须依靠别的高可用负载软件来实现。但在nginx 1.9.0以后，意识到了此问题，终于得到了重大的重写。 2015-04-28 nginx更新说明 nginx-1.9.0 mainline version has been released, with the stream module for generic TCP proxying and load balancing. nginx-1.9.0主线版本已经发布，增加了具有一般的TCP

2018-06-22

1.3K0

MapReduce程序的几种提交运行模式

mapreduce windows eclipse linux

以下将介绍以下开发完MapReduce程序后，提交运行的几个模式。本地模型运行在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata) 在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行

2018-06-22

9700

Spark之集群概述

spark yarn 存储

摘要本文简要地概述一下Spark是如何在集群上运行,让它更容易理解。 Spark 组件说明 Spark的应用程序作为一个独立的进程在Spark集群上运行，并由SparkContext对象（驱动程序）来运行你的主应用程序。总体来说，应用程序在集群上运行，SparkContext可以连接一下几种的管理组件：Spark自身具有的管理器，Mesos或者Yarn，来实现将资源分配给应用程序。一旦运行起来，Spark就可以获得需要执行的集群节点，并为应用程序提供计算和数据存储。接下来Spark将应用程序发送给执

2018-06-22

5560

Hadoop之MapReduce原理及运行机制

MapReduce概述 MapReduce是Hadoop的另一个重要组成部分，是一种分布式的计算模型。由Google提出，主要用于搜索领域，解决海量数据的计算问题。 MapReduce执行主要分为两个阶段： map阶段：将任务分解。 reduce阶段：将任务汇总，输出最终结果。 MapReduce执行过程总体执行过程 MapReduce运行的时候，通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的map方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，

2018-06-22

1K0

Hadoop之HDFS源码分析

HDFS的读取数据过程初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。 DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client

2018-06-22

6030

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态