cd /usr/local/software (software可能没有，用mkdir创建或者只到local目录下也行)
大家好，我是程序员鱼皮。之前有同学问：为什么反复强调学编程时一定要把项目上线？而不是跟着教程敲完、能本地运行就结束了？
http://www.mycat.io/document/mycat-definitive-guide.pdf
我们在开发的过程中，会创建非常多的日志，对日志进行 rotate 是一个基本要求。
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的，这里面涉及很多知识点，比如Region切分的触发条件是什么、Region切分的切分点在哪里、如何切分才能最大的保证Region的可用性、如何做好切分过程中的异常处理、切分过程中要不要将数据移动等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBa
“Eason，企业一线运维实战者，马哥教育原创作者联盟成员，热爱分享Linux应用技术的感想和原创知识。” Logstash Filter Plugin Grok Logstash提供了一系列filter过滤plugin来处理收集到的log event，根据log event的特征去切分所需要的字段，方便kibana做visualize和dashboard的data analysis。所有logstash支持的event切分插件查看这里。下面我们主要讲grok切分。 Grok基本介绍 1.Grok 使用
在做数据库维护的时候，经常需要使用数据库日志来排查问题，有时候会遇到日志文件比较大，例如一个历史MySQL的slowlog上TB了，或者MongoDB的log上大几百G，通常这种情况下，我们有下面几个方法来处理日志。
关于日志的一些问题: 单个文件过大会影响写入效率，所以会做拆分，但是到多大拆分? 最多保留几个日志文件？最多保留多少天，要不要做压缩处理？ 一般都使用 lumberjack[1]这个库完成上述这些操作
USR1 信号量被 Nginx 自定义了，为重新打开日志；当 kill 命令发送 USR1时，nginx 会重新打开日志文件，并重新创建进程。
至于什么是Mycat，可能在不同的角色下有不同的理解。对MySQL架构有过了解的话，都知道MySQL实际上是由Server层和存储引擎层组成的。所以对于DBA来说，Mycat 就是 MySQL 的Server层。而 Mycat 后面连接的 MySQL Server，就好象是 MySQL 的存储引擎。因此，Mycat 本身并不存储数据，数据是在后端的 MySQL 上存储的，因此数据的可靠性 以及事务等依旧是 MySQL 保证的。
HAProxy 是一个免费的负载均衡软件，可以运行于大部分主流的 Linux 操作系统上。
split命令：可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。
1、Nginx 下如何正确的做日志切分 今天发现有个 Nginx 日志 rotation 出来大小是 0，很奇怪，按公司的业务场景来说，这是不可能的。 瞅了下前同事留下来的 rotation 脚本，看到了这么两行，也是他们当时 rotation 的方案： cp tracklog.ooxx.com.access.log ${log_date_dir}/tracklog.ooxx.com.access.log.${log_name_date} > tracklog.ooxx.com.access.log
Celery定时任务在服务器上一直运行着,为了保存一些有用的信息,开发人员一定会保存信息到日志文件中.随着时间的增长,日志文件肯定越来越大.比如说一个定时任务每天的日志大小为30M,一年下来就会产生10G多的日志,如果更大,可能会撑满磁盘空间,造成服务器出问题.
本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题，包括HBASE HDFS的常见问题及相关的解决方案
https://github.com/loveshell/ngx_lua_waf
一直说要好好复习一下Mysql都木有时间，终于赶上最近新购买了阿里云，决定使用CentOS去试试.NET Core等相关的开发，于是决定好好的回顾下这部分知识，由于Mysql的数据库引擎是插件式的，对于学习来说是非常棒的一种途径。 Tip: 在VS中，利用EF管理Mysql，需要安装mysql-connector-net-xxxx. 先安装MySQL Connetor net,(我还安装了MySQL Connetor ODBC) 控制面版-管理工具-数据源ODBC(双击) 弹出对话框，第一个选项卡，“
一、DataX数据同步原理二、全量同步实现三、增量同步的思考四、增量同步实现方案五、关于DataX高可用参考
所谓的定时任务切分，是指通过定时任务（比如crontab)，发送信号给nginx，让其重新打开文件。该方法也是nginx官网上面比较推荐的,原文说明比较清楚，这里在说明下：
我们采用Cronlog组件对此进行日志切分，官网http://cronolog.org/一直未能打开，只能从其它地方寻找资源了，这里也上传一份，供大家下载使用，【点击阅读原文查看】。
Linux以其强大的命令行称霸江湖，Shell命令是数据极客的必修兵器。探索性数据分析，在需求和数据都不太明确的环境下，使用各种命令进行一次探索与挖掘。从基础的文件查看到简单的统计，再到一些常用的探索性分析命令，其目的都只是为了更好的做数据分析与挖掘而已。 01 Shell命令行 对于经常和数据打交道的人来说，数据工程师应该也是常常和Linux打交道。Linux以其强大的命令行称霸江湖，因此，Shell命令也是数据极客的必修兵器。 利用Linux命令行的几个命令，就可以完成一些简单的统计分析工作，比如利用w
Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba forMysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用。
最近在一hadoop测试集群运行一个spark streaming程序，然后使用nohup ./execute.sh & 执行让程序后台运行，才几天日志就上G了，如果有问题想要查看日志，显然打开文件是一件很麻烦的事，于是我想办法通过减小文件大小：
NIFI中文文档地址:https://nifichina.gitee.io/ 更新日志 2020-05-21 新增TailFile 新增ExecuteScript 新增探索 Apache NIFI 集群的高可用 2020-05-18 The 4 V’s of Big Data 2020-05-18 新增AttributeRollingWindow 新增CompareFuzzyHash 新增Apache NIFI入门(读完即入门) 新增了解NiFi最大线程池和处理器并发任务设置 新增深入理解NIFI Conn
链接：https://pan.baidu.com/s/1sEJTknmrQ4ldydPu-m4U6g 提取码：8ccf\
恭喜你，贵公司终于成长到一定规模，需要考虑高可用，甚至分库分表了。但你是否知道分库分表需要哪些要素？拆分过程是复杂的，提前计划，不要等真正开工，各种意外的工作接踵而至，以至失控。
相关参考资料： http://man.cx/start-stop-daemon(8) http://cronolog.org/usage.html http://book.opensourceproject.org.cn/lamp/ruby/railscook/opensource/0596527314/i_0596527314_chp_13_sect_6.html 安装cronolog cronolog是个简单的日志切分插件，常见的经典应用就是切分apache的单个庞大日志，按日期保存 安装： ---
netstat 命令用于显示各种网络相关信息，如网络连接, 路由表, 接口状态等等; 列出所有处于监听状态的tcp端口:
1 . 采用单线程、事件驱动、非阻塞模型，减少上下文切换的消耗，能在1ms内处理数百个请求。并且每个会话只占用数KB的内存。
Hadoop分布式文件系统（HDFS）是Hadoop生态系统的重要组成部分之一，它是一个高度可靠、高度可扩展的分布式文件系统，专门为海量数据存储而设计。
看到这个标题就知道硬核的 B 站 UP 主稚晖君又更新了，本次带来的是一个造型可爱的小机器人。除了稚晖君这个一贯硬核的软硬件项目之外，本周也有很多有意思的新项目，像 Linux 服务监控小工具 Rayon，虽然工具本身很是吸引人，本周它还引起了一轮“争吵”，有兴趣的小伙伴可以去 issue 区查看。
HBase采用类LSM的架构体系，数据写入并没有直接写入数据文件，而是会先写入缓存（Memstore），在满足一定条件下缓存数据再会异步刷新到硬盘。为了防止数据写入缓存之后不会因为RegionServer进程发生异常导致数据丢失，在写入缓存之前会首先将数据顺序写入HLog中。如果不幸一旦发生RegionServer宕机或者其他异常，这种设计可以从HLog中进行日志回放进行数据补救，保证数据不丢失。HBase故障恢复的最大看点就在于如何通过HLog回放补救丢失数据。
问题导读： 1、如何设计Flume+Kafka收集架构？ 2、如何修改Docker内配置文件？ 3、如何进行Flume配置？ 4、如何定制RollingByTypeAndDayFileSink？ 1 背景和问题 随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统计等工作，但是云端的服务不是物理的固定资源，日志获取的难度增加了，以往可以SSH登陆的或者FTP获取的，现在可不那么容易获得，但
在前面的几篇文章当中一直有一个概念bucketing不清楚到底是怎么回事。 网友南京-李先森给了他收集的一些资料，如下： Buckets 对指定列计算 hash，根据 hash 值切分数据，目的是为了并行，每一个 Bucket 对应一个文件。如将 user 列分散至 32 个 bucket，首先对 user 列的值计算 hash，对应 hash 值为 0 的 HDFS 目录为：/ warehouse /xiaojun/dt =20100801/ctry=US/part-00000；hash 值为
1 背景和问题 随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统计等工作，但是云端的服务不是物理的固定资源，日志获取的难度增加了，以往可以SSH登陆的或者FTP获取的，现在可不那么容易获得，但这又是工程师迫切需要的，最典型的场景便是：上线过程中，一切都在GUI化的PaaS平台点点鼠标完成，但是我们需要结合tail -F、grep等命令来观察日志，判断是否上线成功。当然这是一种情况，完善的Pa
单一的日志文件可能会增长到很大，并且在程序启动时读取从而成为性能瓶颈。老的日志需要定时清理，但是对于一个大文件进行清理操作很费劲。
转自：https://www.jianshu.com/p/9693264b3e6e
本文介绍了HBase的基本概念、HBase的架构、HBase的数据模型、HBase的Shell、HBase的Java API、HBase的数据访问，以及HBase的运维实践。
上一篇《100行代码，搞定http监控框架》介绍了通用+可扩展的http监控平台的架构： 监控平台层：调度监控项，通过后台管理监控项 信息管理层：通过服务和后台维护集群，告警接收人，告警策略等信息 告警发送层：通过接口发送邮件，短信，微信等消息 创业型公司，如果没有上述完善的基础设施，可以简化为一个通用+可扩展的http监控框架： 调度器：100行的伪代码，简述了调度器的原理 可扩展配置：通过配置文件来维护监控项、集群、告警人信息，同时保持扩展性 不少同学留言问，这个框架日志监控覆盖不了，RPC接口监控覆盖
上一篇《100行代码，搞定http监控框架》介绍了通用+可扩展的http监控平台的架构：
logging 模块可以实现日志的输出和写入文件，但实际工作中，对于日志的使用不仅限于输出那么简单。
这个buffer编号(在日志缓冲区中)的所有改变必须刷新到磁盘，写操作的完成保证了交易COMMIT的执行，即使实例crash也会保证COMMIT。因此LGWR的等待就是刷新这个buffer#。
日志实在是太有用了，它记录了程序运行时各种信息。通过日志可以分析用户行为，记录运行轨迹，查找程序问题。可惜磁盘的空间是有限的，就像飞机里的黑匣子，记录的信息再重要也只能记录最后一段时间发生的事。为了节省空间和整理方便，日志文件经常需要按时间或大小等维度分成多份，删除时间久远的日志文件。这就是通常说的日志滚动(log rotation)。
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！ 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。
通俗的解释一下多线程先： 多线程用于堆积处理，就像一个大土堆，一个推土机很慢，那么10个推土机一起来处理，当然速度就快了，不过由于位置的限制，如果20个推土机，那么推土机之间会产生相互的避让，相互摩擦，相互拥挤，反而不如10个处理的好，所以，多线程处理，线程数要开的恰当，就可以提高效率。 多线程使用的目的： 1、吞吐量：做WEB，容器帮你做了多线程，但是它只能帮你做请求层面的，简单的说，就是一个请求一个线程(如struts2，是多线程的，每个客户端请求创建一个实例，保证线程安全)，或多个请求一个线程，如果
🏆本文收录于 《Spring Boot从入门到精通》 ,专门攻坚指数提升，2023 年国内最系统+最强。
多线程用于堆积处理，就像一个大土堆，一个推土机很慢，那么10个推土机一起来处理，当然速度就快了，不过由于位置的限制，如果20个推土机，那么推土机之间会产生相互的避让，相互摩擦，相互拥挤，反而不如10个处理的好，所以，多线程处理，线程数要开的恰当，就可以提高效率。
mysql和redis的关系？ 要根据具体的业务情景去选型： mysql存储在磁盘中 redis存储在内存中 redis适合存在一些比较热的数据，使用频繁的数据，比如下面的应用场景 排行榜 粉丝 关注 消息队列推送 数据库 降级处理 其作用是为了适应不同版本的sql，不同型号的硬件设备，做到向下兼容 通过日志文件分析 查看日志 如何进行分库分表（sharding） 数据库sharding，多表多数据适合做垂直切分；如果表不多，但是每张表的数据多适合做水平切分。 垂直切分：规则简单实施方便；根据不同的表来拆分
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
