生活中、工作中，有时候总需要随机生成一些字符串，如果只是一两条还好，多了就不容易搞…… 对于开发人员可能没什么问题，但对于不是程序员的我们应该怎么做呢？ 答案很简单，一个Shell脚本就能实现
（1）内存：条数、每条大小、内存是DDR4还是DDR3、内存频率是2666MT/S还是1600MT/s
🍅 作者主页：不吃西红柿 🍅 简介：CSDN博客专家🏆、信息技术智库公号作者✌。简历模板、职场PPT模板、技术难题交流、面试套路尽管【关注】私聊我。 今日重点： ① 学会查看linux各种状态，包括：网络IO、磁盘、CPU、内存等； ② 学会理解命令所代表的含义，能够迅速发现集群存在的问题。 1、核心命令 linux 监控网络IO、磁盘、CPU、内存： CPU：vmstat 、sar –u、top 磁盘IO：iostat –xd、sar –d、top 网络IO：iftop -n、ifs
下面罗列的这些基本命令，很有用，对于查询线上线下问题都非常有用的，不妨学习一下哈。
之前我们阅读了OPPO文档数据库mongodb负责人杨亚洲老师2020年分享干货-万亿级数据库MongoDB集群性能优化实践合辑（上），本次我们分享来自答疑内容核心18问，包括内容如下：
目前只设置了 2 个 key，且还没有到 900 s，所以不会触发自动生成 RDB 快照。
有一个小问题可能很多人都想起过，那就是MySQL中既然已经有了binlog,为什么还需要redo,这个问题看起来好像很简单，但是细细品来，还是有不少值得注意的地方。 对于数据恢复，尤其是异常宕机的情况下，再次启动的时候，如何恢复，恢复的数据依据，这个尤为重要，在MySQL中是有checkpoint的技术来做一个基本的检查点控制，也就是常说的LSN,对于事务性数据库，大都会采用write ahead log的策略，即当前事务提交的时候，先写redo,在修改相应的页，如果发生宕机导致数据丢失的时候
在生产环境中的数据迁移还是很惊心动魄的，毕竟生产的数据不容许有任何潜在的问题，很小的问题也可能导致业务的终端，这个时候dba的角色是很重要的，如果dba犯了一个很细小的问题，在海量数据迁移中可能会导致灾难性的结果，所以今天和大家讨论一下关于由vi误操作导致的问题及总结。 结合今天早上的例子来说明。 目前生产环境已经有大量的用户数据了，需要从老系统迁移一批用户数据过来，一切都在安装好计划进行准备和操作。我是采用了外部表的方式，把一个很大的表分为了几十上百个外部表，采用insert方式加载的。 数据的准备工作很
接手的新项目，接二连三的出现账不平的问题，作为程序员中比较执着的人，不解决誓不罢休。最终，经过两次，历时多日终于将其连根拔起。实属不易，特写篇文章记录一下。
1.在Linux系统的~/Downloads目录下，下载redis3.0.5。 wget http://download.redis.io/releases/redis-3.0.5.tar.gz 2.解压文件，并创建软件连接 tar -zxvf redis-3.0.5.tar.gz -C ln –s redis-3.0.5/ redis 3.编译redis源码 cd ~/Downloads/redis make（先安装gcc） Redis安装报错error:jemalloc/jema
grep 是 Linux 下非常重要的一个工具，grep 全称是 Global Regular Expression Print，表示全局正则表达式版本。grep 是一个文本筛选器，其实也是搜索的功能，grep 的工作原理是，给定一个条件，我们也叫做模式，然后从文本中筛选出符合这个条件的内容，然后将这一行输出出来。有点类似于搜索引擎，在一个很大的文本中，筛选出满足设定条件的部分。grep在生物信息分析中，可以快速从文本中筛选出需要的内容。
# cat /proc/cpuinfo | grep "physical id" | uniq | wc -l
首先nginx的日志是按照时间顺序的。因此计算QPS，只需要先统计条数，再计算时间差，二者相除就可以得到。
经常使用 Linux 的同学，肯定对|这个符号不陌生，这个符号是 Linux 的管道符号，可以把左边的数据传递给右边。
需求说明：对线上业务日志进行监控，当日志中出现的ERROR条数超过30条时立即报警！ 监控脚本部署到qd-inf-logcollector01服务器上了（需要提前做好qd-inf-logcollector01到业务部署机器的ssh无密码信任关系） 1）qd-inf-logcollector01 机器上的操作记录： [root@qd-inf-logcollector01 ~]$ cd /app/script/ [root@qd-inf-logcollector01 script]$ ll total 37
MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时间。
命令历史 # cat /root/.bash_history //存放历史命令的地方 # history //查看命令历史的条数 # echo $HISTSIZE //查看可以保存的条数 # vim /etc/profile //改变变量HISTSIZE的值 “/HISTSIZE” 去搜索 # source /etc/profile //这样才能使我们刚刚修改的值生效 # vim /etc/profile →在HISTSIZE下增加 HISTTIME
#cat /proc/cpuinfo | grep “physical id” | uniq | wc -l
是非关系数据库当中功能最丰富，它支持的数据结构非常松散，是类似 JSON 的 BSON 格式的
现在熟练使用Linux已经成为IT人员的必备技能了，学会一些使用小技巧，能帮助您更好的使用Linux系统，今天就来介绍一番。
一个查看历史命令的使用率工具， 因为看到oh-my-zsh项目中的zsh_statsfunction 后有感仿照开发了一个。 本项目不仅支持zsh_history而且支持bash_history 。 还有可扩展的趋势.
查看文本的中间某些行范围之间的内容,例如说查看文本文件100-120行之间的内容：
在工作中我们需要查询表的数据条数，一般来说就是使用select count(1)或者select count(*)之类的语句。 当然了对于不同的表来说，应该还是可以做一些细分，能够最大程度的提高效率，比如表中含有主键列，尝试走索引扫面可能会被全表扫描效率要高。如果表中的数据太多，而且没有一些相关的约束，可以考虑使用并行来提高等等。 以下就是使用shell脚本所做的查询数据条数的一个例子，看起来有些太不值得了，但是如果数据量很大的情况下这些分析就格外有用了。 比如表customer，数据量不是很大，可以直
Linux内存清理：绝大多数情况下都不需要此操作，因为cache的内存在需要的时候是可以自动释放的～
sed 会根据脚本命令来处理文本文件中的数据，这些命令要么从命令行中输入，要么存储在一个文本文件中，此命令执行数据的顺序如下：
有时，我们需要处理一批数据，使用while循环是个不错的想法，但while循环中的命令是一个一个执行的，如果要批量处理的数据很多，执行时间就会很长，而parallel可以让命令并行执行，从而缩短命令执行时间。 下面，我们先用ncat来模拟一个处理数据的接口。
http://static.cyblogs.com/Jietu20211113-162059.jpg
zabbix的原始数据库是create.sql.gz，可以使用gzip -d 解压此文件，在导入数据库，也可以使用zcat命令。
正则匹配并且可以捕获到()这个里面的子表达式的值，linux的grep命令没办法捕获子表达式的值，只能获取到整条正则匹配的内容
使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行在数据Load到Hive表时报“Operation category READ is not supported in state standby”，执行的Sqoop抽数脚本如下：
https://blog.csdn.net/lyshark_lyshark/article/details/125853245
自定义监控脚本，监控mysql的慢查询日志，每分钟超过60条日志需要告警，需要仔细分析慢查询日志的规律，确定日志条数。 #!/bin/bash # script name: slow_query_count.sh slow_log=/tmp/dbm-slow.log grep 'timestamp' $slow_log | awk -F '=' '{print $2}' |awk -F ';' '{print $1}'|sort -r > /tmp/timestamp.log now=`sed -n '1
创建数据库目录: MongoDB的数据存储在data目录的db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录中创建db目录。
统计每个库每个表的大小是数据治理工作的最基本内容，本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。
本文是一个命令行工具的综合应用，将用一个具体的例子来阐述如何用 Shell 来进行高效地数据统计和分析。最近北京又开始了新一批积分落户的填报工作，恰好这篇文章用 shell 来对首批北京积分落户同学进行 "大数据"分析。
Redis使用了单线程架构和I/O多路复用模型来实现高性能的内存数据库服务，我们来看Redis的单线程命令处理机制。
database # 数据库 collection # 集合，类似于表 filed #字段 document #每行的记录
这里可以看到，备份开始时的pos点是mysql5729-bin.000001文件的1405，备份好的文件是lhrdb.sql文件，该文件是文本文件，可直接查看。如果后续通过binlog来恢复数据库时，则需要从mysql5729-bin.000001文件的1405号开始恢复。
大神终究是孤独的，在Linux这条路上，有太多的人，而我们走着走着就分离了，我们在各自的道路上按照我们自己的方法去寻找着属于我们的道路，属于我们的那一片领土！ 第一天 我们从3开始 3、echo
上周末团建了，没来得及肝文。跟同事们一起自驾去了秦皇岛阿那亚，吃吃烧烤，玩玩德扑，吹吹海风，很是惬意~
线上出现了问题，登上线上的机器查日志是非常常见的操作了。我第一次登上线上机器查日志的时候，我还只记得以下的几个命令（假设现在我们的日志文件叫做service.log)：
有很多时候，处理一个大文件，常规命令并不能很好的利用多核 例如，一个1T的文本，百亿条数据，我想要: 1 wc -l test.txt 或者 1 fgrep xxxx test.txt 一般机器就会自觉进入一核有难，其它核点赞的看戏模式。 我花钱配了这么多核，加了这么多内存，不是让大家来看戏的。于是祭出parallel~ 原理 parallel 是一个perl脚本，通过分割输入，并行处理的方式来加速执行命令。 例如: 1 wc -l test.txt 简单想想就是用个for循环split文件，挨个wc
Redhat是目前企业中用的最多的一类Linux，而目前针对Redhat攻击的黑客也越来越多了。我们要如何为这类服务器做好安全加固工作呢？
1千万，2千万，或者上亿条数据？具体的答案不重要，当然肯定也不会是一个固定的数目，今天我们就一起来探讨探讨这个问题。
日常工作中，总会有因手抖、写错条件、写错表名、错连生产库造成的误删库表和数据的事情发生，那么，如果连数据都恢复不了，还要什么 DBA。
点击关注公众号，Java干货及时送达 作者：程淇铭 来源：segmentfault.com/a/1190000020116271 日常工作中，总会有因手抖、写错条件、写错表名、错连生产库造成的误删库表和数据的事情发生，那么，如果连数据都恢复不了，还要什么 DBA。 相关文章 MySQL备份策略：https://segmentfault.com/a/1190000019955399 MySQL数据恢复：https://segmentfault.com/a/1190000020116271 1 前言 数据恢
哈喽，好久没更新啦。因为最近在面试。用了两周时间准备，在 3 天之内拿了 5 个 offer，最后选择了广州某互联网行业独角兽 offer，昨天刚入职。这几天刚好整理下在面试中被问到有意思的问题，也借此机会跟大家分享下。
爱可生 DBA 团队成员，负责公司 DMP 产品的运维和客户 MySQL 问题的处理。擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
