用一个shell脚本遍历需要拉取的机器和需要拉取天数的日志(两者可配置)，通过scp命令将应用服务器上的日志拉取到日志服务器上，然后压缩存盘。再将过期的日期删除
对于零基础转行或者打算找一份初级测试的工作同学来说，linux属于必学必会内容，而且面试必问。
之前在某乎上看见一篇关于《为什么很多程序员都建议使用 Linux》的文章，结合我自身关于Linux的使用经验。心血来潮得写了一段关于我在Linux系统部署爬虫程序的心得，希望结识更多的爬虫技术大佬，一起游弋在代码世界中。
上一篇文章(2300+字！在不同系统上安装Docker！)教大家如何在系统上安装docker，今天咱们来学习docker的基本使用。
从2016.7来到上海后记录下自己的面试经历,希望能对其他人有所帮助,同时给自己一个提醒.
k8s项目中 pkg/kubelet/envvars，pkg/kubelet/events，pkg/kubelet/eviction，pkg/kubelet/images，pkg/kubelet/kubeletconfig这些目录都是 kubelet 组件的不同功能模块所在的代码目录。
Splunk是一款功能强大，功能强大且完全集成的软件，用于实时企业日志管理，可收集，存储，搜索，诊断和报告任何日志和机器生成的数据，包括结构化，非结构化和复杂的多行应用程序日志。
腾讯云日志服务CLS举办的日志服务CLS体验征文活动发起后，吸引了许多云+社区作者和行业专业人士的关注与参与，发表了众多产品业务使用场景实践案例、日志服务产品初体验分享、以及产品功能建议等文章干货，点击日志服务CLS专栏阅读更多日志服务CLS相关文章。
良好的监控环境为腾讯云容器服务高可靠性、高可用性和高性能提供重要保证。您可以方便为不同资源收集不同维度的监控数据，能方便掌握资源的使用状况，轻松定位故障。 腾讯云容器服务提供集群、节点、工作负载、Pod、Container 5个层面的监控数据收集和展示功能。 收集监控数据有助于您建立容器集群性能的正常标准。通过在不同时间、不同负载条件下测量容集群的性能并收集历史监控数据，您可以较为清楚的了解容器集群和服务运行时的正常性能，并能快速根据当前监控数据判断服务运行时是否处于异常状态，及时找出解决问题的方法。例如，您可以监控服务的 CPU 利用率、内存使用率和磁盘 I/O
由于业务的需求，我需要将每次写好的代码编译好后，并且通过ftp工具远程传到服务器上。但是，这样的操作带来的问题是：整个的过程变得相当的复杂。
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展高性能数据存储解决方案。
海康设备网络SDK是基于设备私有网络通信协议开发的，为嵌入式网络硬盘录像机、NVR、网络摄像机、等网络产品服务的配套模块，用于远程访问和控制设备软件的二次开发。
在Linux操作系统中，熟练掌握各种命令是成为一名高效开发者或管理员的关键。然而，即使是经验丰富的用户，有时也会遇到命令用法不熟悉或者记忆模糊的情况。这时，一个功能强大的命令搜索工具就显得格外重要。最近在逛github的时候正好发现了一个项目linux-command，今天就和家人们分享下。
注意个人使用了4.9.4的Rocketmq版本进行学习部署使用。因为windows上使用docker部署不同版本的RockerMq可能会有不同的情况，这里仅保证4.9.4的版本可以正确运行。
在工作中，我们开发的系统会涉及到大量的日志。同时，我们还有另一套系统会对日志的内容进行监控，从而判断系统是否正常运作。
这些数据都是一些非结构化的数据，我们可以统一将这些数据统一采集到splunk之后，splunk可以对这些数据进行索引、调查、监控、可视化等。
类似于电脑,要在朋友的电脑上跑你写的Java程序,就得检查他电脑有没有安装Java环境.
现在越来越多项目使用git, 本文记录git常用操作及在linux里自动拉取相应的资料, 再通过samba系统提供给其它人员使用
本文要介绍的是一个发生在我们线上环境的真实案例，问题发生在某次大促期间，对我们的线上集群造成了比较大的影响，这篇文章简单复盘一下这个问题。
在初诊阶段，我们往往只能获得一些表面的信息，比如节点挂了，Pod崩溃了，网络不通等等，这时，我们需要根据我们初诊的方向和范围使用一些工具以及结合日志进行具体的诊断。
这种发布方式每次都要重新构建镜像，发布起来很不方便。博主还提供了另一种方式，每次发布只需要将打包后的dist内容放到linux主机目录即可，感兴趣的道友可以直接参考这一篇：docker 安装 nginx 发布Vue项目_苍穹之跃的博客-CSDN博客nginx配置文件、html文件、logs日志文件。
01. FaaS 产品与容器生态的结合 容器镜像已成为云原生时代标准的交付物，并且有其强大的生态来解决 CICD、存储、编排等实际需求。云函数 SCF 从设计之初即是基于云原生架构的 FaaS 产品，同时也是 Serverless 思想的最佳产品化体现之一。在 Runtime 层支持自定义容器镜像后，意味着产品形态整体向容器化生态迈出了第一步。 一方面，解决函数运行时的环境依赖问题，给予用户更大的自由发挥空间；另一方面，产品形态层面的呈现使得用户无需受困于 Kubernetes 集群管理、安全维护、
最近在公司遇一个需求，要从上个月甚至是半年的日志文件中筛选出用户首次访问站点，是通过什么入口跳转进来的，访问的资源有哪些等等一些信息，无奈日志实在太大，需要经过重重筛选才能获得到自己想要的数据。这其中用到的数据过滤，对上千万行，甚至上亿行文件内容比较，取文件交集、并集、差集等等操作，这其中不仅仅只是用到了awk一个操作，但我们这几期内容重点分享一下awk使用心得。
记得，迅雷是个好东西，ElasticSearch 与 Kibana 一定要版本一致。JDK环境也最好控制好，JDK8 +，不是所有的JDK8都可以，最好重新下载一个。
定时任务，是在日常开发需求中总会遇到的，我们往往会有一些简单的脚本工作，希望能够每小时或每天执行一次。当这类需求变得多起来后，这些零散的任务脚本就会变得难以管理，尤其是它们可能由不同的脚本语言编写而成。这时，我们就需要一个集中化的定时任务管理平台，来进行统一管理。 ◆ 简介 QingLong（青龙），是 whyour 在 Github 上开源的定时任务管理面板，仓库位于 https://github.com/whyour/qinglong，目前版本为 v2.11.2。 QingLong提供了强大的定时任
就绪探针，用来判断 pod 是否就绪，就绪状态时service才会分发流量给该pod。
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
针对上述问题，为了提供分布式的实时日志搜集和分析的监控系统，我们采用了业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。通常，业界把这套方案简称为ELK，取三个系统的首字母。调研了ELK技术栈，发现新一代的logstash-forward即Filebeat，使用了golang，性能超logstash，部署简单，占用资源少，可以很方便的和logstash和ES对接，作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。
如果你是老张的忠实读者的话，如果是从博客园就开始看我的文章的话，如果后期也一直看我公众号的话，应该就知道其实我一直在根据一条无形的教学线路来讲解的，，如果你真的是想好好学的话，请好好看看我之前的文章吧。
作为一个后端开发，我刚开始工作的时候其实主要都是在本地调试的，并没有怎么了解过 Docker 的相关使用。直到后来开始接触较为复杂的底层链开发，因为链或其相关工具的依赖关系比较复杂，也涉及很多版本冲突问题，在本机或服务器上每次需要配置复杂的环境，且每次重启后很多服务与配置都需要重新部署，繁琐且容易出现一些莫名的跨平台错误。
github 上项目地址：https://github.com/portainer/portainer
最近很多人在咨询日志监控的事情，对于日志这个问题，简单也简单，不简单也不简单，日志最先反映出应用当前的问题，在海量日志里面找到我们异常记录，然后记录下来，并且根据情况报警，大家可以监控系统日志、nginx、Apache、业务日志。想用好用对，不是辣么容易，一直想系统的写下，无奈人比较懒，就把自己的微薄经验跟大家一起互相学习下。zabbix最主要的是监控日志文件中有没有某个字符串的表达式，支持日志文件正则和关键字正则，其是把日志文件中符合关键字的日志过滤出来入库，不包含的日志不采集，且只支持主动模式。
我们已经介绍了几个Fluentd的输入插件和输出插件，现在先通过一个例子进行阶段总结。
本文带你在docker中安装jenkins服务，为入门级别的介绍，建议阅读时间10-15min.
可以看见右侧有docker pull command拉取镜像的命令，以windows为例，打开cmd输入以上命令即可下载docker镜像
上个月，受恶劣天气影响，美国多个地区出现大规模断电，Linux 之父 Linus Torvalds 所在的俄勒冈州波特兰地区也没有幸免。但比较励志的是，即使经历了六天的断电生活，Linus Torvalds 还是赶出了新一版的 Linux 内核（候选版本）——Linux 5.12 rc1。
作者：datonli，腾讯 WXG 后台开发工程师 背景 开发在定位问题时需要查找日志，但企业微信业务模块日志存储在本机磁盘，这会造成以下问题： 日志查找效率低下：一次用户请求涉及近十个模块，几十台机器，查找日志需要登录机器 grep 日志文件。这一过程通常需要耗费 10 分钟以上，非常低效； 日志保存时间短：单机磁盘存储容量有限，为保存最新日志，清理脚本周期清理旧日志文件腾出磁盘空间，比如：现网一核心存储 7 天日志占用了 90%的磁盘空间，7 天前日志都会被清理，用户投诉因日志被清理而得不到解决；
rsync通过服务同步: 首先编辑配置文件 vi /etc/rsyncd.conf，然后把新配置文件粘贴进去。添加配置文件需要修改本机IP，和目标机器IP address=本机IP host
在 CentOS 6.x 中，日志服务已经由 rsyslogd 取代了原先的 syslogd。Red Hat 公司认为 syslogd 已经不能满足工作中的需求，rsyslogd 相比 syslogd 具有一些新的特点：
很多时候，手机发热发烫。是因为CPU使用率过高，CPU过于繁忙，会导致手机无法响应用户，整体性能降低，用户体验会很差，也容易引起ANR等一些列问题
随着硬盘容量、速度的快速发展，硬盘的可靠性问题越来越重要，今天的单块硬盘存储容量可轻松达到1TB，硬盘损坏带来的影响非常巨大。 不同的文件系统(xfs,reiserfs,ext3)都有自己的检测和修复工具。检测之前可以先使用dmesg命令查看有没有硬件I/O故障的日志，如果有，先用fsck看看是不是文件系统有问题，如果不是则可以使用下面介绍硬盘检测和优化方法来修复它。 grep”error”/va/log/messages*; Linux检测硬盘坏道 使用SMART检测硬盘 SMART是一种磁盘自我分析检测技术，早在90年代末就基本得到了普及每一块硬盘（包括IDE、SCSI），在运行的时候都会将自身的若干参数记录下来，这些参数包括型号、容量、温度、密度、扇区、寻道时间、传输、误码率等。硬盘运行了几千小时后，很多内在的物理参数都会发生变化，某一参数超过报警阈值，则说明硬盘接近损坏，此时硬盘依然在工作，如果用户不理睬这个报警继续使用，那么硬盘将变得非常不可靠，随时可能故障。 启用SMART SMART是和主板BIOS上相应功能配合的，要使用SMART，必须先进入到主板BIOS设置里边启动相关设置。一般从Pentium2级别起的主板，都支持SMART，BIOS启动以后，就是操作系统级别的事情了（Windows没有内置SMART相关工具,需要安装第三方工具软件)，好在Linux上很早就有了SMART支持了,如果把Linux装在VMware等虚拟机上，在系统启动时候可以看到有个服务启动报错：smartd。这个服务器就是smart的daemon进程（因为vmware虚拟机的硬盘不支持SMART，所以报错）。smartd是一个守护进程（一个帮助程序）,它能监视拥有自我监视,分析和汇报技术(Self-Monitoring, Analysis, and Reporting Technology – SMART)的硬盘。SMART体系使得硬盘能监视并汇报自己的运行状况.它的一个重要特性是能够预测失败,使得系统管理员能避免数据丢失。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
