ChatGPT一炮而红，让国内很多公司开始做大语言模型。然后他们很快就遇到了第一个问题，训练数据怎么来。有些公司去买数据，有些公司招聘爬虫工程师。但如果现在才开发爬虫，那恐怕已经来不及了。
日志就是程序运行过程的记录，可以通过日志来检查程序运行的过程，检查错误发生的原因，日志对于定位问题是非常重要的。
vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写, 是实时系统监控工具。该命令通过使用knlist子程序和/dev/kmen伪设备驱动器访问这些数据，输出信息直接打印在屏幕。vmstat反馈的与CPU相关的信息包括：
曾几何时，“万物互联”还只是人们对未来美好的设想和愿望。但随着物联网产业的快速进化，尤其是受到传统工业数字化转型浪潮的推动，接入物联网的设备总量已经呈井喷趋势。从路灯到电表，从生产线传感器到智能家居设备，物联网正深入到社会生产生活的方方面面，逐渐成为数字化经济时代关键的底层基础设施。
InfluxDB是一个时间序列数据库，旨在处理较高的写入和查询负载。它是TICK堆栈的组成部分 。InfluxDB旨在用作涉及大量时间戳数据的任何用例的后备存储，包括DevOps监控，应用程序指标，IoT传感器数据和实时分析。。
mpstat： mpstat 不但能查看所有CPU的平均信息，还能查看指定CPU的信息。
在 Linux 下我们通过 top 或者 htop 命令可以看到当前的 CPU 资源利用率，另外在一些监控工具中你可能也遇见过，那么它是如何计算的呢？在 Nodejs 中我们该如何实现？
mpstat显示各个可用CPU的状态，主要用于多CPU环境下，它显示各个可用CPU的状态系你想。这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。
headscale[1] 是一款今年 2021 年出现的一款 Tailscale 控制服务器的开源实现。也是唯一的一款。望能发展壮大。
在Linux系统中，sshd是OpenSSH服务的守护进程，负责提供安全的远程登录和文件传输功能。MaxStartups是sshd的一个配置选项，它用于控制并发连接的数量。
46、如何把当前目录下的aa.txt移动到当前目录下的admin文件夹下，并且命名为admin.txt
对于经常调试音频的开发人员来说，使用Audacity分析音频数据已经成为家常便饭。尤其对于日常使用Ubuntu / Linux等操作系统的开发人员来说，拥有一个跨平台的音频编辑软件是多么幸福的事情。在这方面，Audacity 无疑是首选。与Windows平台上的 Adobe Audition相比，Audacity最大的优势在于它是一款开源、跨平台的软件。然而，Audacity在用户交互方面可能并不尽如人意。在这里，我们总结了一些常用的操作，希望能给经常使用Audacity的开发人员带来帮助。
linux安装Solr：可以参考全文检索工具elasticsearch：第二章：安装配置配置类似
1、dr-xr-xr-x. 4 root root 4096 Jul 22 09:24 boot
本文讲述了一位技术社区的内容编辑人员，根据用户需求，编写了一个能够从日志文件中筛选出指定时间段内的日志，并将其输出到指定文件的shell脚本。该脚本在mac系统上运行，可以兼容bash和sh。但是，该脚本存在效率问题，需要改进。改进后的脚本使用while循环和cut命令，提高了运行效率。
在实际生产中，我们知道哪些应用的日志会自动分割吗？哪些应用日志需要我们通过服务进行定时分割？接下来我们来看看。
汇编语言对应cpu指令集（二进制机械码），兼容性不好，不能跨平台，arm的汇编和x86汇编差别很大 处理器指令集：https://blog.csdn.net/antony1776/article/details/83743856
MONGODB 实例的内存使用率是一个非常重要的指标，内存使用率过高会导致MONGODB 实例的内存溢出，本文主要通过查看MONGODB的实例内存的使用率得方法，使MONGODB的使用者尽快发现内存方面出现的问题，提早进行相关的应对。
很多企业网站被攻击，导致网站打开跳转到别的网站，尤其一些彩票等非法网站上去，甚至有些网站被攻击的打不开，客户无法访问首页，给客户造成了很大的经济损失，很多客户找到我们SINE安全公司寻求防止网站被攻击的解决方案，针对这一情况，我们安全部门的技术，给大家普及一下网站被攻击后该如何查找攻击源以及对检测网站存在的漏洞，防止网站再次被攻击。
开发同学前几天给我提了一个数据查询的需求，大体是查询某个表的数据，然后把查询结果以csv的形式提供给他们，一般来说这种定制查询，开发的同学都会提供好语句，DBA同学只需要简单执行即可。 每次看到语句，我都要简单评估一下，今天的语句看起来非常简单，需要在一个历史库中进行数据查取，从开发同学提供的语句来看，这个查询看起来真不简单。提 供的数据都是近5年内的历史数据，所以我简单看了下，这个表有10亿的记录，而符合条件的数据就有1亿多条。从数据量来看，这个我是真没法提供了，数据结 果集就肯定几十上百G了，发
webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果以HTML文件格式保存，从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。
RocketMQ作为国人开源的一款消息引擎，相对kafka也更加适合在线的业务场景，在业内使用的也是非常广泛，很多同学也是非常熟悉它及它的存储机制，所以这里不再对它的原理性东西作太多说明。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/196
软件性能测试过程中经常要对服务器性能指标（比如CPU、内存、磁盘IO及网络IO等等）进行监控以分析出软件在此服务器上的性能瓶颈以便进行后续的服务器调优及软件性能优化。下面为大家介绍一款小编认为比较好用的Linux系统服务器性能监控分析工具：nmon for Linux。 从nmon工具包中选择监控服务器匹配的nmon监控可执行文件（如下图所示:小编使用的是nmon_linux_x86_64）
一：减少HTTP请求 1：把多张图片处理成一张图片以减少HTTP请求 background-image:url('a.gif'); background-position:-260px -90px; width:20px;height:20px; 可以通过如上CSS代码显示一张大图片中的某个位置 2：合并脚本和样式表 一个页面应该使用不多于一个的脚本和样式文件 但是用什么样的办法才能使一个大型网站达到这个要求 我的想法：前端开发人员可以尽可能的按自己的架构和思路开发JS和CSS文件 最后发布
作者：datonli，腾讯 WXG 后台开发工程师 背景 开发在定位问题时需要查找日志，但企业微信业务模块日志存储在本机磁盘，这会造成以下问题： 日志查找效率低下：一次用户请求涉及近十个模块，几十台机器，查找日志需要登录机器 grep 日志文件。这一过程通常需要耗费 10 分钟以上，非常低效； 日志保存时间短：单机磁盘存储容量有限，为保存最新日志，清理脚本周期清理旧日志文件腾出磁盘空间，比如：现网一核心存储 7 天日志占用了 90%的磁盘空间，7 天前日志都会被清理，用户投诉因日志被清理而得不到解决；
touch命令用于创建空白文件或设置文件的时间，语法格式为“touch [参数] 文件名称”。
源由：多个图片服务器图片有差异，可能会出现访问某一台服务器出现404，现在需要不管怎样访问都能访问到。
这篇文章是从我们介绍Kafka 体系结构的一系列文章中获得的启发，包括Kafka topic架构，Kafka生产者架构，Kafka消费者架构和Kafka生态系统架构。
语法： find [路径] [参数] ；find [选项] [路径] [filename]
#nginx进程,一般设置为和cpu核数一样 worker_processes 4; #错误日志存放目录 error_log /data1/logs/error.log crit; #运行用户，默认即是nginx，可不设置 user nginx #进程pid存放位置 pid /application/nginx/nginx.pid; #Specifies the value for maximum file descriptors that can be opened by this process. #最大文件打开数（连接），可设置为系统优化后的ulimit -HSn的结果 worker_rlimit_nofile 51200;
性能剖析是动态代码分析的一种形式，你可以在应用运行时捕获应用的特征，然后使用这些特征信息确定如何使应用更快、更高效。但是对于线上生产环境来说很难捕获到现场，所以捕获线上 profile 的时候有一定难度，Google 在论文《Google-Wide Profiling: A Continuous Profiling Infrastructure for Data Centers》(https://research.google/pubs/pub36575/) 中介绍了内部的 Profilling 系统，简称 GWP，GWP 能够持续地对跨数据中心的基础设施进行 profilling，获取包括了栈调用，硬件事件，堆 profile，内核事件等等信息，并进行后续的数据分析，这个就是现在比较热门的持续性能剖析。
mpstat（Multi-Processor Statistics） 命令用于显示各个可用CPU的状态统计。是一个实时监控工具，与vmstat类似，但只能监控CPU的整体性能状态。
为什么远程服务器不能关机？原因很简单，远程服务器没有放置在本地，关机后谁帮你按开机电源键启动服务器？虽然计算机技术曰新月异，但是像插入电源和开机这样的工作还是需要手工进行的。如果服务器在远程，一旦关机，就只能求助托管机房的管理人员帮你开机了。
引用一句经典的话：“UNIX下一切皆文件”。 文件是一种抽象机制，它提供了一种方式用来存储信息以及在后面进行读取。
1.全局块：配置影响nginx全局的指令。一般有运行nginx服务器的用户组，nginx进程pid存放路径，日志存放路径，配置文件引入，允许生成worker process数等。
crond 是一个daemon 类进程，路径为/usr/sbin/crond。默认会以后台方式启动，service 或 systemd 方式启动 crond 默认也是后台方式。
我最早接触的高通量数据就是RNA-seq，后来接触的也基本是高通量测序结果而不是芯片数据，因此我从来没有分析过一次芯片数据，而最近有一个学员在看生信技能树在腾讯课堂发布的课程GEO数据库表达芯片处理之R语言流程（阅读原文购买）遇到了问题问我请教，为了解决这个问题，我花了一个晚上时间学习这方面的分析。
1.1 Prometheus踩过的坑 在这里，我们先简单复习一下Prometheus中的数据结构。其为典型的k-v对，k（一般叫Series）由MetricName，Lables，TimeStamp组成，v则是值。 在早期的设计中，相同的Series会按照一定的规则组织起来，同时也会根据时间去组织文件。于是就变成了一个矩阵： 优点是写可以并行写，读也可以并行读（无论是根据条件还是时间段）。但缺点也很明显：首先是查询会变成一个矩阵，这样的设计容易触发随机读写，这无论在HDD还是SSD上都很难受（有兴趣的同学可以看后面的3.2小节）。 于是Prometheus又改进了一版存储。每一个Series一个文件，每个Series的数据在内存里存满1KB往下刷一次。 这样缓解了随机读写的问题，但也带来新的问题：
在没有业务实例运行的情况下，在服务器上通过测试Redis 实例的基准性能来对比有实例运行情况下的redis性能。通过以下步骤来判断Redis实例是否变慢：
命令入队列过程中，无语法错误，会正常存入执行队列中，但是事务提交时，会报错；；；；但是但是，此时正确的命令（即操作的对象和值均无误）依然会执行，仅仅将存在问题的命令（校验不通过）执行失败；
优秀便捷的流媒体服务器都支持二次开发调用API对接，同时支持选取指定时间段录像播放及下载（MP4合成播放下载）进行调用，在日常使用中录像接口调用用的是比较频繁的，所以本文就讲一下这个录像接口调用遇到的问题。
昨天接到了同事的一个电话，说有一个数据库无法访问了，希望能够让我来看看，赶紧连过去，发现错误还是一个看似很简单的ora错误。 $ sqlplus / as sysdba Copyright (c) 1982, 2011, Oracle. All rights reserved. ERROR: ORA-09817: Write to audit file failed. Linux-x86_64 Error: 28: No space left on device Additional informatio
kafka的消息是存储在硬盘上的，因为“磁盘慢”这个普遍性的认知，常常使人们怀疑一个这样的持久化结构是否能提供所需的性能。但实际上磁盘因为使用的方式不同，它可能比人们预想的慢很多也可能比人们预想的快很多；而且一个合理设计的磁盘文件结构常常可以使磁盘运行得和网络一样快。
Prometheus使用 环境 查看上一篇安装篇 MacOS Centos 7 prometheus-2.12.0.linux-amd64.tar.gz grafana-6.3.5-1.x86_64 node_exporter-0.18.1.linux-amd64 pushgateway-0.9.1.linux-amd64 命令行入门实例 CPU使用率计算 CPU在t1到t2时间段总的使用时间 = ( user2+ nice2+ system2+ idle2+ iowait2+ irq2+ softi
TDengine 的设计是基于单个硬件、软件系统不可靠，基于任何单台计算机都无法提供足够计算能力和存储能力处理海量数据的假设进行设计的。因此 TDengine 从研发的第一天起，就按照分布式高可靠架构进行设计，是支持水平扩展的，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。同时，通过节点虚拟化并辅以自动化负载均衡技术，TDengine 能最高效率地利用异构集群中的计算和存储资源降低硬件投资。
内存的管理和优化是系统性能优化的一个重要部分，内存资源的充足与否直接影响应用系统的使用性能。在进行内存优化之前，一定要熟悉Linux的内存管理机制，这里我们重点探讨如何通过系统命令监控Linux系统的内存使用状况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
