我们写爬虫的时候，也许会需要记录一些数据或者异常信息，通常这些数据我们会希望以日志的形式保存下来。 首先，我们在需要产生日志的python文件开头引入一个logging包。...import logging 然后，我们可以用 self.log("your log information") 这样的方式产生你的log文件。...当然，我们还需要一些设置，就是修改一些我们的setting文件。我们需要在setting文件里面加入LOG_FILE =“file_name”这样一个变量。...爬虫运行后，就会生成这样一个文件，专门用来记录self.log函数产生的log信息了。
因为要保证数据不丢失，事情就变的复杂了，修改了数据页不算完，还要生成 Redo 日志，生成了也不算完，还要把它写入 Redo 日志文件。...Redo 日志产生 3. 写入 log buffer 4. 写入日志文件 5. 日志文件刷盘 6. 总结 正文 1....Redo 日志从产生到刷盘，一共会经历 4 个阶段（产生、写 log buffer、写日志文件、刷盘），本文会用 4 个小节分别介绍这 4 个阶段。 2....插入记录的过程中，会先产生一条 Redo 日志用于记录表中自增列的最大值，然后插入记录，再产生另一条 Redo 日志。...两个操作放入一个 mtr，它们的日志也就放在同一个 mtr 中了。这样就能保证两个操作产生的 Redo 日志一起写入 log buffer 和日志文件中。
Apache访问日志 : 访问日志：顾名思义就是当有人访问咱们的站点，就会被记录些信息！其实这个还是蛮重要，尤其是站点受到攻击，直接命令的日志可以让我们迅速找到攻击者IP的规律！...---- 访问日志不记录静态文件 : 当有网友访问我们的站点，站内会有很多的静态文件，如图片、css、js等，但是每当我们查看某个IP都是访问了咱们站内的什么内容时候，往往会因为这些多出来的元素导致不可以很直观的看出来访问的页面...img 除了咱们自定义的img文件，全部都记录在如上此文件中！...01/Aug/2017:16:32:13 +0800] "HEAD HTTP://www.haha.com/asdasd.jpg1 HTTP/1.1" 404 - "-" "curl/7.29.0" 不展示太多了...虽然没有成功访问图片，但是关于png和gif的图片压根就没有记录日志！ ---- 实用扩展： apache 日志中记录代理IP以及真实客户端IP。
访问日志不记录指定类型的文件目录概要 网站大多元素为静态文件，如图片、css、js等，这些元素可以不用记录 把虚拟主机配置文件改成如下： DocumentRoot...-x127.0.0.1:80 -I 123.com/images/123.jpg tail /usr/local/apache2.4/logs/123.com-access_log 访问日志不记录指定类型的文件...会看到右侧出现很多的元素，每一行都表示一个元素，这些请求，这些访问都会记录到访问日志里面去的，但实际上没有必须记录一些图片、css、js等元素，而这些请求都会记录到日志文件里，就会导致每天的日志访问量很大...查看日志文件，会发现日志文件中没有记录图片的日志，这个就是因为定义了日志标签 [root@hf-01 111.com]# tail -5 /usr/local/apache2.4/logs/111.com-access_log...img ，并重新加载配置文件，在刷新图片，会看到日志文件中并没有记录日志 日志文件不记录总结 若是不去做一个限制，那么每一次请求都会记录到日志文件，日志文件就会变得越来越大，这样不仅会消耗磁盘空间，还会耗费磁盘
日志文件1、messages：另一个常见的系统日志文件，记录了系统级事件，通常位于 /var/log/messages。 2、boot.log：记录了系统启动过程中的事件和消息。...查看日志文件使用 cat 查看日志文件cat /var/log/messages这将简单地显示整个日志文件的内容。如果日志文件很长，可能需要滚动浏览。...使用 tail 查看日志文件tail /var/log/messages更适合查看和监视日志文件的最新信息，尤其是在故障排除、监视应用程序或系统状态时。...这对于实时监视日志文件非常有用，因为你可以看到日志的更新，以便迅速响应事件或问题。...使用 grep 过滤日志文件如果你要查找特定关键字或筛选日志文件的内容，你可以结合使用 grep 命令，比如：cat /var/log/messages | grep "关键词"less /var/log
登录mysql终端 mysql -uroot -p 输入密码： 进入mysql> 1.日志文件路径 mysql> show variables like ‘general_log_file...localhost.log | ±-----------------±-----------------------------------+ 1 row in set (0.00 sec) 2.错误日志文件路径...data/localhost.err | ±--------------±-----------------------------------+ 1 row in set (0.00 sec) 3.慢查询日志文件路径
大家在使用EditPlus时都会遇到这么一个问题，就是每次保存或者修改后保存时都会生成一个.bak后缀的文件，这个是一个缓存文件。那如何才能不生成该缓存文件呢？操作如下图所示： ?
笔记内容： 12.10 Nginx访问日志 12.11 Nginx日志切割 12.12 静态文件不记录日志和过期时间 笔记日期：2017.10.20 12.10 Nginx访问日志 ?...日志文件积累到一定数量了，我们可以使用以下命令来删旧的日志文件： find /tmp/ -name *.log.* -type f -mtime +30 |xargs rm 写完脚本后，需要定期的自动执行日志切割...crontab -e 增加以下内容，这是定义0点的时候执行这个脚本： 0 0 * * * /bin/bash /usr/local/sbin/nginx_log_rotate.sh 12.12 静态文件不记录日志和过期时间...off; //定义不记录日志 } location ~ .*\..../定义不记录日志 } 然后重新加载配置文件： ?
Nginx访问日志： vim /usr/local/nginx/conf/nginx.conf //搜索log_format = 配置文件里面可以查找到日志格式 定义访问日志 定义日志是需要在虚拟主机里面去定义的...，nginx里面如果修改了日志格式的名字那么在虚拟主机中定义日志文件需要引用nginx配置文件里面的名字。...测试配置：状态码为200说明ok cat /tmp/test.com.log = 查看日志里面的信息 Nginx日志切割： nginx日志切割需要使用到系统自带的工具，或者写一个切割的脚本 vim...crontab -e = 任务计划 0 0 * * * /bin/bash /usr/local/sbin/nginx_log_rotate.sh = 表示每天凌晨0点执行脚本 静态文件不记录日志和过期时间... 检查配置文件语法是否有错误和重新加载配置文件 [root@aming-01 vhost]# /usr/local/nginx/sbin/nginx -t nginx: the configuration
1.删除比当前时间小的日志文件 ------------------------------成功的脚本。...目的：是删除比当前时间小的日志文件---------------------------- 执行脚本的方式： sh auto-del-log.sh [doudou@centosaly workspace...fi done 2.通过传参的方式，删除指定日期以前的日志 ----------------------通过传参-$1的方式，删除指定时间之前的日志---------------------...fi done 3.常规的删除日志的脚本 删除30天之前的日志 --------------------常规的解决办法-------------------------------- find
访问日志不记录静态文件 网站大多元素为静态文件，如图片、css、js等，这些元素可以不用记录 。...如果不去做限制，每个请求都包含很多图片，每个请求都会记录日志，日志会变得越来越大，不仅会消耗磁盘空间还会消耗磁盘IO。...当我们把配置文件里的env=！img去掉，再去访问jpg图片，日志就会再次记录。...访问日志切割 日志一直记录总有一天会把整个磁盘占满，所以有必要让它自动切割，并删除老的日志文件 把虚拟主机配置文件修改CustomLog如下： DocumentRoot...重新加载配置文件 -t, graceful 查看logs目录，会出现新的日志，每天的凌晨都会生成一个新的日志（需要做一个任务计划，把超过一个月或者两个月的日志删除）： ls /usr/local/apache2.4
Nginx访问日志 日志格式 vim /usr/local/nginx/conf/nginx.conf //搜索log_format 下图中就是Nginx的日志格式： combined_realip...是日志格式名，我们可以自己自定义，这里我们改为xie_log ?...用curl访问test.com后查看日志： ?...crontab -e 添加任务计划： 0 0 * * * /bin/bash /usr/local/sbin/nginx_log_rotate.sh //每天凌晨0点执行这个脚本 静态文件不记录日志和过期时间...保存退出后记得-t，-s测试加载配置文件 curl测试： 以gif，js等等这些文件结尾的静态文件都不会记录在日志中 ? ?
静态文件不记录日志和过期时间目录概要 配置如下 location ~ .*\....(js|css)$ { expires 12h; access_log off; } 静态文件不记录日志和过期时间 在配置文件中添加 location...(gif|jpg|jpeg|png|bmp|swf) ”关闭记录日志 } location ~ .*\....(js|css) ”关闭记录日志 } 打开虚拟主机配置文件vim /usr/local/nginx/conf/vhost/test.com.conf [root@hanfeng vhost]#...root@hanfeng test.com]# curl -x127.0.0.1:80 test.com/index.html “test.com” [root@hanfeng test.com]# 查看日志
笔记内容： 11.22 访问日志不记录静态文件 11.23 访问日志切割 11.24 静态元素过期时间 笔记日期：2017.10.10 11.22 访问日志不记录静态文件 ?...因为静态的图片太多了，如果每一个请求全都要记录在访问日志里的话，就会导致访问日志一天下来可能得记录几个G甚至十几个G的内容，但是这种静态图片的请求是没必要去记录在访问日志里的，所以我们要让访问日志不记录指定类型的文件...3.查看日志文件： ? 可以看到日志文件里并没有记录访问test.jpg的日志信息。 如果把env=!img这段给删除了，就不会进行过滤了，所以真正实现过滤作用的是这一段。...11.23 访问日志切割 ? 日志都是需要进行自动切割的，因为无论什么日志日积月累地追加记录数据，都会导致文件大小越来越大直至占满整个磁盘，所以有必要让它自动切割，并删除旧的日志文件。...修改完后重新加载配配置文件，并使用curl命令访问这个主机： ? 然后查看日志目录就会发现生成了一个新的日志文件： ?
访问日志不记录静态文件： 配置文件：（红色img后缀的拷贝到服务器里面） DocumentRoot "/data/wwwroot/www.123.com"...img 编辑虚拟配置文件：vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf 重新加载配置文件 -t, graceful...访问日志切割： 修改完配置文件后，需要重新访问下网址才能生动生成日志文件，以后每到00:00就会自动生成以系统日期为名字的新的日志文件 编辑虚拟配置文件：vim /usr/local/apache2.4.../conf/extra/httpd-vhosts.conf 修改完后重新加载配置文件后，浏览器重新登陆网址 就自动生成以日期命名的日志文件了 可以查看下它的内容记录 11.24 静态元素过期时间： 编辑修改配置文件...981 apache日志记录客户端请求的域名 http://ask.apelearn.com/question/1037 apache 日志切割问题 http://ask.apelearn.com/
一、 Nginx访问日志 1.1 打开配置文件： vim /usr/local/nginx/conf/vhost/.....nginx.conf里定义日志格式外，还需要在虚拟主机配置文件中增加： access_log /tmp/haha.com_acess.log zhdy; -t && -s reload 测试并重载。...最后一行的意思和之前使用的 -s reload 是一个意思 重载nginx.pid，然后就会再次生成一个新的日志文件。...-name "*_slow.log-*" -mtime +30 | xargs rm -rf 2.2 日志清理 有了切割可以满足我们的日常工作需要，但是随着访问量的剧增，如果不删除老的日志文件我们的磁盘很快就会占用完...0 0 * * * /bin/bash /usr/local/sbin/nginx_logrotate.sh ---- 三、静态文件不记录和过期时间设置 3.1 配置文件 location ~ .*\
设计思路： 1 用一个INI配置文件管理日志目录，日志文件限制的大小，特殊的日志名，特殊日志的大小限制。 ...2 读取INI文件中的所有信息：每一个日志目录对应的大小限制，每一个特殊日志对应的大小限制。如特殊日志在既定的日志目录中需去除。 3 按设置的大小循环检测并清理每一个日志文件。 ...4 监听有名管道的信号，如读取到了修改了INI文件的信号，则重新开始读取，循环。...*/ // unsigned short d_reclen; /* length of this d_name 文件名长 */ // unsigned char d_type; /* the...type of d_name 文件类型 */其中d_type表明该文件的类型：文件(8)、目录(4)、链接文件(10)等。
所以这个过程中日志查看是很用的，我们项目一般部署在Linux环境，所以对于查看日志，也是需要了解熟悉Linux的相关命令才能查看的。...本文将详细介绍如何在Linux环境下查看Java项目的日志文件，关于tail命令的用法，同时推荐快捷方便的工具。1....使用命令行工具查看日志定位到项目日志文件，就可以进行查看了，可以是vim命令打开文件，但是日志文件一般很大，所以Linux提供了多种命令行工具来查看和操作文件，包括查看日志文件。...但是这些都是在Linux服务器进行操作的，一不小心容易出错，所以推荐一个小工具NppFTP，可以直接在notepad安装插件，安装完成直接就可以在Windows系统查看文件一言查看日志。...总结总的来说，日志查看是每个程序必备的技能。在Linux环境下查看Java项目的日志文件需要了解日志文件的位置和如何使用命令行工具、文本编辑器或专门的日志查看工具来查看和解析它们。
. 1．命令格式; tail[必要参数][选择参数][文件] 2．命令功能： 用于显示指定文件末尾内容，不指定文件时，作为输入信息进行处理。...常用查看日志文件。...命令： tail -n 5 /var/log/yum.log 输出： [root@linux linux]# tail -n 5 /var/log/yum.log Jun 29 14:45:30...，并自动刷新日志，让我们看到最新的日志文件，清楚自己的程序的执行过程，方便问题的查找。...当输入是包含多字节字符的文本文件时应谨慎使用-c 标志，因为产生的输出可能不从字符边界开始。 标志 -b Number 从Number 变量表示的512 字节块位置开始读取指定文件。
EasyGBS已经更新了新内核版本，并在部分项目中得到了试用，本文我们讲一下新内核版本的EasyGB用户反应的两个问题： 1、没有设置云端录像，但是平台里还是有录像 2、流媒体的日志有点大，是否可以将日志关掉...新内核产生录像的机制是只要开启播放，就会生成ts文件，在平台里面就会展示录像文件，默认一个小时删除一次，但是有时候删除的速度没有写入速度快，就会导致占用了空间。...文件写到内存里面，这种方法有个问题，就是假如播放路数比较多，内存不够大，就会导致内存占满。...image.png 其次，我们再来说说日志的问题。...如果想要最大程度地删减日志，也是在tsingsee.json里设置，在log里将level改成4（默认是2），这样就只展示报错的信息，其他的日志就不保留了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
