使用awk从http错误日志中仅过滤ip
使用awk从http错误日志中仅过滤IP，可以使用以下命令：
awk '{print $1}' http_error.log这个命令将会从名为http_error.log的日志文件中提取出每行的第一个字段，即IP地址。这样就可以仅过滤出IP地址信息。
awk是一种强大的文本处理工具，它可以根据指定的规则对文本进行分割、过滤和格式化等操作。在这个命令中，{print $1}表示打印每行的第一个字段。
这个方法适用于任何包含IP地址在第一个字段的日志文件，例如Apache的访问日志或Nginx的错误日志等。
腾讯云提供了多种云计算相关产品，其中包括云服务器、云数据库、云存储等。您可以根据具体需求选择适合的产品。以下是一些相关产品的介绍链接：
- 腾讯云云服务器：提供弹性计算能力，可根据需求快速创建、部署和管理云服务器实例。
- 腾讯云云数据库：提供高性能、可扩展的数据库服务，支持多种数据库引擎，如MySQL、Redis等。
- 腾讯云对象存储：提供安全可靠的云端存储服务，适用于存储和管理各种类型的数据。
请注意，以上仅是腾讯云的一些产品示例，您可以根据具体需求选择适合的产品。
相关·内容
1回答
我在我的bash脚本中使用以下命令从日志中过滤失败的ip： tail -1000 /var/log/secure | awk '/sshd/ && /Failed password for/ { if (/invalid user/) try[$13]++; else try[$11]++; } 这适用于var/log/secure下的ssh日志，其中ip地址是唯一的 我正在为http错误日志尝试相同的方法，但在http错误日志中，运行以下逗号时，ip与ip:port例如1.1.1.1:44848组合在一起 tail -1000 /var/log/httpd/erro
浏览 46提问于2021-09-22得票数 0
1回答
我有一堆access日志文件，我想知道访问了我的/contacts文件夹的IP地址。如何使用shell命令从所有日志文件中收集它们？
浏览 0提问于2016-03-09得票数 0
回答已采纳
3回答
我有日志文件，需要从有404 d的GET请求中提取URL。
我用过：
grep 404 testfile.txt | cut -f 2 -d '"' | cut -f 2 -d '/' | cut -f 1 -d ' ' | sort -u
这样的管道切割命令是不可取的，我可以将它们合并成一行吗？例如，从第三个"/“和”第六“中删除。
日志文件示例：
ip - - [12/Dec/2019:13:18:00 +0000] "GET /test.html HTTP/1.1" 200 710 "-" &
浏览 0提问于2019-12-12得票数 0
回答已采纳
我使用filbeat将日志发送到logstash，然后将它们存储在elasticsearch中。 我的日志文件包含如下字符串： MESSAGE: { "url": "http://IP:PORT/index.html" , "msg": "aaa" }
MESSAGE: { "url": "http://IP:PORT/index_2.html" , "msg": "bbb" } 我只想在Elasticsearch中存储JSON对象。我正在努力使用一些正则表达式来解
浏览 83提问于2019-03-22得票数 0
我有几根原木是我想过滤的。日志末尾包含一个IP & UID。我只想复制具有特定UID值的行，以及任何高于该值的行。
日志：
1.2.4.5 1000
5.4.3.2 2000
7.4.2.1 1000
1.3.5.2 5000
例如，我只想复制包含2000以上任何值的行，并将其移动到一个单独的文件中。我已经尝试了许多我发现没有运气的awk命令。
awk -F: '{if ($3 > 2000) { print $1 ":" $3 } }' log.txt > newlog.txt
浏览 0提问于2018-01-18得票数 0
回答已采纳
2回答
通过特定的搜索，我可以从日志中的IP重复中看出bash？
举个例子：
#!/bin/bash
# Log line: [Sat Jul 04 21:55:35 2015] [error] [client 192.168.1.39] Access denied with status code 403.
grep "status\scode\s403" /var/log/httpd/custom_error_log | while read line ; do
pattern='^\[.*?\]\s\[error\]\s\[client\s(25[0-5]|
浏览 2提问于2015-07-05得票数 0
回答已采纳
1回答
提取脚本输出文件中的某些数据
、、、、
我们有一个脚本，它运行多个命令，并将所有输出卷起来并插入到日志文件中。它运行的命令之一是"netstat -anp“。我希望能够在这个文件中搜索命令的所有运行情况，并对某些IP进行筛选。如果使用sed或awk，这个命令会是什么样的呢？
浏览 0提问于2015-05-05得票数 -1
1回答
我正在尝试通过sed将日志格式添加到Docker容器中的nginx.conf中。我发出以下命令：
sed -i -e"s/client_max_body_size 100M/client_max_body_size 100M;\n\tlog_format specialLog '$remote_addr forwarded for $http_x_real_ip - $remote_user [$time_local] '
浏览 6提问于2015-08-13得票数 0
4回答
我正试图解析一个日志，并像下面这样在timestamp.Tried sed方法之间获取行，但面临着regex的问题。
日志模式：
IP - - [20/Apr/2018:14:25:37 +0000] "GET / HTTP/1.1" 301 3936 "-" "
IP - - [20/Apr/2018:14:44:08 +0000]
----------------------------------
IP- - [20/Apr/2018:20:43:46 +0000]
我需要得到4月20日14:25和20:43之间的行，因为日志中也包含其他日期。
浏览 0提问于2018-04-25得票数 1
回答已采纳
我有以下格式的日志，我试图从他们的多个字段grep。 2020-09-23 INFO [http-nio-8080-exec-428] localhost.com CLIENT_ID=abc CLIENT_IP=1.2.3 CLASS_NAME=ABCIMPL METHOD_NAME=789{Roles} REQUEST=[<Request>
some text
</Request>
2020-09-23 INFO [http-nio-8080-exec-428] localhost.com CLIENT_ID=mno CLIENT_IP=1.2.4 CLASS_
浏览 34提问于2020-09-23得票数 0
回答已采纳
我有一个巨大的csv文件，我想知道相同的源IP地址和目标IP地址的唯一值，以及如何转换我的日志计时格式。
"Date", "User Information", "Source IP", "Destination IP", "HTTP Status Code", "HTTP Method", "URL", "Receive byte", "Send byte"
"[31/Jul/2018:21:11:55 +0900] ","a
浏览 0提问于2018-09-07得票数 0
回答已采纳
我设置了集中式Syslog (centOS + rsys)服务器，它运行LogAnalyzer以获得更好的日志表示。最近，我被要求为特定的防火墙语句提供来自防火墙的所有IP的日志，并统计列表中有多少特定的IP。
到目前为止，我知道如何显示特定防火墙语句的所有日志，但不知道如何从消息列检索源IP并计数特定的IP事件。
是否有其他软件可以做到这一点，或者我需要创建自己的日志解析器来完成这个任务？
谢谢
浏览 0提问于2014-02-25得票数 1
回答已采纳
我有一个脚本，它在我的访问日志中查找404 HTTP状态代码。但是，安全小组有一个脚本正在搜索导致我日志中404项中的100条条目的漏洞。我过滤掉他们测试盒的IP地址，以避免误报。但他们最近增加了一台新服务器。问题是，这个新服务器的IP地址在最后一部分只有2位数字。(即)10.1.1.18 -这不是IP，但你明白)。
我如何使awk或grep忽略IP结束18而不是我需要搜索的有效IP 180-189？
对于那些不熟悉HTTP访问日志内容的人，我给出了下面的示例：
10.1.1.18 -2018年5月12日:01:25:07 -0600 "GET /xampp/cgi.cgi HTTP
浏览 0提问于2018-05-15得票数 0
回答已采纳
我希望grep我的服务器日志，以收集所有唯一的IP地址，并查看特定页面的所有请求。做这件事最好的方法是什么？
浏览 0提问于2009-07-10得票数 8
回答已采纳
1回答
试图快速解析几个文件，但似乎无法将我试图从日志文件中提取的内容结合起来。我试图从日志文件中提取日期和IP地址，并将它们写入一个新的日志文件。日志文件类似于：
some info[28/Dec/2016:04:05:58 -0700] 192.168.58.98 Some Other random information
--information--[28/Dec/2016:04:05:58 -0700] 192.168.56.10 Some Other random information
192.168.58.1 [28/Dec/2016:04:05:58 -0700]informatio
浏览 2提问于2017-01-04得票数 1
回答已采纳
1回答
运行：CentOS 6
我试图得到一个计数，总数，和所有的文章尝试在每个IP的基础上的PHP登录页面。基本上，apache日志将如下所示：
127.0.0.1 - - [10/Dec/2014:12:35:51 -0500] "POST /wp-login.php HTTP/1.0" 200 6520 "-" "-"
127.0.0.1 - - [10/Dec/2014:12:35:51 -0500] "POST /wp-login.php HTTP/1.0" 200 6520 "-" "-"
12
浏览 0提问于2014-12-10得票数 1
回答已采纳
2回答
我有这个命令来解析一个日志文件，并显示每个IP地址和IP地址在日志文件中的次数。
for x in $(cat /var/log/varnish/varnishncsa.log | awk '{print $1}' | uniq); do cat /var/log/varnish/varnishncsa.log | awk -v q=, "/$x/ { count++ } END { print $x q count }";done
它工作得很好，除非AWK是在输出中添加零的。
例如输出是
198.530.980.148,3
72.140.1990.7,29
相
浏览 4提问于2013-11-27得票数 1
回答已采纳
我拥有一个小型的“我的世界”服务器，我想创建一个用于计算用户播放时间数据的google电子表格。我之所以不提供这些数据，是因为它会帮助我知道我的广告活动是否有效。你可以试着盯着这些东西，但是一个可靠的数据集比猜测广告是否有效要有效得多。问题在于手动从服务器日志中搜索数据是非常困难的。我希望任何人能帮助我构建一个简单的脚本或其他东西来读取.txt文件并提取我需要的数据。脚本需要能够：
用“用户身份验证器”和“断开”检测行，然后打印整行。以某种方式格式化文本？可能是按字母顺序排列行，这样就不会到处寻找特定的用户登录和注销，从而违背了脚本的目的。不确定这是否是带有特定文本(用户名)的possible
浏览 1提问于2020-07-28得票数 0
回答已采纳
因此，我在apache日志文件上运行bash脚本，我可以对IP地址进行排序并显示最常见的地址，但它显示在页面底部，不显示顶部，如何从最高到最低显示它？
到目前为止，这是我的剧本
cat access_log.txt | awk '{print $1}'| uniq -c |sort -n -k 1| tail
在我的txt文件中
10.23.234.0
250.40.56.78
8.45.98.250
10.23.234.0
250.40.56.78
8.45.98.250
10.23.234.0
250.40.56.78
10.23.234.0
250.40.56.78
10
浏览 1提问于2014-04-06得票数 5
3回答
我正在编写一个脚本，以便从日志中获得一些结果，该日志显示了访问该文件的IP地址和用户名。普通日志如下所示：
Aug 7 06:32:36 servername Apache2.4: NR443123123: client=ClientsISPname.net[192.168.1.2], Auth=LOGIN, username=MyUserName
我使用它来实现grep、IP和用户名：
grep 'username=' /var/log/mylog | grep ^[0-9,A-Z] | awk '{print $7 $9}'
它给了我我需要的结果，但是我怎
浏览 3提问于2014-08-07得票数 0
回答已采纳
我是一个grep和sed新手，我已经阅读了很多答案，所以提到在apache日志中问候I，而我的特殊情况却没有运气。
我有来自机器人和邪恶人类的大量错误日志，我需要在日志中搜索并找到最常见的in，这样我就可以确认它们是坏的，并在.htaccess中阻止它们。
但是，根据这里的其他答案，我的错误日志并没有将IP作为行中的第一项，因为大多数Apache日志都是这样做的。在我的日志中，IP位于每一行中，格式为[client 123.456.78.90]。
我认为，这个旧的答案正是我所需要的，因为它“将打印每个IP.以计数为前缀排序”。
但根据回答者的说法，“它假设IP地址是每行的第一件事。”
如何根据
浏览 1提问于2014-08-24得票数 1
回答已采纳
1回答
我正在尝试在我的apache访问日志中查找任何空白用户代理和欺骗用户代理的痕迹。
下面是我的访问日志中的一句典型代码：( IP和域都经过了编辑)
x.x.x.x - - [10/Nov/2012:16:48:38 -0500] "GET /YLHicons/reverbnation50.png HTTP/1.1" 304 - "http://www.example.com/newaddtwitter.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML
浏览 1提问于2012-11-11得票数 2
回答已采纳
我有一个服务器日志文件，我试图从其中创建一个PHP页面，该页面汇总了它存储的数据。日志中的每条记录都存储在新行上，格式如下：
207.3.35.52 -- [2007-04-01 01:24:42] "GET index.php HTTP/1.0" 200 11411 "Mozilla/4.0"
//ip -- [timestamp] "GET url HTTP/1.0" status code bytes "user agent".
我正在尝试写一个摘要，其中显示:请求总数，来自文章目录的请求总数，总带宽消耗，最后是404错误
浏览 0提问于2012-11-14得票数 3
回答已采纳
1回答
我有这样的网络日志文件：
Nmap scan report for 192.168.1.51
Host is up.
PORT STATE SERVICE
80/tcp open http
443/tcp open https
8080/tcp open http-proxy
443/tcp open https
8080/tcp open http-proxy
8082/tcp filtered redcap
8083/tcp filtered https-alt
Nmap scan report for 192.168.1.2
浏览 0提问于2018-10-18得票数 0
回答已采纳
4回答
我已经为nmap的输出创建了一个文本文件，我试图仅查找其端口打开的那些ip，当我使用grep时，我没有得到所需的输出，其中一项是我能够打开ip或文本
数据：
Nmap scan report for xxx.xxx.xxx.83
Host is up (0.050s latency).
PORT STATE SERVICE
80/tcp closed http
Nmap scan report for xxx.xxx.xxx.87
Host is up (0.049s latency).
PORT STATE SERVICE
80/tcp filtered http
Nm
浏览 1提问于2014-07-28得票数 1
在上一个问题中，我询问了如何根据正则表达式从日志文件中输出：
现在，我正在使用的脚本输出如下列表：
11.12.13.14 www.mydomain.org.uk
11.12.13.16 www.mydomain.org.uk
105.2.3.1 www.myseconddomain.org.uk
105.2.3.1 myseconddomain.org.uk
我想要做的是擦除共享相同C类ip的行。因此，我想将前面的答案调整为output：
11.12.13.14 www.mydomain.org.uk
105.2.3.1 www.myseconddomain.org.uk
我如何才能做到这一
浏览 1提问于2013-03-09得票数 1
回答已采纳
3回答
我有一个日志文件，它在几个时间段后不断更新(新增的行)。
我每10分钟只从文件中获取错误消息。
最初，我第一次使用awk将所有行提取到一个新文件中，并使用匹配的模式“错误发现”。
但是在10分钟后，又有新的行被添加到日志文件中，所以我想读取我离开的日志文件。我不想从头开始。
有人能建议我最好的代码或脚本吗？
浏览 0提问于2018-08-29得票数 0
我有100多个日志文件，每个文件中有0到20行，格式如下：
2016-06-08 18:12:32 production.INFO:成功完成某事。电子邮件: foo@bar.com [] {“用户”：“匿名”，"url":"/something"，"ip":"77.46.189.212"，"http_method":"POST"，“服务器”：“www.mysite.com”，“referrer”：“www.mysite.com/Email”，"unique_id":"V1h
浏览 3提问于2016-09-05得票数 0
回答已采纳
3回答
我有大量的日志，比如：
Apr 15 06:24:52 11.250.30.X:53516 [15/Apr/2012:06:24:51.504] userA 200 "GET HTTP/1.1"
Apr 15 06:24:52 11.250.30.X:53516 [15/Apr/2012:06:24:51.504] userA 200 "GET HTTP/1.1"
Apr 15 06:24:52 11.250.30.X:53516 [15/Apr/2012:06:24:51.504] userB 200 "GET HTTP/1.1"
Apr
浏览 0提问于2012-04-15得票数 0
回答已采纳
2回答
我需要从logstash的microsoft事件日志中过滤错误消息。ELK在ubunu 14.04机器上运行
logstash配置
input {
tcp {
port => 5045
type => 'eventlog'
}
}
filter{
if [type] == 'eventlog' {
if [Severity] == "ERROR" {
mutate {
add_tag => "error"
}
}
}
}
output
浏览 4提问于2016-05-31得票数 0
2回答
我需要从Apache访问日志中以默认格式创建关于历史唯一访问者的一次性报告(由IP地址标识)，并按日期和操作系统进行组织。示例：
Date OS Count
3/1 iPhone 23
3/1 Windows 402
3/2 iPhone 32
etc..
今天我已经尝试了很多工具(Octupussy，AWStats，goaccess，appachetop)，但没有发现任何能够以这种方式分解日志的工具。操作系统报告可以在所有这些文件中找到，但它不是按天显示的，而是整个日志。有没有人知道任何关于这个功能的事情？
另外:我正在考虑编写一个python程序，它将遍历日志并使用regex或系统g
浏览 0提问于2013-03-30得票数 0
回答已采纳
来自nginx的典型access.log文件
000.00.000.001 - - [28/Jun/2021:06:37:02 +0100] "POST /abc/cba/ HTTP/1.1" 429 1157 "data..."
000.00.000.002 - - [28/Jun/2021:06:37:02 +0100] "POST /abc/cba/ HTTP/1.1" 200 741 "-" "data..."
000.00.000.001 - - [28/Jun/2021:06:37:02 +0100]
浏览 0提问于2021-07-01得票数 0
回答已采纳
我需要从下面的列表中分组一对in，以便获得总数。
在列表中，第一列是从IP-1到IP2的跟踪数据包总数。我希望在每次巧合后打印出另一个流。
这是我需要的输出，如下所示：
2 66.165.180.244 > 166.210.225.9
3 166.210.225.9 > 66.165.180.244
7 69.20.10.25 > 166.210.225.9
79 166.210.225.9 > 69.20.10.25
...
这是我的列表，按第一个IP，然后第二个IP排序：
2 66.165.180.244 > 166.210.225.9
7 6
浏览 0提问于2015-11-13得票数 0
如何使用awk或其他可能的命令查找包含facebook/instagram/twitter/etc的ip和referer，以获得以下内容：
1.2.3.4 https://l.instagram.com/
4.3.2.1 https://facebook.com/
Nginx日志文件具有standart格式：
1.2.3.4 - - [02/Oct/2021:06:07:08 +0300 - -] 200 "GET /index.php HTTP/2.0" 6620 "https://l.instagram.com/" "Mozilla/5.0 (Lin
浏览 1提问于2021-10-02得票数 0
回答已采纳
5回答
178.139.20.52 - - [26/Nov/2011:08:21:13 +0000] "POST /test/LinkTest.cgi?e=PATTERN&t3=0:010015&t4=1322295671:587875&l=178.139.20.174&n=149 HTTP/1.1" 200 17 "-" "BOT/1.26"
上面是我想要解析的日志条目的类型。
我喜欢我的命令输出：
178.139.20.52 PATTERN
有关于如何实现这一点的想法吗？
谢谢。
感谢你的回答，我将这样做：
cat a
浏览 0提问于2011-11-29得票数 2
回答已采纳
我通过解析日志文件(var/ log /auth)寻找一种方法来统计来自每个ip的登录尝试次数。我已经找到了一种方法来做到这一点，但它是丑陋的，需要大量的时间，因为文件操作。
这不能只用变量来完成吗？我想要的是像ip=count这样的列表...
非常感谢
这是我不想要的:)
for ip in $(cat /var/log/auth.log | grep sshd | grep Failed | grep -v invalid | awk '{ print $11; }'); do
if [ -e "log/$ip" ]; then
浏览 0提问于2017-07-31得票数 0
是否有一种直接的方式来生成一个.txt文件，其中包含在码头构建过程中访问的每个URL (或相应的IP)？
示例
示例列表可能如下所示：
# urls.txt
https://hub.docker.com/
https://www.npmjs.com/
(但使用广泛的Dockerfile的实际情况可能更复杂，并且包含更多的URL/IP)。
到目前为止我尝试过的
事物，
1.安装和使用入侵检测引擎
我试图安装和使用的IDS功能丰富，而且可能比我所尝试的更复杂。配置IDS是不平凡 (特别是对于网络知识很少的人)，所以如果可能的话，我想探索更简单的解决方案。
2.收集和解析坞构建日志
我用这捕获了构建
浏览 0提问于2023-02-05得票数 2
我正在寻找一种可以帮助我通过使用apache日志在网站上调试问题的软件。这是一个场景。
我在一个网站上有一个客户，他刚刚执行了一些意想不到的事情，我有他的IP地址，因为它被记录与购买的交易。
有没有一个程序可以让我使用apache日志一步一步地查看选择的用户在网站上做的事情。
例如，IP地址a.b.c.d设置...
IP address a.b.c.d
Time Date / Path
18:02 / index.htm
18:03 / shop.htm
18:04 / product1.htm
这样，我就可以准确地看到用户是如何到达他们所做的地方的。
感谢您所能提供的
浏览 2提问于2010-03-11得票数 1
回答已采纳
我知道这看上去有点像我想要接收的东西，但是它是一个更大的脚本的一部分，所以有必要让这两组awk命令按照它们的方式排列。
只要我有一个环境，例如：
interface=br1
我的命令是：
ip address show | awk '/\<inet\>/ { print $NF, '\t', $2 }' | awk '/\<"$(echo $interface)\>/ { print $3 }'
有人知道为什么我不能得到我期望的适当的IP输出吗？
编辑：
我想编辑这一点，以解释更多关于我正在尝试做什么。我从ip a
浏览 2提问于2015-02-26得票数 0
回答已采纳
我正在尝试使用Zabbix来收集Apache日志中有关500个错误的信息。我想，我将使用zabbix_get在代理的操作系统上执行命令，但是当我尝试测试它时，我得到了ZBX_NOTSUPPORTED: Too many parameters.错误。起初，我试图转义所有的"和其他特殊字符，但是没有成功。当尝试调试该命令(在本地运行良好，不使用zabbix_get)时，我发现问题可能出在AWK和substr附近的某个地方。如果有人能帮我看看...
tail -n 1000 /content/logs/httpd/*_access.log | awk -v d1="$(date --
浏览 0提问于2019-01-23得票数 0
我希望grep异常或日志错误，但问题是，确切的日志文件名是未知的。可以肯定的是，最新的文件是我的日志文件，我希望执行这个命令，因为我将使用这个命令从单个源执行ssh到多个服务器。
喜欢
ssh user@server "ls -ltr console*.log | tail -1; egrep -i 'exception|error' <<output of first command (i.e) log file name>>"
这能在一次命令下完成吗？
浏览 2提问于2020-08-26得票数 0
回答已采纳
1回答
我有一个shell脚本，它为我提供了IPv4地址。下面是我使用的命令：
ip route get 8.8.8.8 | awk 'NR==1 {print $NF}'
我尝试在纯IPv6环境中运行相同的命令，并得到以下错误：
RTNETLINK answers: Network is unreachable
有什么方法可以阻止这个错误吗？我的意思是说，我不希望在我的控制台日志中打印任何这样的错误。
我试过这样做：
ip route get 8.8.8.8 | awk 'NR==1 {print $NF}' 2> /dev/null
但我还是能看到错误。
浏览 1提问于2017-03-21得票数 0
回答已采纳
1回答
我有一些日志文件。在日志文件中有一些具有双IP地址的行。示例：
127.0.0.1 - - [02/Feb/2021:10:26:41 +0100] "GET /file"
127.0.0.1 - - [02/Feb/2021:10:26:44 +0100] "GET /file"
127.0.0.1 - - [02/Feb/2021:10:26:47 +0100] "GET /file"
我知道时间戳是不同的，但这并不重要。现在，我想删除除一个条目之外的所有条目。注意:我不知道日志中的IP地址，因此工具/筛选器应该会自动查找重复的IP地址。
谢
浏览 0提问于2021-02-23得票数 0
1回答
下面是日志的示例：
10.10.10.10 - - [21/Mar/2016:00:00:00 +0000] "GET /example?page=&per_page=100&scopes= HTTP/1.1" 200 769 "-" "" "1.1.1.1"
10.10.10.10 - - [21/Mar/2016:00:00:00 +0000] "GET /example?page=&per_page=500&scopes= HTTP/1.1" 200 769 "-&#
浏览 5提问于2016-03-22得票数 0
回答已采纳
我没有在网上找到关于这方面的帮助，也没有找到我需要做的文档…这个问题是一个解决方案，它造成的问题几乎和问题一样多。现在我需要一个解决方案。任何关于如何控制nginx错误输出的答案或文档链接都会很棒。
最初的解决方案和环境:我有一个PCI安全的web服务器。对它的攻击是例行公事。在OpenVAS在网络上发布之前，一切都很好，低处理负载，30-40MB的日志文件。
然后我的服务器流量激增，nginx使用率上升了400%，PHP后端使用率上升了5000%。日志跳转到130+MB。这一增长完全是许多新的IPS用新的工具包探测盒子的结果。它冲洗了后端，我被迫用一些激烈的东西来回应……
现在，cron会定
浏览 3提问于2015-11-19得票数 1
情况：
我有一个大文件(数百万行)，其中包含来自几个小时的网络捕获的IP地址和端口，每行一个ip/端口。行的格式如下：
ip.ad.dre.ss[:port]
期望的结果：
我在日志记录时收到的每个数据包都有一个条目，因此有很多重复的地址。我希望能够通过某种形式的shell脚本运行它，它将能够将其减少到以下格式的行
ip.ad.dre.ss[:port] count
其中count是该特定地址(和端口)的出现次数。不需要做任何特殊的工作，把不同的端口当作不同的地址。
到目前为止，我使用以下命令从日志文件中抓取所有ip地址：
grep -o -E [0-9]+\.[0-9]+\.[0-9]+\.
浏览 3提问于2013-04-13得票数 154
回答已采纳
2回答
我在使用awk和sed解析日志文件时遇到了问题。
以下档案：
DDDD;callID:4565;AAAA;Body:test message 1;BBBB;ng?10.1.5.60 4565;complete
DDDD;callID:5489;AAAA;Body:test message 2;BBBB;ng?10.4.100.3 5489;complete
DDDD;callID:3456;AAAA;Body:test message 3;BBBB;ng?10.200.1.5 3456;failed
使用下面的命令可以很好地将IP从第7列中删除。我依赖于将最后5个字符从end移除到只输出IP。
浏览 4提问于2014-01-18得票数 0
回答已采纳
长期以来，我一直试图使用logstash从我的自定义日志中提取和标记数据，但没有取得任何结果，我有一个定制的haproxy日志，如下所示：
Feb 22 21:17:32 ap haproxy[1235]: 10.172.80.45:32071 10.31.33.34:44541 10.31.33.34:32772 13.127.229.72:443 [22/Feb/2020:21:17:32.006] this_machine~ backend_test-tui/test-tui_32772 40/0/5/1/836 200 701381 - - ---- 0/0/0/0/0 0/0 {te
浏览 0提问于2020-03-07得票数 0
我有unix服务器运行nginx Debian /Linux 9
我试图在Nginx access.log文件中获取每个IP请求的请求计数，以便进行分析，因此我有两个问题：
是否有一个unix命令可以根据每个请求从日志文件(整个文件)获取此信息？也可以按日期过滤它吗?我的意思是，在某一天，每个ip请求的请求计数。所以希望我能得到像这样的东西
IP计数127.0.0.1 4 127.0.0.2 5 127.0.0.3 6
我发现了这个，但它只算ips
sudo awk '{print $1}' /var/log/nginx/access.log | sort | uniq -
浏览 4提问于2020-09-15得票数 1
2回答
我试着用bash脚本从一个复杂的文件中创建一个日志文件CSV，我试过了，但是刚刚从日志文件中找到了关键字，请帮助我。
示例复杂的日志文件( 10k行)：
"$date1" "url=$a1&http=$a2&ip=$a3&from=$a4"
"$date2" "url=$b1&http=$b2&from=$a4&sip=$b5"
"$date3" "url=$c1&http=$c2&ip=$c3&UID=$c6&K-Id=c
浏览 2提问于2017-03-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
