hostmonitor对异常用户会话的监控

从截图可知客户端与服务端之间的会话通道异常，socket异常可能是网络抖动、客户端程序异常、服务端异常等造成的。
与客户沟通得知，该客户通讯链路正常，登录连接测试正常，本交易日夜盘登录、交易正常，客户端登录环境没有变化，同时确认服务端网络正常，暂时排除前两个可能性。目前交易系统共有7组前置服务，每组各1个交易前置，1个行情前置，对外地址映射时，IP地址和前置服务一一对应，客户端登录时自由选择前置服务组进行登录报单，客户登录的行情前置为front7、交易前置为front1。查看服务端监控，前置服务状态正常，交易报盘、行情报盘服务到交易所的连接状态正常，其他客户交易正常，说明交易系统到交易所的通道是正常的。
使用交易员客户端登录front7对应的地址组,查看交易所行情，发现状态异常，行情没有变化，登录front7所在服务器，检查客户端与前置服务间的会话，发现有多个行情socket连接处于timewait或syn_sent状态，这些连接大都对应同一IP，经确认，是该客户的IP，认定front7可能存在服务“假死”的情况，重启该行情服务，到该前置的连接恢复正常。

和客服人员确认，尚未收到此种问题的反馈，说明碰到此种情况也属小概率事件，但问题的发生也说明监控上需要进一步完善。
目前使用的是一款开源的监控软件-hostmonitor，监控上的维护流程见下一步。

checkfrontStatus.sh
-----------------------------------------------------------------------------------------------------------
#!/bin/bash
#author by wcy
#Date:20181129,用于检查客户端到交易系统前置的连接是否异常，输出检查结果
DATE=$(date "+%Y%m%d")
netstat -an |grep 41213|awk  '$6!~/ESTABLISHED/{print $6}' |wc -l >/home/trade/monitor/mdftPlayDead$DATE.txt
netstat -an |grep 41213|awk  '$6!~/ESTABLISHED/{print $6}' |wc -l>/home/trade/monitor/mdftPlayDie$DATE.txt
netstat -an |grep 41205|awk  '$6!~/ESTABLISHED/{print $6}' |wc -l >/home/trade/monitor/ftPlayDead$DATE.txt
netstat -an |grep 41205|awk  '$6!~/ESTABLISHED/{print $6}' |wc -l>/home/trade/monitor/ftPlayDie$DATE.txt

------------------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------------------
*/1 8-15 * * 1-5    cd /home/trade/asptools;./checkfrontStatus.sh
*/1 20-23 * * 1-5    cd /home/trade/asptools;./checkfrontStatus.sh
00-59/1 23 * * 1-5    cd /home/trade/asptools;./checkfrontStatus.sh
*/1 0-2 * * 2-6     cd /home/trade/asptools;./checkfrontStatus.sh
------------------------------------------------------------------------------------------------------------

行情前置监控脚本：
checkMdfrontSocket
------------------------------------------------------------------------------------------------------------
DATE=$(date "+%Y%m%d")
ProName=$1
Con=$(cat /home/trade/monitor/mdftPlayDead$DATE.txt)
if [[ $Con -ge $2 ]]
then
  echo "ScriptRes:Bad:$Con socket disconnect"
else
  echo "ScriptRes:OK:$Con"
fi
------------------------------------------------------------------------------------------------------------

交易前置监控脚本：
checkfrontSocket
------------------------------------------------------------------------------------------------------------
DATE=$(date "+%Y%m%d")
ProName=$1
Con=$(cat /home/trade/monitor/ftPlayDead$DATE.txt)
if [[ $Con -ge $2 ]]
then
  echo "ScriptRes:Bad:$Con socket disconnect"
else
  echo "ScriptRes:OK:$Con"
fi
-------------------------------------------------------------------------------------------------------------