由于没有Airflow一段时间了,只能硬着头皮一边重新熟悉Airflow,一边查找定位问题,一直到很晚,不过基本上没有摸到问题的关键所在,只是大概弄清楚症状:
Airflow中的Dag任务手动可以启动...本想从慢查询入手, 但是客户线上的数据库并没有开启慢查询, 那就找正在执行的sql语句:
# 这个能查到正在执行的sql语句概要信息
SHOW PROCESSLIST;
# 这个查看详细信息
select...这个数据库是Airflow和业务系统共用的, 虽然Airflow停掉了且长时间在执行的sql也清理了, 不会有什么负载, 但是业务系统还一直在跑, 于是进业务系统的数据库看正在执行的sql进程:
show...where user='xp_etl';
把输出结果写入一个文件中,如/tmp/test.txt
source /tmp/test.txt
kill掉之后, 观察一段时间发现没什么问题, 就重启了Airflow...于是又把刚才那个正在进行的sql语句拉出来, 在业务系统的代码里找到完整的语句:
SELECT article_id,warning_id
FROM warning_article FORCE INDEX