linux定时任务分页执行

#!/bin/bash

# 假设数据存储在data.txt中，每行一条记录
DATA_FILE="data.txt"
PAGE_SIZE=1000
CURRENT_PAGE=0

# 计算总页数
TOTAL_PAGES=$(wc -l < $DATA_FILE | awk '{print int(($1 + '$PAGE_SIZE' - 1) / '$PAGE_SIZE')}')

# 循环处理每一页
while [ $CURRENT_PAGE -lt $TOTAL_PAGES ]; do
    START_LINE=$((CURRENT_PAGE * PAGE_SIZE + 1))
    END_LINE=$((START_LINE + PAGE_SIZE - 1))
    
    # 使用sed提取当前页的数据
    sed -n "$START_LINE,$END_LINEp" $DATA_FILE > page_$CURRENT_PAGE.txt
    
    # 处理当前页的数据（这里只是一个示例）
    while read -r line; do
        echo "Processing: $line"
        # 实际处理逻辑...
    done < page_$CURRENT_PAGE.txt
    
    CURRENT_PAGE=$((CURRENT_PAGE + 1))
done

echo "All pages processed."

crontab -e

0 * * * * /path/to/process_data.sh