Python crawler不会从队列中删除链接

import requests
from bs4 import BeautifulSoup

# 创建一个集合来存储已经爬取过的链接
visited_links = set()

def crawl(url):
    # 判断链接是否已经爬取过
    if url in visited_links:
        return
    
    # 发送HTTP请求，获取网页内容
    response = requests.get(url)
    html = response.text
    
    # 解析网页内容，提取需要的信息
    soup = BeautifulSoup(html, 'html.parser')
    # TODO: 在这里编写提取信息的代码
    
    # 将链接添加到已爬取集合中
    visited_links.add(url)
    
    # 获取页面中的所有链接，并递归爬取
    links = soup.find_all('a')
    for link in links:
        href = link.get('href')
        if href.startswith('http'):
            crawl(href)

# 调用爬虫函数，传入初始链接
crawl('http://www.example.com')