社区首页 >专栏 >十分钟，Python 带你看遍世界足球俱乐部沉浮

十分钟，Python 带你看遍世界足球俱乐部沉浮

周萝卜

发布于 2020-05-22 02:45:00

43200

代码可运行

文章被收录于专栏：萝卜大杂烩萝卜大杂烩

运行总次数：0

代码可运行

作为一名足球迷，在年终盘点中，怎么能少了足球呢。如果你是关注欧洲足球的球迷（没办法，人家欧洲是足球的世界的中心），那么你一定知道，2019年是属于利物浦的一年，不多说，红军的首个英超冠军已经遥遥在望了，fighting！

数据获取

我们还是先来看看如何拿到我们需要的数据呢，我们这里选择的是一个国外的统计网站，可以查看历年的足球俱乐部得分和排名

https://footballdatabase.com/ranking/world/1

获取俱乐部信息

首先我们需要拿到俱乐部相关的信息，这里选取前200名俱乐部，使用 BeautifulSoup 解析网页即可

    for name in name_list:
        rank_list = []
        try:
            rank_point = name.find_all('td', attrs={'class': 'rank'})
            rank = rank_point[0].text
            point = rank_point[1].text
            club_info = name.find('td', attrs={'class': 'club text-left'}).find_all('a')
            club_url = club_info[0]['href']
            club_name = club_info[0].find('div', attrs={'class': 'limittext'}).text
            club_country_url = club_info[1]['href']
            club_country_name = club_info[1].text
            rank_list.append([rank, club_name, club_country_name, club_url, club_country_url, point])
            list_rank.append(rank_list)
            save_club_name(rank_list)

        except:
            pass

拿到各个俱乐部的信息后，就可以遍历该列表，获取俱乐部历年的得分和排名数据

获取俱乐部历史数据

俱乐部的历史数据也是保存在网页的 Javascript 变量中的，对于如何获取这种数据，我们在前面的文章中也都有介绍，这里就不过多赘述了

his_rank_list = []
    for data in data_list:
        print(data)
        url = data[0][3]
        his_res = requests.get(base_url + url)
        his_content = BeautifulSoup(his_res.text, "html.parser")
        js = his_content.find_all('script')[1].string
        src_text = js2xml.parse(js)
        src_tree = js2xml.pretty_print(src_text)
        data_tree = BeautifulSoup(src_tree, 'html.parser')
        array_list = data_tree.find_all('array')
        club_name = data[0][1]
        for array in array_list[2:-2]:
            his_rank_list = []
            array_date = array.find('string').text
            date = array_date
            try:
                month = month_map[array_date.split(' ')[0]]
                year = array_date.split(' ')[1]
                date = str(year) + '-' + str(month)
            except:
                pass
            array_data = array.find_all('number')
            try:
                point = array_data[0]['value']
                rank = array_data[1]['value']
                his_rank_list.append([rank, point, date])
                save_his_data(club_name, his_rank_list)
            except:
                raise