介绍
本篇文章将继续文章
:Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
的内容,只是用Java来实现这个爬虫,即下载全世界国家的国旗图片。项目不再过多介绍,具体可以参考之前的那篇文章。
我们将全世界国家的名称放在一个txt文件中,每一行一个国家名字,该文件位于E盘flag目录下,名称为countries.txt, 部分内容如下:
爬虫程序
我们这个爬虫的思路还是和之前的那篇文章的思路一样:先是读取countries.txt中的国家名称,以国家名称为参数,读取该国家搜索后的所在网页,再找到该搜索网页中的国家的国旗图片,并实现下载。这个搜索的过程,我们可以用Java的URL包中的POST方法来实现,关于POST方法的请求头和请求体,可以用Fiddler工具进行抓包分析。
该Java项目的具体结构如下:
项目结构
其中用到的第三方API为commons-io和Jsoup,主函数为Country_Flag_Download.java,其java代码完整如下:
运行结果
点击运行该Java程序,可以发现在E盘的flag目录下已经下载了全世界国家的国旗图片,查看如下:
国旗图片
Bingo, 我们的Java爬虫程序运行成功!本次爬虫的主要目标是为了在Java中实现类似于Python中的requests模块的POST方法~
领取专属 10元无门槛券
私享最新 技术干货