如何使用PYTHON抓取新闻文章
如何使用PYTHON抓取新闻文章
在本文中，我们将讨论如何使用Python抓取新闻报道。这可以使用方便的报纸包装来完成。
Python newspaper 包简介
可以使用pip安装newspaper 包：
pip install newspaper安装完成后，即可开始。 newspaper可以通过从给定的URL上抓取一篇文章，或者通过找到网页上其他新闻的链接来工作。让我们从处理一篇文章开始。首先，我们需要导入Article类。接下来，我们使用此类将内容从URL下载到我们的新闻文章。然后，我们使用parse方法解析HTML。最后，我们可以使用.text打印文章的文本。
爬一篇文章
from newspaper import Article
url = "https://www.bloomberg.com/news/articles/2020-08-01/apple-buys-startup-to-turn-iphones-into-payment-terminals?srnd=premium"
# download and parse article
article = Article(url)
article.download()
article.parse()
# print article text
print(article.text)还可以获取有关文章的其他信息，例如指向帖子中嵌入的图像或视频的链接。
# get list of image links
article.images
# get list of videos - empty in this case
article.movies下载网页上链接的所有文章
现在，让我们看看如何将所有新闻文章链接到网页上。我们将使用如下的news.build方法来实现。然后，我们可以使用article_urls方法提取文章URL 。
import newspaper
site = newspaper.build("https://news.ycombinator.com/")
# get list of article URLs
site.article_urls()使用上面的对象，我们还可以获得每个文章的内容。这里，所有article对象都存储在list.site.articles中。例如，让我们获取第一篇文章的内容。
site_article = site.articles[0]
site_article.download()
site_article.parse()
print(site_article.text)现在，让我们修改代码以获得前十名文章：
top_articles = []
for index in range(10):
article = site.articles[index]
article.download()
article.parse()
top_articles.append(article)警告！
使用时，一个重要的说明newspaper的是，如果你运行newspaper.build用相同的URL多次， 包将缓存，然后删除已经刮了文章。例如，在下面的代码中，我们连续两次运行Newspaper.build并获得不同的结果。第二次运行它时，代码仅返回新添加的链接。
site = newspaper.build("https://news.ycombinator.com/")
print(len(site.articles))
site = newspaper.build("https://news.ycombinator.com/")
print(len(site.articles))
可以通过在函数调用中添加一个额外的参数来进行调整，如下所示：
site = newspaper.build("https://news.ycombinator.com/", memoize_articles=False)如何获得文章摘要
该newspaper包也支持一些NLP功能。您可以通过调用nlp方法进行检查。
article = top_articles[3]
article.nlp()现在，让我们使用summary方法。这将尝试返回文章摘要。
article.summary()您还可以从文章中获取关键字列表。
article.keywords如何获得最热门的Google关键字
报纸还有其他一些很酷的功能。例如，我们可以使用hot方法轻松使用它在Google上吸引最热门的搜索。
newspaper.hot()该软件包还可以返回受欢迎的URL列表，如下所示。
newspaper.popular_urls()
腾讯云开发者
