使用feedparser检测重复标题
stream was reset: CANCEL
相关·内容
我使用Python中的feed various库从RSS提要中获取各种详细信息。假设我从一个新闻频道的RSS提要中提取了25个标题。一个小时后，我再次运行feedparser命令，以获取25个新标题的最新标题列表。第二次运行feedparser命令时，该列表可能会更新，也可能不会更新。
有些标题可能是相同的，有些可能是新的。我需要能够检查是否有任何新闻标题有更新的标题，这是一个小时前的标题。只有新的标题必须推送到数据库中。这是为了避免重复数据被转储到数据库中。
代码如下：
import feedparser
d = feedparser.parse('www.news.example.
浏览 1提问于2013-01-10得票数 13
回答已采纳
我正在使用一个特定的npm模块抓取提要，我想做的是用相同的代码创建多个操作，尽管我不想重复整个代码。这是我的控制器：
module.exports = {
buzzy: function (req, res) {
var FeedParser = require('feedparser'),
request = require('request');
var req = request('http://rss.nytimes.com/services/xml/rss/nyt/Techno
浏览 2提问于2014-12-16得票数 2
1回答
我想要做的是让python遍历所有的RSS提要标题，并让终端只打印包含特定单词的标题。
import feedparser
d = feedparser.parse('http://rss.cnn.com/rss/edition_technology.rss')
print d['feed']['title']
print 'number of entries: '
print len(d['entries'])
for post in d.entries:
print post.title + &#
浏览 4提问于2016-09-05得票数 0
回答已采纳
我正在使用python构建一个功能类似于RSS聚合器的应用程序。我使用了feedparser库来完成这项工作。然而，我正在努力让程序正确地检测是否有新的内容。
我主要关注与新闻相关的提要。除了查看提要中是否添加了新项目外，我还希望能够检测上一篇文章是否已更新。有没有人知道我如何使用feedparser来做这件事，记住唯一的必备项目元素不是标题就是描述？我愿意假设link元素也会一直存在。
与每个条目相关联的Feedparser的"id“属性似乎只是指向文章的链接，因此这可能有助于检测提要上的新文章，但不能检测对以前文章的更新，因为这些文章的"id”不会改变。
我看过之前关于st
浏览 1提问于2011-12-20得票数 2
1回答
我正在尝试让来自feedparser的文本在屏幕上从右向左滚动。我使用的是PyQt5，我不确定如何添加这个功能。下面是我想要展示的内容
import feedparser
sports = feedparser.parse('http://rssfeeds.usatoday.com/UsatodaycomSports-TopStories')
for e in sports['entries']:
news = (e.get('title', ''))
我正在寻找一个连续的滚动，直到所有的新闻标题都读完了，然后页面被重新加载，以获
浏览 3提问于2017-05-07得票数 0
大家好，我现在有这个：
import feedparser
d = feedparser.parse('http://store.steampowered.com/feeds/news.xml')
for i in range(10):
print d.entries[i].title
print d.entries[i].date
我该怎么做才能让标题和日期在同一行上？它也不需要打印我只是为了测试在那里，我想把这个输出到一个mysql数据库的标题和日期，任何帮助是非常感谢！
浏览 1提问于2010-05-22得票数 1
回答已采纳
def parseRSS(rss_url):
parsed_feed = feedparser.parse(rss_url)
return parsed_feed
def getHeadlines(rss_url,key):
headlines = []
feed = parseRSS(rss_url)
for newsitem in feed['items']:
if newsitem['title'] not in headlines:
headlines.append([ne
浏览 18提问于2019-11-18得票数 0
回答已采纳
我正在解析这个提要：
var feedParser = $('<div/>');
var url = 'http://www.kingola.com/feed/podcast/';
$.ajax({
url: url,
dataType: "json",
cache: false
}).done(function( result ) {
feedParser.html(d.contents);
var arr = feedParser[0].getElementsByTagName('
浏览 0提问于2016-03-28得票数 0
1回答
我想从获取rss提要，并将其放入SQL表中。
我能够将RSS提要转换成python (代码如下)
我只是不知道如何从这里导入到SQL数据库中？
我正在做一个jupyter笔记本电脑，需要一些帮助才能让这个项目开始。我还想确保所有内容都是不同的，不是重复的。
import feedparser
a_reddit_rss_url = 'http://www.reddit.com/new/.rss?sort=new'
feed = feedparser.parse( a_reddit_rss_url )
if (feed['bozo
浏览 37提问于2019-11-05得票数 1
我在我的应用程序中使用了第三方RSS提要解析器库。我几乎有15页，在每个页面的表视图中显示RSS提要。问题是，除了RSS提要链接之外，所有视图控制器都有相同的代码。我不知道如何减少代码，使所有的表视图都像它们当前工作的那样工作，而同时减少代码的重复。
我使用的代码是：
import UIKit
class TopStoriesViewController: UIViewController, FeedParserDelegate, UITableViewDelegate, UITableViewDataSource {
@IBOutlet weak var tableView: UITab
浏览 8提问于2017-02-13得票数 0
回答已采纳
2回答
我的python脚本解析来自多个RSS提要的标题和链接。我把这些标题存储在一个列表中，我想确保我从来没有打印副本。我该怎么做？
#!/usr/bin/python
from twitter import *
from goose import Goose
import feedparser
import time
from pyshorteners import Shortener
import pause
import newspaper
dr = feedparser.parse("http://www.darkreading.com/rss_simple
浏览 3提问于2016-05-23得票数 1
回答已采纳
我尝试使用提要解析器读取RSS提要。
import feedparser
url = 'http://example.com/news.xml'
d=feedparser.parse(url)
f = open('rss.dat','w')
for e in d.entries:
title = e.title
print >>f, address
f.close()
它可以很好地使用英文RSS-feed，但如果我试图显示一个用西里尔字母写的标题，我就会得到一个UnicodeEncodeError。当我：
尝试将标题写入文
浏览 3提问于2012-06-11得票数 2
回答已采纳
1回答
我为我的Ubuntu安装了一个桌面conky widget，它有一个Python的feed解析器，可以为Google新闻标题提供RSS feed，但是这些标题是不可点击的，我想知道是否有可能让它们可以点击，这样我就可以通过在桌面上点击它来转到标题？我曾经尝试过学习python，但是我做的课程太糟糕了，以至于我无法忍受完成，所以我在这方面相对来说是不熟练的。无论如何，下面是代码：
import feedparser
rss_url = "http://news.google.com/?output=rss"
feed = feedparser.parse( rss_url )
c
浏览 1提问于2014-04-20得票数 1
1回答
我正在尝试使用feed解析器来解析RSS提要。
我得到的标题如下：
import feedparser
url = 'http://chem.aalto.fi/en/current/events/rss.xml'
feed = feedparser.parse(url)
for entry in feed.entries:
title = entry.title
print title
通常情况下，这没有问题，但我遇到了一个奇怪的情况。在这个特定的提要中，标题如下：
<title>06.11.2015: Some title text</tit
浏览 2提问于2015-12-15得票数 0
回答已采纳
3回答
在Python3中打印列表
、、、、
我正在使用feedparser从新闻频道RSS页面中提取一些数据。页面中大约有54个标题。但是，我想打印例如10个详细信息。我试了一遍又一遍，但我做不到。
你能帮我吗？
import feedparser
url = ('http://feeds.bbci.co.uk/turkce/rss.xml')
details = feedparser.parse(url)
def news(d):
n = 0
for i in d:
n+=1
print(n , '.news ')
print(i.title)
print(i
浏览 7提问于2020-06-08得票数 0
1回答
我正在使用bash脚本，并希望在bash函数中嵌入Python片段。
因此，我得到了这个Python代码片段，它简单地从stdin读取并解析它以获得条目的标题。
import feedparser, sys
root = feedparser.parse(sys.stdin.read())
print root['entries'][0].title
一切似乎都很好：
$ curl -sf https://feedforall.com/sample.xml | python xmlparser.py
RSS Solutions for Restaurants
当我以这种方式执行
浏览 0提问于2018-10-08得票数 1
回答已采纳
1回答
我是Feedparser的新手，在休息了很长一段时间后又回到了Python，所以如果有任何帮助，我将不胜感激。我已经尝试过文档，它们非常好，但我仍然有点滞后。
如何让Feedparser获取rss提要，并从中获取前10项的标题和描述，并单独标记每一项，以便可以将它们插入到其他代码的任何位置？即。我可以使用第一个和第二个项目的标题和其他人的描述吗？
希望这是有意义的！任何帮助都非常感谢
浏览 0提问于2010-02-24得票数 5
2回答
使用python上的feedparser模块，我能够解析来自以下XML文件的标题、描述、链接和日期：https://www.espn.com/espn/rss/nba/news 在XML文件中，每个文章都有一个图像，但是feedparser无法识别这一点。它显示的关键字如下： dict_keys(['title', 'title_detail', 'summary', 'summary_detail', 'links', 'link', 'published', 'publ
浏览 23提问于2020-07-27得票数 1
1回答
我正试图从RSS提要中获得谷歌公共组中所有主题的标题。我想得到所有的主题标题。它几乎有8000主题。我使用下面的代码来使用feedparser读取提要。
import feedparser
url = 'https://groups.google.com/forum/feed/caffe-users/topics/rss_v2_0.xml?num=50'
feed = feedparser.parse(url)
for entry in feed['entries']:
content = entry['title']
print
浏览 0提问于2018-02-18得票数 1
回答已采纳
在过去的一周里，我一直在使用feedparser浏览RSS提要。当我今天使用它时，我的整个程序都无法运行，我注意到错误似乎出现在程序的开头，当我得到要循环的提要的长度时。
所以，举个例子，如果我循环浏览BBC提要，程序会这样：
import feedparser
bbc = feedparser.parse('http://feeds.bbci.co.uk/news/rss.xml?edition=uk')
运行这段代码时，我从下面的代码中完全没有得到任何输出。甚至没有错误消息。以前，我会在RSS提要上看到所有的标题。这在今天突然停止了。它在前一周起作用了。我试过其他的RSS
浏览 2提问于2018-03-31得票数 2
我试图使用MWFeedItem.title显示一个由RSS新闻提要条目( MWFeedParser )标题填充的表视图。日志显示feedParser正常工作，没有错误，但是当我运行它时，我得到的只是一个空的表视图。
我一个月前开始编写代码，如果能提供任何帮助，我们将不胜感激。
//
// MS2TableViewController.m
#import "MS2TableViewController.h"
#import "MWFeedItem.h"
#import "MWFeedParser.h"
#import "MWFeed
浏览 0提问于2014-08-16得票数 1
回答已采纳
我正在测试我创建的Python视频游戏搜索引擎导入feedparser，但是当我尝试调试前3行时：
>>> import feedparser
>>> url = "http://newyork.craigslist.org/vga?format=rss"
>>> f = feedparser.parse(url)
在命令行中，我得到这个错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
浏览 3提问于2015-02-26得票数 4
2回答
昨天我安装了feedparser (在OSX 10.5上)，它工作得很好，但现在它停止工作了。
这是脚本(从feedparser文档中复制)
import feedparser
d = feedparser.parse('http://feedparser.org/docs/examples/atom10.xml')
d['feed']['title']
u'Sample Feed'
它告诉我：
Traceback (most recent call last):
File "example.py", line
浏览 2提问于2011-02-08得票数 1
回答已采纳
我正在尝试从目录中读取数据，并尝试解析该数据，最后尝试将其写入另一个目录。
为此，我使用Jython计算器。下面是我的代码：
import sys
sys.path.append('/usr/lib/python2.7/site-packages')
import feedparser
for record in records:
myfeed = feedparser.parse(str(record))
for item in myfeed['items']:
title = item.title
link = item.link
浏览 1提问于2018-09-11得票数 0
2回答
我正在尝试从Google下载一个新闻语料库(尝试做一些自然语言处理)，使用通用的python源解析器。我对XML一无所知，我只是使用一个如何使用know解析器的示例。问题是，我无法从RSS提要中找到新闻的内容，而只是标题。
我目前试图使用的代码是：
import feedparser
url = 'http://news.google.com.br/news?pz=1&cf=all&ned=us&hl=en&output=rss'
# just some GNews feed - I'll use a specific search l
浏览 2提问于2009-11-04得票数 4
回答已采纳
1回答
我正在使用编写一个简单的新闻集成器。
但我想要纯文本(与<p>标签)，但没有网址或图像(即。没有<a>或<img>标签)。
这里有两种方法可以做到这一点：
1.编辑源代码。
class _HTMLSanitizer(_BaseHTMLProcessor):
acceptable_elements =[....]
只需删除a& img标记即可。
2.
import feedparser
feedparser._HTMLSanitizer.acceptable_elements = feedparser._HTMLSanitizer.accep
浏览 2提问于2012-03-12得票数 0
回答已采纳
1回答
问题:我想从Google下载rss提要数据。从直接提要，我可以下载大约20个条目，但从谷歌阅读器，我可以得到5000最后的帖子。
我的解决方案(不起作用)：
1.)身份验证(使用此post：)
2. 此地址应返回X最后一篇文章。纽约时报的特定网址和最后100个帖子的网址：
3.)使用python和python解析器获取内容。
导入反馈解析器
url = "“
D= feedparser.parse(url)
打印d" feed“#以获取提要的标题
运行以下代码后，我的错误消息：
跟踪(最近一次调用)：
文件“--”，第40行，打印d"feed“
文件"C:\P
浏览 0提问于2012-01-30得票数 1
我正在尝试制作一个python脚本，它读取crunchyroll的页面，并给出副标题的ssid。
例如:-
转到源代码并查找ssid，我想在这个元素的ssid之后提取数字
<a href="/i-cant-understand-what-my-husband-is-saying/episode-1-wriggling-memories-678035?ssid=154757" title="English (US)">English (US)</a>
我想提取"154757"，但我的脚本似乎无法工作
这是我现在的剧本：
浏览 0提问于2015-06-28得票数 0
回答已采纳
我正在用Python做一个小实验。我正在制作一个脚本，检查新项目的rss馈送，然后通过电子邮件发送项目的标题和链接。我已经让脚本工作到了一定的程度:当它运行时，它将获取最新项目的link+title并通过电子邮件发送它，而不管它是否已经通过电子邮件发送了该文件。我需要添加两件事:一种方法可以一次获得多个项目(并通过电子邮件逐个发送)，另一种方法是检查它们是否已经发送。我该怎么做呢？我使用的是feedparser，这是我到目前为止所得到的：
d = feedparser.parse('http://feedparser.org/docs/examples/rss20.xml')
浏览 1提问于2011-02-08得票数 0
回答已采纳
1回答
我正在使用在我的应用程序中下载feed，它从其中获取一个网址和feed，我想要从多个URL中获取feed，所以我想到了这个：
for (NSString *rssUrl in [Data variables].categories) {
NSString *link = [[Data variables].rss objectForKey: rssUrl];
NSURL *feedURL = [NSURL URLWithString: link];
feedParser = [[MWFeedParser alloc] initWithFeedUR
浏览 1提问于2011-09-05得票数 1
我通过SSH安装了feedparser，使用
$ python setup.py install --home=~/httpdocs/python-libraries/feedparser-4.1/
我这样做是因为我似乎没有权限正确运行'python setup.py install‘
我在“test.py”中运行以下python代码。
print "Content-type: text/html\n\n"
try:
import feedparser
except:
print "Cannot import feedparser.\n"
浏览 0提问于2009-11-18得票数 1
回答已采纳
3回答
当我尝试使用"python feedparser“时，出现了一堆错误；而在安装过程中，没有出现任何问题。我做了一些这样的事情：
import feedparser
url = "http://blogsearch.google.dk/blogsearch_feeds?" + \
"q=visitdenmark&output=atom"
f = feedparser.parse(url)
以及错误：
f = feedparser.parse(url)
Traceback (most recent call last):
File "
浏览 2提问于2011-02-11得票数 0
我试着尽我所能说出我的问题，因为我不确定这是否正是我想要的，对此我很抱歉。
我正在用feedparser解析一个RSS提要。
根据文档，我能够将结果解析为指向某个漏洞的链接+它的RSS帖子标题。
这是我的代码：
import feedparser
# product variables
ie = ['Internet Explorer', 'IE', 'Explorer', 'Internet_Explorer']
nix = ['Linux', 'SUSE', 'Red Hat'
浏览 1提问于2018-06-13得票数 1
1回答
我正在尝试使用请求js和feed解析器承诺的库来解析RSS提要。我能够使用下面的代码解析提要。
import Bottleneck from 'bottleneck';
const feedparser = require('feedparser-promised');
const limiter = new Bottleneck({
maxConcurrent: 1,
minTime: 333,
});
const httpOptions = {
uri: val.sourcefeedurl,
resolveWithFull
浏览 4提问于2019-08-12得票数 4
回答已采纳
2回答
我正在尝试从一个使用feedparser库获取的RSS数据字典中提取非常具体的元素，然后将该数据放入一个新的字典中，以便以后可以使用Flask调用它。我之所以这么做，是因为原始字典包含了大量我不需要的元数据。
我已经把这个过程分解成了简单的步骤，但是一直忙于创建新字典！如下所示，它确实创建了一个字典对象，但并不全面--它只包含一篇文章的标题、URL和描述--其余的都没有。
我尝试切换到其他RSS，并得到了相同的结果，因此看起来问题要么是我尝试这样做的方式，要么是feedparser生成的列表的结构有问题。
这是我的密码：
from html.parser import HTMLParser
i
浏览 0提问于2017-01-12得票数 2
回答已采纳
我只是想让feedparser 5.2.1启动并运行。(在Windows10/Python37上，我对此有点新手，所以我可能在做一些愚蠢的事情。) 我做了一个pip安装和一个手动安装。它看起来安装得很好，但当我尝试运行任何东西时，它似乎无法工作。我一直在安装和运行很多其他的东西(BeautifulSoup，等等)，但是他把我踢得落花流水。 这一点： import feedparser
print(feedparser.__version__) 给了我这个： AttributeError: module 'feedparser' has no attribute '__
浏览 40提问于2019-06-11得票数 0
2回答
我正在尝试使用feedparser解析python中的提要。但我得到的只是返回的None。我不确定我错过了什么。下面是我的代码：
import feedparser
def rss(self):
rss = 'https://news.google.com/news?q=fashion&output=rss'
feed = feedparser.parse(rss)
for key in feed.entries:
return key.title
如果您认为有更好的rss/xml提要解析。请让我知道。(我是python的新手
浏览 17提问于2017-07-09得票数 1
1回答
所以，下面是一个例子。下面是核心目录中的一个模块(名为feedy.py)：
import feedparser
feed = feedparser.parse("http://site.com/feed")
[...]
一个不好的例子，但不管怎样:我的问题在主脚本(父目录)中，我必须这样做
import feedparser
以及
from core import feedy
但是，有没有一种方法可以消除导入feedparser的需要，因为它已经导入到feedy.py中？
希望你能理解，菲克。
浏览 1提问于2011-07-02得票数 1
回答已采纳
我正在尝试用feed parse解析一个RSS提要。为了简洁起见，下面的代码被删节了
from google.appengine.api import urlfetch
import feedparser
print 'Content-Type: text/plain'
feed_url = 'http://parsethisurl'
feedinput = urlfetch.fetch(feed_url)
rss_parsed = feedparser.parse(feedinput.content)
......
#some logic here
...
浏览 0提问于2012-02-20得票数 2
回答已采纳
我正在尝试熟悉feedparser库，但似乎无法访问feedparser对象中条目的content属性：
d = feedparser.parse('http://www.reddit.com/r/python/.rss')
post = d.entries[2]
post.content
上面的代码块给出了这个错误：
Traceback (most recent call last):
File "C:\Python34\lib\site-packages\feedparser.py", line 414, in __getattr__
retur
浏览 2提问于2014-06-13得票数 0
2回答
我正在用feedparser做一些事情:我有一个在我的主页上显示“新闻”的模板标签，但是，我将如何限制feedparser的结果呢？
包含标签
from django.template import Template, Library
import feedparser
register = Library()
@register.inclusion_tag('rss_render.html')
def rss_render(object): #RSS URL "object"
rss = feedparser.parse(object)
浏览 3提问于2010-09-16得票数 1
1回答
我使用下面显示的代码从arXiv检索论文。我想检索标题中包含“机器”和“学习”的论文。论文的数量很大，因此我想实现一个按年切片(published)。 如何在search_query中请求2020年和2019年的记录？请注意，我对后期过滤不感兴趣。 import urllib.request
import time
import feedparser
# Base api query url
base_url = 'http://export.arxiv.org/api/query?';
# Search parameters
search_query = urllib
浏览 60提问于2020-09-24得票数 0
回答已采纳
在使用NSXMLParser (间接通过Michael Waterfalls库)并解析以下RSS时：
NSURL *feedURL = [NSURL URLWithString:@"http://qdb.us/qdb.xml?action=random"];
self.feedParser = [[MWFeedParser alloc] initWithFeedURL:feedURL];
self.feedParser.delegate = self;
self.feedParser.feedParseType = ParseTypeFull; // Parse feed i
浏览 0提问于2012-04-17得票数 2
我的项目目录中有feedparser.py，但是我的代码不能在google app engine的本地google dev服务器上工作。
我得到了这个错误，
File "/home/ahmad/GAE/livemetals/lv.py", line 34, in <module>
d = feedparser.parse(url)
AttributeError: 'module' object has no attribute 'parse'
INFO 2012-06-23 16:13:25,891 dev_app
浏览 0提问于2012-06-24得票数 0
回答已采纳
如何在我的info.plist文件中禁用NSAppTransportSecurity？
这就是我的要求
func request(){
let url = NSURL(string: "https://www.widadclub.tk/feed/")
let feedParser = MWFeedParser(feedURL: url)
feedParser.delegate = self
feedParser.parse()
}
浏览 5提问于2015-07-17得票数 2
1回答
我正在尝试使用从我的Django网站上的外部提要中获取内容。我希望有一些用户错误处理，例如，如果用户提供的URL不是一个提要。当我尝试feedparser如何响应错误输入时，我惊讶地发现feedparser根本没有抛出任何异常。例如，在HTML内容上，它试图从HTML代码中解析一些信息，而在不存在的域上，它返回一个几乎为空的字典：
{'bozo': 1,
'bozo_exception': URLError(gaierror(-2, 'Name or service not known'),),
'encoding': '
浏览 3提问于2010-12-25得票数 2
回答已采纳
我正在尝试使用feedparser从reuters.com获取RSS feed。我访问了链接http://in.reuters.com/tools/rss以获取visited的链接，例如http://feeds.reuters.com/reuters/INtopNews。当我使用feedparser在python中实现代码时，我只收到了大约10篇帖子，如下所示：
import feedparser
feeds = feedparser.parse('http://feeds.reuters.com/Reuters/worldNews')
for feed in feeds[
浏览 0提问于2016-06-20得票数 4
我在feedparser解析HTTPS RSS feed时遇到了这个SSL问题，我真的不知道该怎么办，因为当涉及到feed parsing时，我找不到任何关于这个错误的文档：
>>> import feedparser
>>> feed = feedparser.parse(rss)
>>> feed
{'feed': {}, 'bozo': 1, 'bozo_exception': URLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAI
浏览 0提问于2015-02-03得票数 14
我想安装。
这就是尝试在Windows命令行中安装feedparser时发生的情况。
> python.exe setup.py install
running install
running bdist_egg
error: error in 'egg_base' option: 'feedparser does not exist or is not a directory
我使用的是Python2.7 (feedparser站点声明“它在Python2.4上一直运行到3.2")。
浏览 0提问于2012-08-29得票数 3
回答已采纳
8回答
我正在寻找一个好的python库，可以帮助我解析RSS提要。有人用过feedparser吗？有什么反馈吗？
浏览 1提问于2010-02-11得票数 41
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
