有没有Foursquare API v2不支持多个消费者回调URL的原因?必须为每个单独的测试环境定义一个全新的应用程序,这对开发人员来说是一个很大的障碍。AFAIK,没有其他主要网络在这种程度上限制应用程序重定向。
这种限制有没有道理?我知道开放重定向的风险,最新的OAuth 2.0规范草案似乎排除了仅限域名的匹配,但多个端点似乎完全是纯洁的()。
我正在编写蜘蛛,这将爬行约1000个域。我在想,如果有任何方法来跟踪域名爬行的数量。因为在一个使用进程中抓取1000个域名需要很长时间。
如果我可以跟踪域名的数量过程,那么我可以触发一些任务,如发送电子邮件后爬行的100个域名的1000。
我试着在网上找,但找不到相关的信息。
如果有人知道什么方法,请告诉我。如果我找不到任何方法,那么我必须跟踪urls爬行的数量。但这将是一件好事,如果域名的数量可以跟踪。
class MySpider(CrawlSpider):
name = 'alok2'
# 'list.txt' file have doma