1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 546提问于2024-01-06
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。 除了将更改跟踪设置为关闭之外，是否可以采取其他措施来避免这些影响？保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。
浏览 22提问于2019-02-22得票数 0
回答已采纳
我正在尝试创建一个托管元数据字段，但它没有显示在我的爬网列中。它是一个自定义字段。我不确定哪里出了问题，但当我搜索时，我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。我不知道这是否相关。
我将此列添加到我的视图中，以备需要时使用，但这并不起作用。
浏览 1提问于2010-06-15得票数 1
我正在尝试连接到Python anywhere上的twitter流API，但总是收到连接被拒绝的错误。
我在我的应用程序中使用了，并且为了测试连接，我使用了可以在repo中找到的流示例。
HEre是代码的总结：
from tweepy.streaming import StreamListener
from tweepy import OAuthHandler
from tweepy import Stream
# Go to http://dev.twitter.com and create an app.
# The consumer key and secret will be ge
浏览 0提问于2013-01-20得票数 3
回答已采纳
如何避免获得HTTP错误429:使用此代码或使用此代码处理的请求太多？我已经尝试添加sleep.time(秒)，但它不起作用
import googlesearch
import pandas as pd
with open('Unknown.xlsx', "rb") as f:
df = pd.read_excel(f) # can also index sheet by name or fetch all sheets
mylist = df['Short Code'].tolist()
try:
from go
浏览 6提问于2020-12-12得票数 1
我们有三个域名非常接近重复的内容(Magento网站)。让我们称它们为production.com、development.com和staging.com。
我在development.com和staging.com上有机器人无索引。我还启用了htpasswds。谷歌对这些域名的搜索显示，它们还没有被索引。然而，当我登录到该软件的后端时，我开始收到来自Chrome的网络钓鱼警告。
我需要尽快停止这一切。如果警告扩散到前端，我们将看到相当严重的后果。
最佳的行动方案是什么？
浏览 1提问于2013-12-07得票数 0
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
有什么想法吗？
浏览 2提问于2011-05-19得票数 0
回答已采纳
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格：
import scrapy
class PeopleSpider(scrapy.Spider):
name="People"
start_urls=[
'http://canada411.yellowpages.ca/search/si/1/519-896-7080/',
]
def parse(self,response):
for people in response.css("div.person-search__table--row"):
yield
浏览 0提问于2017-02-16得票数 0
我正在尝试将托管属性映射到文档库的Modified By字段。我可以看到该字段的内部名称是Editor。但我在爬网属性中找不到ows_editor。
有没有办法将其添加到爬网属性中，以及如何添加？
浏览 2提问于2011-02-14得票数 0
我将一些子网站移到了我的新网站集中。
我无法通过搜索框搜索我的文档。
我启用了所有设置来搜索，但仍然无法搜索。
我该如何解决这个问题？
浏览 0提问于2016-11-16得票数 1
1回答
我正在使用SQL Server2008 R2全文索引。我注意到我搜索的一些结果没有包含在结果中。在进一步的调查中，我发现可疑数据包含ASC控制字符()。我的表是一个简单的平面结构，如果任何行包含这些字符中的一个，则不会显示结果。
只要我替换数据中的字符，结果就会出现。我在查询中使用CONTAINS。
我找不到一个可以证实这种行为的链接。我可以从数据库中删除这些字符，但如果能确认并了解原因会更好。任何帮助都将不胜感激。
浏览 0提问于2013-09-02得票数 0
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
2回答
目前似乎还没有工具可用于爬取站点并将内容转换为ePub格式。我认为，在没有得到网站所有者明确同意的情况下，在网站上执行这一行动是有法律含义的。
我这么问的原因是，我希望能够将Doctrine 2参考指南转换为适用于我的Kindle的ePub格式。
浏览 2提问于2011-05-08得票数 1
回答已采纳
我已经在python中创建了一个web应用程序，当用户完成在该应用程序上的注册时，我会自动向他们发送一个邀请到松弛的工作区。我刚刚开始研究松弛的API，但似乎找不到它。这不可能吗？
浏览 1提问于2019-01-04得票数 1
回答已采纳
1回答
我还在尝试Scrapy，并且我正试图在我的本地网络上爬行一个网站。该网站的IP地址为192.168.0.185。这是我的蜘蛛：
from scrapy.spider import BaseSpider
class 192.168.0.185_Spider(BaseSpider):
name = "192.168.0.185"
allowed_domains = ["192.168.0.185"]
start_urls = ["http://192.168.0.185/"]
def parse(
浏览 0提问于2012-02-11得票数 2
我需要能够删除搜索结果中显示索引文档的一部分的描述文本，但是我希望这只影响单个库的文档(或子站点)。用这种方式本地化这样的东西是可能的吗？通过XSLT，或sp对象模型，或自定义修剪或任何..也许以某种方式截取索引查询结果，剥离相关文本，然后传递它。
一个几乎行得通的想法是将srch-description div封装在核心web部件的XSLT中的if语句中，该语句检查项目的url是否包含我的库的名称，但是这个xslt更改必须进入任何搜索我的库的站点，而这是不可能的。我想知道我是否可以做更多的事情来删除srch-description或将其与我的项目解耦。
浏览 1提问于2010-12-24得票数 0
回答已采纳
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。 有时因为脚本加载了很长时间，我在浏览器中遇到超时， 但在后台，我继续说。我在我的数据库里看到了。 我能防止这种情况吗？..现在，如果我停止webserver，这是可能的。 谢谢你，并致以最良好的问候。
浏览 0提问于2010-01-22得票数 0
3回答
我们有一个需求，我们需要抓取一组特定的URL。
比方说，我们有site abc.com。我们需要抓取abc.com/test/ need --在“need”文件夹下匹配此模式的所有URL。但我们不想抓取abc.com/test/下的其余URL。
我猜这将使用RegEx来完成。关于RegEx，有人能帮我吗？
浏览 2提问于2014-06-05得票数 0
2回答
我创建了GCP虚拟机(ubunto)。我安装了python和scrapy。我想从那里运行我的蜘蛛，scrapy crawl test -o test1.csv我从gcp打开终端并运行蜘蛛(工作)，这将需要至少3个小时。 如何确保在退出终端(浏览器)时脚本将继续执行。
浏览 23提问于2019-08-31得票数 1
回答已采纳
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
Typo3: v4.2.8 Indexed_search: v2.11.1
浏览 0提问于2012-01-16得票数 0
回答已采纳
我正试图通过Google访问存储在我的驱动器中的Google工作表。
这只是一个Python脚本，没有任何用户交互。如何使用访问密钥或服务帐户对请求进行身份验证？
我理解在我的Google控制台中生成访问键或创建服务帐户的概念。但是，我不太明白我的驱动器中的工作表是如何与它相关联的。
我想知道我应该采取哪些步骤来完成这一任务。例如，如何向此API端点发送请求？
GET https://sheets.googleapis.com/v4/spreadsheets/{spreadsheetId}
注意:我想使用REST来完成这个任务。我不想使用已经开发的Python。因此，我只想使用可能的reque
浏览 7提问于2022-08-29得票数 0
如何取消云社区的文章同步？
或者，如何设置只同步原创的文章??????????????????????????????????????????????????
浏览 261提问于2020-10-24
我尝试在SharePoint Document Library上搜索文件(例如，默认的“根目录”)。我上传了一些测试文件，或者在网上创建了新的办公文件，并提出了一些搜索请求，例如https://graph.microsoft.com/v1.0/sites/root/drive/root/search(q='{query}')，直到昨天，一切都很好。
现在我开始在SharePoint上编辑文件或创建/上传新的文件，对于这些编辑的或新的文件，我有一个问题，当我搜索它们时没有得到结果。“旧的”文件，我开始创建的时候，我发现，虽然，只要我不编辑它们。
为了获得访问权限，我在AAD中注册
浏览 8提问于2018-08-31得票数 0
回答已采纳
1回答
我对在python上使用html页面是个新手。我正试图在我的PC上离线运行BBC站点，为此我编写了一段python代码。我已经做了下载网站上的所有html页面的功能，通过在主页上找到的链接(使用regex)。我的所有链接都在本地目录中，但它们都被称为sub0、sub1、sub2。我如何编辑主页，以便它将所有链接指向我的目录中的html页面，而不是在线页面？同样，这些页面不是以它们的原始名称调用的-所以用本地目录代替域是不起作用的。我需要一种方式去通过主页上的所有链接，并改变他们的整个路径。
浏览 1提问于2014-01-08得票数 1
1回答
我正在尝试使用Python中的Scrapy在一些航班上运行航班搜索，然后将其导出为csv。这只是为了好玩，因为我对Scrapy有了更多的了解。
这是我所拥有的
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spider import Spider
class DeltaItem(Item):
title = Field()
link = Field()
desc = Field()
class DmozSpider(Spide
浏览 1提问于2015-04-17得票数 0
2回答
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。
用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
590859A8-9A1A-4E52-8E60-AD292B16B4A8.png
655C6D0E-4901-4369-AA98-452F9FEFB852.png
4E73A31E-C9C4-45C0-A34E-8EA9AE335A98.jpeg
91321020-9B32-4C77-910A-FA
浏览 335提问于2021-01-09
在GSA中，在Index > Diagnostics > Index Diagnostics下，有一个"More information about this page“部分和一个"Last Modified”字段，我如何从搜索结果的XML输出中获得这个值？
浏览 5提问于2015-03-09得票数 0
2回答
我已经在谷歌上搜索了一段时间，但我猜我用错了关键字。有谁知道这个URI，可以让我从Facebook请求许可，让我在他们的网络上爬行？上次我使用Python做这件事时，有人建议我看一下，但我也找不到那篇文章。
浏览 2提问于2010-10-22得票数 2
回答已采纳
我在这个项目中有10个主要文件夹，我想让外部团队访问我的git存储库中的一个子文件夹，这样他们就可以进行更改并提交拉取请求。
有办法做到这一点吗？如果没有，你能建议一个更好的方法吗？
浏览 1提问于2016-11-13得票数 18
如何设置每个主机要索引的最大页数？我不想索引所有百万页的网站，我只想索引前100000个找到的页面。
浏览 4提问于2010-10-06得票数 1
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
因为我是python的新手，所以我需要你的帮助。我需要从一个网站的所有链接爬行数据。我使用meta进入链接并获取数据。当我使用我的代码时，我只能从一个链接获得。
import scrapy
from scrapy.spiders import CrawlSpider
from scrapy.selector import Selector
import urlparse
from alibaba.items import AlibabaItem
import mysql.connector
from mysql.connector import conversion
import re
浏览 0提问于2016-01-18得票数 0
我有一段艰难的时间与buggy模块，需要做很多安装，卸载等。
但是即使我卸载，模块也会将数据保留在SQL文件中，而从零开始的唯一方法就是每次重新安装.
如何保存导入时将删除所有旧数据的SQL文件？
一个新的SQL文件，它不包含任何新安装和卸载模块的数据。
我尝试过添加database和其他设置，但是似乎一旦安装了一个模块.它太late..it了，它不断地爬回到数据库中，有时还会形成依赖关系？
浏览 0提问于2015-08-23得票数 0
1回答
我的刮刀用了大约一个小时。过了一会儿，我开始看到这些错误：
2014-01-16 21:26:06+0100 [-] Unhandled Error
Traceback (most recent call last):
File "/home/scraper/.fakeroot/lib/python2.7/site-packages/Scrapy-0.20.2-py2.7.egg/scrapy/crawler.py", line 93, in start
self.start_reactor()
F
浏览 3提问于2014-01-16得票数 3
我有一个ngx-datatable，其中有几个列，如下所示：
<ngx-datatable-column name="PLZ/Ort" prop="plzCity" [flexGrow]="1" >
<ng-template let-column="column" let-sort="sortFn" let-sortDir="sortDir" ngx-datatable-header-template>
<span (click)="so
浏览 0提问于2019-05-15得票数 0
我已经在stackoverflow和网络上搜索过了，一定是这里漏掉了什么。我还没有找到我要找的东西。也许它叫别的什么..我有下面的代码，它将抓取第一个文件夹中的所有内容，但不会从其他文件夹中抓取其他项目。例如，它会抓取第一个/前面的所有内容，但如果你有一个站点mysite.com/ folder2 /，它就不会抓取folder2。一切都是联系在一起的。它也会向后移动。如果你把最长的链接放在网站的前面就会一直走到网站的前面。我不确定我错过了什么任何指针将是伟大的。该网站是一个joomla网站，我正试图废止。
<?php function storelink($web,$taken) {
$
浏览 0提问于2013-02-19得票数 0
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
我注意到了在Java实现中对urlfetch的并发异步调用的限制(如这里所述：)
但不在python文档中：
那么，是不是python版本的async urlfetch也有10的上限，只是没有文档记录(或在其他地方记录)？或者极限是其他东西(或者根本不存在)？
浏览 2提问于2010-06-30得票数 5
回答已采纳
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
嘿，我有网站，由于流量很高，我希望在谷歌云存储中托管我的图像。这是一个减少服务器负载的好选择吗？
当我浏览中的谷歌云存储定价部分时，它显示了多区域检索免费定价和AT REST定价，每GB/月0.026美元。
检索和静态是什么意思？带宽和磁盘空间？
浏览 13提问于2017-07-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
