1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？
我应该创建一个PHP脚本，使用cookie跟踪访问者，特别是在下载3个文件后登录/注册的web爬虫。但我发现网络爬虫可以绕过cookie。
有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？
我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这能帮上忙的话就给我这个信息。
浏览 0提问于2013-07-27得票数 1
1回答
我正在写一个爬虫。一旦爬虫登录到一个网站，我想使爬虫“停留-始终登录”。我该怎么做呢？客户端(如浏览器、爬虫等)使服务器遵守此规则吗？当服务器在一天内允许有限的登录时，可能会出现这种情况。
浏览 0提问于2009-11-26得票数 0
回答已采纳
我需要向爬虫提供访问私有维基的权限。
维基对所有匿名用户关闭-你必须登录才能看到内容，但我需要提供一个单一的爬虫(由用户代理字符串和单一IP标识)完全访问，以便内容可以被索引。它是一个内部爬虫，所以只有在成功登录后才能访问它的资源。
对于如何启用对单个客户端(而不是用户，因为爬虫无法登录到wiki)的访问，有什么建议吗？
浏览 2提问于2011-01-27得票数 0
回答已采纳
我想使用Matomo (自托管跟踪软件，类似于谷歌分析)。JS代码片段公开了一个调用来进行跟踪的PHP文件(例如，请参见here )。此PHP文件与用于登录的文件和其他文件位于同一文件夹中，即这会向恶意爬虫程序暴露太多信息。因此，我想通过一个不存在的或误导性的路径代理PHP文件的URL。例如。 不安全： _paq.push(['setTrackerUrl', u+'https://www.mytracker.com/exposed_installation/matomo.php']); 应该变得更安全： _paq.push(['setTrackerUr
浏览 48提问于2019-09-22得票数 0
我想写一个爬虫在Java中自动登录到gmail帐户。我的爬虫将获得登录Id和密码，并将登录到电子邮件帐户，并显示输出页面。我不清楚该怎么做。我曾尝试使用HTTP客户端将一些数据发布到博客，因此我熟悉它的基本GET和post方法。
谁能告诉我如何编写爬虫登录到gmail电子邮件帐户？任何回应都将不胜感激。
提前谢谢。
浏览 2提问于2010-08-27得票数 1
我有一个网站，主要功能动态内容。每一段动态内容都有自己的网址，如"www.example.com/page/\*/\*“
我遇到的问题是，其中许多页面都需要用户登录。我读过关于AdSense爬虫登录的文章，并试图实现它。但是，我发现没有提到通配符或URL的正则表达式。据我所知，AdSense爬虫登录只支持静态URL。
是否有任何方法来设置支持一系列动态URL的AdSense爬虫登录？
浏览 0提问于2015-02-03得票数 3
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！
有没有任何php爬虫，它的性能良好，可以索引爬行网站到ElasticSearch？
帮助我为我的项目选择php爬虫，我可以将它与ElasticSearch集成。
我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
我想要的是：
1)使用Internet Explorer登录页面
2)让我的软件使用WinInet API爬行站点，重用相同的cookie/会话(也就是说，爬虫是“登录”的)
我尝试使用INDY构建自己的登录，虽然会话cookie登录运行良好，但现在许多网站使用了一种更加复杂的登录机制，将客户端和服务器端的内容结合在一起进行初始登录。
..。
我相信，例如，WordPress、ASP.Net等使用客户端/AJAX的东西，以及哈希/时间/用户代理代码/检查等，是因为30秒后，我可以从自己的爬虫程序发送完全相同的headers，就像登录时使用的FireFox一样，但是它不能工作。
(将其与基于会话
浏览 4提问于2013-02-19得票数 5
我有一个网站的内容服务后的登录。我想添加谷歌AdSense到受保护的页面，但谷歌声称，AdSense爬虫将需要自己的登录来执行正确的爬行。。
因此，我为爬虫设置了用户名/密码，将POST参数放入谷歌的设置页面，但随后意识到这在我的登录配置中是行不通的，因为ASP.NET MVC使用AntiForgeryToken来防止跨站点攻击。当我的网站专门禁止跨站点登录时，我如何设置AdSense爬行器的登录？
浏览 2提问于2015-08-07得票数 1
回答已采纳
问题更新：谢谢您的更新。
我正在尝试在任何地方实现爬行，以抓取文档文件文件夹。
我遵循了中指定的指令
安装了tomcat和Apache web服务器。
因此，我试图登录到爬虫:：http/爬虫。
但我得到的信息是
在此服务器上找不到请求的URL /crawler。
Apache/2.0.64 (Win32)本地主机端口80服务器
而对于://ip:8180/爬行它提供：
<error>
<errno>1</errno>
<errmsg>Missing action</errmsg>
</error>
谁能告诉我错过
浏览 2提问于2013-12-02得票数 0
回答已采纳
有没有办法让爬虫在恢复之前暂停的抓取作业时登录到网站？
编辑:为了澄清，我的问题实际上是关于Scrapy爬虫，而不是一般的cookie。也许一个更好的问题是，当Scrapy爬虫在作业目录中被冻结后复活时，是否有任何方法被调用。
浏览 0提问于2012-05-09得票数 1
1回答
我有一个使用nginx作为前端服务器的服务。一些机器人不断地强制执行/login页面，这足以降低我的服务器工作效率。
我想做的是计数登录失败的数量(在PHP中)，然后更新一个IP黑名单，然后使用这个列表来禁止客户端通过IP访问只访问/login页面。(这是为了避免禁止“好”爬虫，这将能够阅读其他网页的网站，甚至是“禁止”登录页面)。
如何从动态IP列表中执行nginx禁令？
浏览 0提问于2017-04-14得票数 0
回答已采纳
2回答
我有一个使用Django运行的webapp。最近，我激活了一些中间件，它应该提醒我404's，在我的领域内有一个引用者(应该是404，这是我的错)。
然而，今天我收到了34个不存在的urls请求，所有的登录类型。下面是一些例子：
/signup
/user/register
/sign_up.html
/tools/quicklogin.one
/member/join.php
/index.php?do=/user/register/
/index.php?action=registernew
/index.php?option=com_registration&task=r
浏览 0提问于2013-03-02得票数 0
这是关于我的设置的背景信息。使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭。这有助于防止内存泄漏，因为每个爬行器在关闭之前重新启动。不过，最近我将检查爬虫脚本，并注意到其中一个脚本不再运行，
浏览 7提问于2013-12-18得票数 13
回答已采纳
我使用Apify和PuppeteerCrawler为多个用户抓取页面。我必须登录每个用户到系统和刮5页，然后注销，并继续与下一个用户。
什么是最好的方法--为每个用户调用爬虫，或者只调用一次爬虫，并让它处理登录/注销？
我正在从扩展这个示例，并在Apify云中运行它。现在，我正在修改request.userData对象，向它添加一个标签" login“，这样登录情况可以在一开始就得到处理。登录后，要刮掉的相关5页将排队。
浏览 0提问于2019-09-06得票数 0
我现在在一个网站上工作。整个网站都是受保护的，因此只有登录的用户才能访问此网站(只要beta测试运行->的时间有限)。
我们有两种不同类型的分享在我们的网站上。一个是简单的“喜欢”按钮，另一个只是使用：{URL}
为了给facebook爬虫提供访问权限，我建立了这样的保护：
if(wUserCur::isLoggedIn() || in_array($currentPath, $allowedLogins) || strstr($_SERVER['HTTP_USER_AGENT'], 'facebookexternalhit')):
// do n
浏览 2提问于2011-09-21得票数 3
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
2回答
和从和其他日常交易网站访问用户帐户及其日常交易。这些网站要求用户提供他们的凭据以登录到各自的网站，然后导入帐户详细信息。LivingSocial和其他交易网站不提供对用户帐户的应用编程接口访问。
我也想这样访问其他网站，并从那里导入数据。但是我找不到和从Groupon和LivingSocial等导入数据的后端进程。
到目前为止，我能够发现网络爬虫/蜘蛛可以用来从网页上删除数据。但我不确定网络爬虫在我们需要用户登录并且页面urls是加密的，或者至少是动态生成的urls的情况下是否有用。
请帮助我，并建议我做这件事的方法。如果爬虫是这个问题的解决方案，请提供一些我可以在我的.net应用程序中使用的
浏览 4提问于2011-09-09得票数 0
回答已采纳
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
我的网站是公开的(用户可以在没有登录的情况下查看)+私有的(用户必须登录才能使用)。
所以我的问题是，谷歌爬虫应该如何知道我的网站是私有的(带有https的URL)。此外，我还想抓取该内容，并用HTTPS索引我的所有ULR。
是否有任何可供选择的支持谷歌网站管理员工具的HTTPS网址。如果有一个选项可以支持这些URL，那么我想知道Google爬虫将如何访问我的网页内容而不登录。所以大家可以提前分享你的想法和感谢。
浏览 1提问于2014-05-05得票数 0
我有一个php mysql网站，它要求用户在第一页(主页)注册，然后只有他们可以浏览网站的内容。如果用户没有登录，并且仅在登录时显示内容，则每个页面都会生成一个登录表单。唯一能注册的IP是我们学院的无线网络。
因此，我需要一个网站地图或其他方式，以便爬虫(每个搜索引擎)可以查看网站的内容，这需要登录。请只发布接受的或合乎道德的方式。
我目前在我的网站内没有搜索，所以用户将无法通过它找到内容，所以我希望他们能够轻松地通过搜索引擎使用“搜索文本mydomain.com”。
我读过这个，但没有找到解决方案。
浏览 6提问于2012-10-28得票数 0
回答已采纳
1回答
我需要用我的帐户登录Facebook，因为我想创建一个爬虫，从应用程序中获取一些数据，并将其放入数据库中。
我不知道这是否可行，也不知道从哪里开始，我只知道有一些facebook APIs存在，但我找到的作为参考的url似乎关闭了。
我需要用一个PHP脚本来做这件事。
你能给我一个提示吗？
编辑:现在引用url已打开。
浏览 2提问于2010-12-27得票数 0
回答已采纳
1回答
在我的工作中，我建立了很多wordpress网站，我也做了很多剪切和粘贴工作。为了简化这个过程，我正在尝试制作一个可以填写表单信息并向wordpress提交表单信息的爬虫。然而，一旦我通过登录，我就不能让爬虫在wordpress管理面板中正确操作。
我知道提交登录表单是可行的，因为我以前得到过返回的页面。但是这个脚本似乎没有返回我想要的“设置”页面。我一直在尝试使用这个网站作为指南：，了解如何使用机械化，但我可以使用一些额外的指导。这是我的Perl脚本，我已经尝试了一些变体，但我只需要被指向正确的方向。
谢谢!
use WWW::Mechanize;
my $m = WWW::Mechaniz
浏览 0提问于2012-07-13得票数 2
回答已采纳
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。
在这个php页面中，我将返回一个加密的json。同样在这个页面中，我有一段代码来跟踪哪个in正在访问这个php页面，并且我注意到有一个spyder/Nutch-2爬虫正在访问这个页面。
我在想，一个爬虫怎么可能找到一个没有在任何搜索引擎中发布的页面。我有办法阻止爬虫访问这个特定的页面吗？
我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
在我的网站根目录中，我有一个index.php，当然还有其他的页面。问题是，当我用爬虫或站点地图爬虫等爬行我的网站时，它会报告两个重复的链接。
www.domain.com/
www.domain.com/index.php
如何强制告诉我的爬虫没有相同页面的两个实例？我是否使用301合并它们？一个规范？.htaccess重定向？等等，我该怎么解决这个问题？
浏览 0提问于2014-09-12得票数 0
回答已采纳
1回答
有没有办法在抓取爬虫的调用之间保存cookie？目的-网站需要登录，然后通过cookie维护会话。我宁愿重用会话，也不愿每次重新登录。
浏览 3提问于2015-07-27得票数 2
回答已采纳
1回答
我正在尝试使用FormRequest登录scrapy，并被重定向到搜索链接。
这是我的代码的一部分：
start_urls = ['https://www.cpaelites.com/member.php?action=login']
def parse(self, response):
payload = {'username':'','password':''}
r = [FormRequest.from_response(response,formdata=payload,callback
浏览 1提问于2017-08-24得票数 0
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
如何使用Headless Chrome登录网页(填写并提交登录/通过表单标签)。我用Python3，BeautifulSoup和无头浏览器做了一个网络爬虫，但现在我需要先登录，我不知道怎么做。
浏览 17提问于2020-02-05得票数 0
5回答
我有domain.com。如果用户已登录，则应自动加载domain.com/option-X，其中X是用户的预定义选项。
因此，我在index.php的顶部执行以下操作：
header("Location: /option-X");
但是，如果用户没有登录，我会自动选择第一个选项，如下所示：
header("HTTP/1.1 301 Moved Permanently");
header("Location: /option-a");
因此，关于这样做的影响，我有两个问题：
由于搜索引擎爬虫不会被登录，它们总是会得到domain.com/o
浏览 52提问于2011-09-07得票数 61
回答已采纳
在阅读了维基百科一篇关于网址重定向的文章后，我想知道window.location.href="page.php"是否是网页重定向的最佳选择。维基百科的文章指出
但是，出于安全考虑，headers或refresh标记可能是首选的，并且因为某些浏览器和许多web爬虫不会执行JavaScript。
有什么需要我担心的吗？如果存在问题，使用javascipt的替代方案是什么？当用户登录时，window.location.href被激活。
浏览 8提问于2012-10-06得票数 2
回答已采纳
1回答
我们有一个PHP爬虫运行在我们的web服务器上。crawler运行时，没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP)，托管在同一台服务器上，停止响应。基本上，爬虫会阻止任何其他php脚本运行。
编辑：
** fsockopen用于将文件下载到crawler！**
浏览 3提问于2010-05-11得票数 0
1回答
保护泽西2 Rest API
、、、、
我正在使用泽西2构建一个way爬虫(类似于 \ SAAS)，其他开发人员应该能够以安全的方式使用这个API (发出请求->获得一个JSON响应)。
以下是流程：
用户可以访问应用程序网站(注册/登录)。
在登录/注册之后，他应该会看到一个带有API_KEY和API_SECRET的面板。
现在，他可以使用这个API_SECRET来访问API，从而访问爬虫。
瓦特适合这样做吗？是否有更好/更简单的解决办法？
浏览 5提问于2015-10-23得票数 0
回答已采纳
1回答
我正在尝试编写一个爬虫，它将接受某个搜索条目，并保存一大堆与结果相关的.CSV文件。
我已经让爬虫登录了，解析了我需要的所有html数据，现在我要做的就是弄清楚如何保存我需要的文件。
因此，搜索返回如下的链接
然后在web浏览器中提示您保存相关的.csv文件。我如何写我的爬虫能够加载这个页面和下载文件？或者，有没有一种方法可以捕获指向信息的静态链接？
浏览 0提问于2011-08-19得票数 2
1回答
我使用Selenium +Python2.7堆栈。
我想登录到论坛，并为学术研究目的而抓取文章数据。我正在使用以下代码来填写登录表单：
username = browser.find_element_by_xpath("//input[@id='navbar_username']")
username.clear()
username.send_keys("####")
password = browser.find_element_by_xpath("//input[@id='navbar_pas
浏览 1提问于2017-01-08得票数 1
回答已采纳
我有一个模板网页，有一个固定的页眉/页脚。根据要显示的主体内容，我需要更改头部中元标记的内容。
在谷歌搜索之后，我了解到google爬虫不会运行任何javascript代码，也不会在页面中读取php变量。如果是的话，google爬虫会不会忽略If语句来检测到下面的元标记？
<?php if(about page) ?>
<meta ...>
<meta ...>
<meta ...>
<?php } else if(contact page) { ?>
<meta ...>
<
浏览 0提问于2014-04-27得票数 0
回答已采纳
1回答
我目前正在创建一个脚本，将强制我的访问者在下载3个文件后注册/登录。我计划使用cookie来跟踪下载量。
此外，我想防止内容农业从糟糕的网络爬虫。我不知道网络爬虫是否也可以像普通访问者一样存储cookie，这样我就可以阻止他们下载我的文件超过3次。
如果不支持cookies的网络爬虫仍然可以下载我的文件超过3次，有没有其他方法来跟踪他们的访问量？
浏览 1提问于2013-07-29得票数 1
1回答
我正在寻找一个解决方案，以切换IP时自动运行PHP爬虫。我有一个自定义的爬虫，它运行100个线程，但由于油门限制，我经常被阻塞。因为PHP不支持多线程，所以我设置了windows调度程序来并行运行PHP应用程序。
我想为每个线程分配一个不同的IP地址，并欢迎任何建议来克服这个问题。
浏览 1提问于2014-04-14得票数 0
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。
所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？
我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果爬虫不能使用(当然是内容)，就不是一个好主意。
谢谢!
浏览 2提问于2013-03-18得票数 3
2回答
基于AWS的粘性负载平衡
、、、
我刚刚为几个例子设置了一个AWS负载均衡器，因为搜索引擎爬虫正在摧毁这个站点(它有数百万页)。网站的部分内容允许您登录，因此我选择：
启用应用程序生成的Cookie粘性
一切都很好。
我现在想知道这将如何影响我的搜索引擎优化和爬虫。当我选择粘性负载平衡时，这是否意味着一个爬虫将被卡在一个服务器上，从而击败负载均衡器中的点？
如有任何建议，将不胜感激。
浏览 0提问于2012-07-01得票数 2
回答已采纳
我在JMeter中有一个爬虫测试(爬虫)的问题，我在java中也有本机代码，它不能工作，因为我需要在POST中发送一个名为javax.faces.ViewState的参数
我只需要绕过这个参数，然后我将我的代码留在Java中，根据您的意见，爬虫(爬虫)会更可行。
在此处输入图像描述
public static void main(String[] args) {
try {
Connection.Response loginForm = Jsoup.connect("http://appware-sst.com/elegancia-ejecutiva"
浏览 2提问于2017-04-06得票数 0
环顾四周，似乎如果你通过Scrapy登录到一个网站，如果你试图在爬虫中使用Selenium，认证的登录会话不会转移。有没有办法把这个会话转移到Selenium上？或者我必须用Selenium重新登录网站吗？
谢谢!
浏览 1提问于2016-07-15得票数 3
2回答
我有使用ajax加载帖子的新闻门户，以获得更好的用户体验。Web爬虫看不到javascript生成的链接和文本，所以我读到了关于为爬虫使用noscript标记的文章。在noscript部分中，我以正确的方式(在我的php代码中)使用标题标记来呈现标题、字幕、描述和链接到post。许多SEO分析器网站现在看到了这些内容，但我不知道真正的爬虫像谷歌和其他。他的这是一个很好的方式，使我的内容可见的爬虫？我知道这很容易..。
浏览 0提问于2015-04-22得票数 3
我有一个阿贾克斯网络应用程序，我需要谷歌索引。所以我使用了hashbang，并且我需要将?_escaped_fragment_=传递给一个单独的爬虫PHP。
目前
DirectoryIndex index.php
RewriteEngine on
RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^$ crawler.php?cat=%1 [QSA,L]
重定向到像这样的url /crawler.php/m/GkQs6Mw4W8。如何将爬虫重定向到这样的URL，
crawler.php?cat=m&
浏览 0提问于2014-11-10得票数 0
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。
这样，我将能够抓取每一个“类型”的网站(移动和个人电脑)。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。
所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。
我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。
我使用的未被阻塞的JS代码示例；
window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。
如果有人能分享他或她的意见，这将是最好的方式。
提前感谢！
浏览 0提问于2015-07-29得票数 0
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
6回答
Tor网络爬虫
、、、、
好的，这就是我需要的。我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。(仅以.onion结尾。)我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊重它们吗？
如果我的任何解决方案都有效，我该怎么做呢？(请按步骤说明，我是菜鸟
浏览 7提问于2012-02-11得票数 10
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
