Goutte客户端如何存储和检索$crawler？
Goutte客户端是一个基于PHP的Web爬虫工具，用于模拟浏览器行为并抓取网页内容。在使用Goutte进行爬取过程中，可以通过以下方式存储和检索$crawler对象：
- 存储$crawler对象：
- 将$crawler对象保存到变量中：可以直接将$crawler对象保存到一个PHP变量中，以便后续使用。
- 将$crawler对象保存到文件：可以使用PHP的序列化功能将$crawler对象保存到文件中，以便在其他地方进行读取和使用。
- 将$crawler对象保存到数据库：可以将$crawler对象的相关信息存储到数据库中，以便后续查询和使用。
- 检索$crawler对象：
- 从变量中检索：如果$crawler对象保存在一个PHP变量中，可以直接使用该变量进行检索和操作。
- 从文件中检索：如果$crawler对象保存在文件中，可以使用PHP的反序列化功能将其读取出来，并赋值给一个变量进行检索和操作。
- 从数据库中检索：如果$crawler对象保存在数据库中，可以使用数据库查询语句将其检索出来，并赋值给一个变量进行后续操作。
相关·内容
4回答
我正在抓取网站，到目前为止，用Goutte解析HTML没有问题。但是我需要从网站上检索JSON，由于cookie管理，我不想用file_get_contents()来实现它--这是行不通的。
我可以使用纯cURL，但在这种情况下，我只想使用Goutte，而不想使用任何其他库。
那么，有什么方法我只能通过Goutte解析文本，还是真的必须用好的旧方法来解析呢？
/* Sample Code */
$client = new Client();
$crawler = $client->request('foo');
$crawler = $crawler->filter
浏览 0提问于2013-09-10得票数 4
回答已采纳
<?php
require_once '/var/www/goutte.phar';
use Goutte\Client;
$guzzle = parent::getClient(); //You'll want to pull the Guzzle client out of Goutte to inherit its defaults
$guzzle->setDefaultOption('verify', '/path/to/cacert.pem'); //Set the certificate at @mtdo
浏览 8提问于2014-01-27得票数 0
1回答
在尝试学习和使用Goutte搜索网站的描述时，它确实检索文本，但删除了所有标记(即<br><b>)。是否有方法检索div中所有文本的值，包括html标记？还是有一种更简单的替代方法能让我具备这种能力？
<?php
require_once "vendor/autoload.php";
use Goutte\Client;
// Init. new client
$client = new Client();
$craw
浏览 4提问于2018-01-04得票数 2
回答已采纳
$goutte = new GoutteClient();
$crawler = $goutte->request('GET', 'https://www.website.com');
$reviewContent = $crawler->filter('.review-content');
$rows = $reviewContent->filter('.row');
foreach ($rows as $row) {
$col1 = $row->filter('.col-md-3
浏览 1提问于2015-08-12得票数 0
1回答
对我来说，这是一次学习的经历，但是使用Symfony和Goutte。我已经能够登录到一个安全的网站，然后返回一个页面。
echo $crawler->html();
我现在要做的是通过对象$crawler进行解析。令我困惑的是，Goutte似乎对如何做这件事并没有表现出什么看法。我想很多人都和Goutte一起使用了口香糖，但是我不能和use Goutte\Client;一起做一个use Goutte\Client;语句。
我所要做的就是通过$crawler对象进行解析，以在html源代码中找到某些内容。(注意:这个特定的页面不使用id或类，因此我不能执行filter('#stu
浏览 2提问于2015-03-18得票数 0
回答已采纳
2回答
我想登录一个网页并下载一个文件。
到目前为止，我尝试了下面的代码。问题是我似乎不再被授权了。下载的文件是login.html页面。
有人知道怎么做吗？提前感谢！
<?php
require 'vendor/autoload.php';
use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET', 'https://website.com/login.php');
$form = $crawler->selectButton(&
浏览 53提问于2016-07-22得票数 1
1回答
你能帮我找到一种方法来获得一个内容从元描述，元关键字和机器人内容使用Goutte。另外，如何定位<link rel="stylesheet" href="">和<script>
下面是我用来获取<title>内容的PHP：
require_once 'goutte.phar';
use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET', 'http://stackoverflow
浏览 2提问于2014-03-27得票数 6
我被这个错误困住了。但是客户被定义了。
我的代码像这样
use Goutte\Client;
use Illuminate\Http\Request;
use GuzzleHttp\Client as GuzzleClient;
class WebScrapingController extends Controller
{
public function doWebScraping()
{
$goutteClient = new Client();
$guzzleClient = new GuzzleClient(array(
浏览 1提问于2021-02-07得票数 3
回答已采纳
我使用composer与Symfony 2.0.15，并迁移到最新的Behat 2.4。这在我的composer.json里
"require-dev": {
"behat/behat": "2.4@stable",
"behat/mink-extension": "*",
"behat/symfony2-extension": "*",
"behat/mink-browserkit-driver": "*",
浏览 0提问于2012-06-27得票数 0
回答已采纳
2回答
我正在尝试抓取一个页面，而且我对php框架不是很熟悉，所以我一直在尝试学习Symfony2。我已经启动并运行了它，现在我正在尝试使用Goutte。它安装在供应商文件夹中，并且我有一个包用于我的抓取项目。
问题是，从Controller抓取数据是一种好的做法吗？又是如何做到的？我一直在寻找，不知道如何使用捆绑包中的Goutte，因为它深埋在文件结构中。
<?php
namespace ontf\scraperBundle\Controller;
use Symfony\Bundle\FrameworkBundle\Controller\Controller;
use Goutte\Cl
浏览 2提问于2015-03-17得票数 2
1回答
我正在使用fabpot/goutte 3.2，尝试这段代码访问一个网站，但不起作用
$client = new \Goutte\Client();
$guzzleClient = new \GuzzleHttp\Client(array(
'curl' => array(
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_SSL_VERIFYHOST => false,
CURLOPT_SSL_VERIFYPEER =>
浏览 0提问于2018-04-05得票数 2
回答已采纳
1回答
因此，我试图使用Goutte登录https网站，但我得到了以下错误：
cURL error 60: SSL certificate problem: unable to get local issuer certificate 500 Internal Server Error - RequestException 1 linked Exception: RingException
这是Goutte的创建者说要使用的代码：
use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET
浏览 4提问于2015-03-17得票数 2
回答已采纳
<span class="tl">
<a href="/en/laravel/" class="c">laravel</a>, <span>goutte</span>, <a href="/en/html/">html</a>, <span>dom crawler</span>, <a href="/en/form/">form</a><span>guzzle</
浏览 0提问于2017-05-29得票数 1
1回答
我需要抓取帖子id，喜欢的数量，评论的数量和用户名。通过使用php代码和我目前正在使用的库Goutte。
如何获取帖子详细信息？可以使用php goutte吗?还是必须使用FB Graph API？
<?php
require 'vendor/autoload.php';//require the vendor/autoload.php file.
$client = new \Goutte\Client();//create a new client.
$crawler = $client->request('GET', 'https:/
浏览 6提问于2020-09-18得票数 0
2回答
我有一个Goutte/Client (goutte对请求使用symfony )，我想加入路径并获得一个最终的URL：
$client = new Goutte\Client();
$crawler = $client->request('GET', 'http://DOMAIN/some/path/')
// $crawler is instance of Symfony\Component\DomCrawler\Crawler
$new_path = '../new_page';
$final path = $crawler->s
浏览 3提问于2016-11-27得票数 2
回答已采纳
为什么当我执行laravel-goutte文档中的代码时它不工作，代码在github上的包的主页上：
use Weidner\Goutte\GoutteFacadeGoutte;
Route::get('/', function() {
$crawler = Goutte::request('GET', 'http://duckduckgo.com/?q=Laravel');
$url = $crawler->filter('.result__title > a')->first()->
浏览 2提问于2017-01-18得票数 0
1回答
我正在尝试使用goutte创建一个PHP脚本
登录
点击提交按钮。
在本地保存csv文件，该文件将被下载(如果手动完成)。
这个应用程序()是建立在asp.net上的。
我能够成功登录并通过代码在表单上点击submit按钮，但它目前只返回以下结果：
Symfony\Component\DomCrawler\Crawler Object
(
[uri:protected] => http://portal.agrinet.ie/Exports.aspx
[defaultNamespacePrefix:Symfony\Component\DomCraw
浏览 3提问于2017-08-30得票数 0
回答已采纳
我有一个asp.net表单，我想自动提交，以便抓取结果(顺便说一句，我所做的一切都是合法的)。
一些表单下拉输入字段是通过ajax动态填充的。其中一个字段是" region“字段，一旦您选择了一个区域，"City”下拉列表就会被填充。如果我在通过Goutte web-crawler输入地区后仅尝试输入城市，则会引发无效值错误。
这可以通过Goutte完成吗，或者我应该使用其他东西？
目标表单本身是用带有viewstate和eventvalidation字段的asp.net编写的。
浏览 1提问于2013-08-27得票数 0
1回答
这是我正在使用的代码
require_once 'goutte.phar';
use Goutte\Client;
$client = new Client();
for($i=0;$i<10;$i++){
$crawler = $client->request('GET', 'http://website.com');
echo '<p>'.$crawler->filterXpath('//meta[@property="og:description"]&
浏览 0提问于2015-04-05得票数 1
回答已采纳
1回答
我在用Goutte做一个刮胡刀。
为了开发，我保存了一个我想要浏览的.html文档(所以我不会不断地向网站提出请求)。到目前为止，我的情况如下：
use Goutte\Client;
$client = new Client();
$html=file_get_contents('test.html');
$crawler = $client->request(null,null,[],[],[],$html);
它基于我所知道的应该在Symfony\Component\BrowserKit中调用请求，并传递原始的主体数据。下面是我收到的错误消息：
PHP Fatal
浏览 4提问于2015-07-01得票数 5
回答已采纳
1回答
我的代码是这样的
<?php
require_once 'vendor/autoload.php';
use Goutte\Client;
use Symfony\Component\HttpClient\HttpClient;
//generate random string
function generateRandomString($length = 10)
{
$characters = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGH
浏览 11提问于2020-11-12得票数 0
回答已采纳
我使用goutte登录到一个受限制的区域，目的是检索文件。登录是在一个子域，它的工作，我也可以在我登录后，页面上的链接。但我需要使用另一个地址来搜索数据，而这就是我不再登录的地方。
我正在使用的代码：
$client = new Client();
$client->getClient()->setDefaultOption('config/curl/'.CURLOPT_SSL_VERIFYHOST, FALSE);
$client->getClient()->setDefaultOption('config/curl/'.CURLOPT
浏览 3提问于2016-10-22得票数 0
1回答
我正在为亚马逊的个人资料销售商做网络抓取，就像这样：
我用的是PHP和Goutte。问题是，在注释部分，当我在"Siguiente“(下一个)上克里克时，url不会改变，并且我不能刮下一个注释。
我看到Goutte支持“点击链接”问题。我试过：
$link = $crawler->selectLink('Siguiente')->link();
$crawler = $client->click($link);
但它不起作用。还有别的解决办法吗？
浏览 0提问于2019-08-27得票数 1
1回答
我在php中使用goutte来获取页面的html。我使用jquery ajax调用php，并将页面放在doc (#doc)中。
我想把那个页面放在没有特殊字符的页面上，比如 和其他，但是我的clean()函数不能工作。我该怎么解决呢？
PHP：
<?php
require_once 'goutte.phar';
use Goutte\Client;
if(isset($_GET['url'])) {
$url = $_GET['url'];
}
//client used to send requests to a
浏览 4提问于2016-01-28得票数 1
回答已采纳
2回答
不管我用的是火狐还是GoogleBot，这个网站仍然把我当做一个机器人。
我正在尝试使用Goutte创建一个爬虫。这个网站有一个针对爬虫的拦截系统，但我想不出如何避免它。这是我当前的代码：
require_once 'includes/goutte.phar';
use Goutte\Client;
$client = new Client();
$client->setHeader('User-Agent', "Googlebot");
$crawler = $client->request('GET', '
浏览 0提问于2013-02-02得票数 0
1回答
我是OOP的新手，所以请发发慈悲；我甚至不知道这篇文章的标题是不是可以。
我正在用Goutte抓取一些网站，就像这样
$ad['title'] = $crawler->filter('#subject')->text();
$ad['image'] = $crawler->filter('.images')->filter('meta')->eq(0)->attr('content');
这并不太难，但我想要有可重用的代码。因此，对于我抓取的每个站点，都有一个$a
浏览 0提问于2016-02-26得票数 2
1回答
功能测试覆盖率不记录Goutte网络爬虫调用的任何控制器。
<?php
use Goutte\Client;
class DummyTest extends PHPUnit_Framework_TestCase {
/**
* Web Crawler
* @var \Goutte\Client
*/
protected $client;
public function setUp() {
parent::setUp();
$this->client = new Client();
}
public function testActionIndex()
浏览 0提问于2014-05-23得票数 0
回答已采纳
1回答
好的，所以我一直在学习vanilla，并想深入研究如何使用包。所以我试着把实现到牙齿上。
我确实使用Composer安装了这个包，并将src代码放置在作曲家生成的文件所在的根文件夹中。在运行脚本时，我会得到一个初始化类not。
我该怎么处理这个？我遵守了指示，这让我很疯狂
我得到的密码是：
<?php
use Goutte\Client;
// Initialize object
$client = new Client();
// Issue GET request to URI
$crawler = $client->request("GET", "
浏览 1提问于2016-06-08得票数 2
回答已采纳
我正在使用"fabpot/goutte": "^4.0",。
我正试图从网站获得日期和发布的数组。
请找我的例子：
<?php
require_once '../vendor/autoload.php';
use Symfony\Component\DomCrawler\Crawler;
use Goutte\Client;
try {
$resArr = array();
$tempArr = array();
$url = "https://www.steelcitycollectibles.c
浏览 7提问于2021-12-18得票数 2
回答已采纳
composer.json:
"php": "^7.1.3",
"fabpot/goutte": "^4.0",
"fideloper/proxy": "^4.0",
"guzzlehttp/guzzle": "^6.5",
"laravel/framework": "^6.2",
"laravel/passport": "^8.4
浏览 4提问于2020-02-24得票数 0
回答已采纳
2回答
我试图通过代理使用Goutte，但它通过原始IP。
我没有收到任何错误或任何东西，而且请求进行得很好，但是虽然是原始的IP。
我已经在我的本地计算机和幻影上测试过代理，它的工作原理非常好。
$opts = ['proxy' => '123.123.123.123:3128'];
$client->request('GET', $url, $opts);
$appInfo->developer = $crawler->filter('something')->text();
它使用的是计算机的IP，而不
浏览 4提问于2016-06-04得票数 2
回答已采纳
1回答
我想抓取一个分页的ajax加载的网站。我正在使用在laravel 5中爬行。Goutte可以做到吗？我尝试了以下代码，
$link = $crawler->selectLink('Next>')->link();
$crawler = $client->click($link);
但它不起作用。如何使用PHP/ Laravel 5抓取ajax站点？
浏览 0提问于2015-05-28得票数 0
我正在尝试在Goutte中设置用户代理，我正在使用setHeader，但是我在控制台中得到了未定义的方法setHeader错误。 Call to undefined method Goutte\Client::setHeader() 如何在Goutte中设置用户代理头部？ public function getGoogleResults(Request $request)
{
$terms = 'Nata & Chocolate Gluten Free Bakery';//$request->input('terms');
浏览 40提问于2020-09-09得票数 1
回答已采纳
2回答
我试图从这里获取数据：
我正在检查公司名称是否免费。但是这个网站是asp.net web forms，而整个网站是一个大的形式。我不知道如何从这个表格中得到数据。
我认为问题在于：
'__VIEWSTATE' => '',
'__VIEWSTATEGENERATOR' => '9E6EC73D',
'__EVENTVALIDATION' => '',
是否可以在PHP中发送请求并获取返回的数据？因为，这段代码将返回
当前节点列表为空
浏览 0提问于2017-03-21得票数 1
回答已采纳
1回答
我相信我还不清楚BehatContext和MinkContext之间的关系，也不知道为什么我会在我的应用程序中继承其中一个。基本上，我不清楚为什么我必须在每个函数中实例化一个新的客户端对象。我应该能够使用$this，因为我已经在behat.yml文件中加载了goutte。
有小费吗？
<?php
namespace Main\ReferralCaptureBundle\Features\Context;
use Main\ReferralCaptureBundle\Features\Context\FeatureContext;
use Symfony\Component\Http
浏览 3提问于2013-08-14得票数 1
回答已采纳
1回答
我尝试下载内容的网页与网页刮，但上的主要问题是，我不能绕过重定向的网站。例如，当我尝试登录到网站并提交登录表单时。我看到了等候页和等待页。
但是在浏览器中，等待页面后，我重定向到配置文件页。
我下载了goutte并创建了我的脚本，但是在提交表单中我遇到了问题，因为当我提交错误的密码或用户名时，我会看到不正确的密码，但是当我输入正确的用户名和密码时，我会看到等待图像重定向。
第一编辑
根据更新响应，我的代码是
<?php
require_once 'vendor/autoload.php';
use Goutte\Client;
$client = new
浏览 0提问于2019-07-31得票数 0
4回答
我是从一个UTF-8网站，使用，内部使用口香糖。该站点声明了一个UTF-8的元标记，因此：
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
但是，内容类型标题是：
Content-Type: text/html
而不是：
Content-Type: text/html; charset=utf-8
因此，当我刮擦时，Goutte没有发现它是UTF-8，并且不正确地抓取数据。远程站点不在我的控制之下，所以我无法解决那里的问题！下面是一组复制问题的脚本。首先，铲运机：
浏览 10提问于2013-09-13得票数 7
回答已采纳
5回答
我尝试过使用Guzzle的文档来设置代理，但它不起作用。Goutte的官方Github页面已经死了，所以在那里找不到任何东西。
有人知道怎么设置代理吗？
这是我尝试过的：
$client = new Client();
$client->setHeader('User-Agent', $user_agent);
$crawler = $client->request('GET', $request, ['proxy' => $proxy]);
浏览 3提问于2016-03-05得票数 3
我试着用Laravel，Goutte和Guzzle来设计一个网页。我正试图将口香糖的一个实例传递给Goutte，但是我的web服务器一直试图使用Symfony\Contracts\HttpClient\HttpClientInterfac。以下是我所得到的准确错误：
Argument 1 passed to Symfony\Component\BrowserKit\HttpBrowser::__construct() must be an instance of Symfony\Contracts\HttpClient\HttpClientInterface or null, instance
浏览 8提问于2021-09-01得票数 1
回答已采纳
2回答
我试图通过CSS选择器或xpath表达式从给定的文本中获取值，但我不知道是否有可能实现这一点。这是我的HTML：
<select name="product" style="width: 430px">
<option value="0" selected="selected"></option>
<option value="3181">389-ds-base</option>
<option value="3511">7-
浏览 2提问于2015-03-24得票数 2
回答已采纳
1回答
我正试图得到以下产品的价格。
仅使用jQuery，下面的代码正在工作，并在预处理之前给出了值
jQuery('.grpPrimary div[style = "display: block;"] .price-current').text()
我试着用Goutte和Laravel做同样的事情：
$client = new Client();
$crawler = $client->request('GET', 'http://www.newegg.com/Product/Product.aspx?Item=N82E168222367
浏览 2提问于2015-11-28得票数 1
回答已采纳
是否有办法使用Goutte登录到卖方中心？我试过这样做，但它一直说密码错误(我手动尝试，它运行良好)：
$client = new Client();
$crawler = $client->request('GET', 'https://sellercentral.amazon.com');
$form = $crawler->selectButton('sign-in-button')->form();
$crawler = $client->submit($form, array('username'
浏览 2提问于2016-06-24得票数 1
回答已采纳
1回答
我正在尝试使用Symfony2、Goutte和DomCrawler来抓取一些数据。我遇到了一个棘手的情况，我需要在<td>中获取一个属性值。
工作科：
$query = "//td[normalize-space(text()) = 'Event Title']/following-sibling::td[1]";
$crawler->filterXPath($query)->each(function($crawler, $i) {
echo $crawler->text();// . $i . P
浏览 3提问于2015-04-15得票数 1
回答已采纳
1回答
我想刮这个：
<a class="pdt_title">
Japan Sun Apple - Fuji
<span class="pdt_Tweight">2 per pack</span>
</a>
这是我的密码：
use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET', 'https://www.fairprice.com.sg/searchterm/apple');
浏览 1提问于2018-05-14得票数 0
回答已采纳
我想在laravel中使用goutte登录Facebook。他们是登录到github的文档，但我想登录到facebook，并在页面上获得所有可用的人的姓名。我正在尝试的是
$crawler = $client->request('GET', 'https://www.facebook.com');
$form = $crawler->selectButton('Log In')->form();
$crawler = $client->submit($form, array('email'
浏览 4提问于2016-06-21得票数 1
1回答
我正在尝试使用goutte从html文件中提取一个特定的值。
$client = new Client();
$crawler = $client->request('GET', 'http://localhost:8081/app_dev.php');
$htmlContent= $crawler->filter('label')->last()->html();
var_dump($htmlContent);die();
在这种情况下，我得到了片段：
<input type=
浏览 1提问于2014-08-23得票数 1
回答已采纳
我正在使用symfony2和Goutte来抓取web数据。我正在尝试简单地登录到facebook并返回登录的页面数据。
下面是我的代码：
<?php
namespace junk\scraperBundle\Controller;
use Symfony\Bundle\FrameworkBundle\Controller\Controller;
use Goutte\Client;
class ThingController extends Controller
{
public function somethingAction($something)
{
// ma
浏览 2提问于2015-11-01得票数 0
1回答
我已经在我的Laravel 5.7应用程序中安装了Goutte，并且我正在尝试从该页面中获取煤炭、天然气、HYDRO和WING (TNG列)的值：
Route::get('hdtuto', function () {
$crawler = Goutte::request('GET', 'http://ets.aeso.ca/ets_web/ip/Market/Reports/CSDReportServlet');
$aeso_data = $crawler->filter('TABLE > TR > T
浏览 10提问于2019-03-26得票数 0
回答已采纳
$crawler = Goutte::request('GET', 'https://examplesite.com/');
$crawler->filter('.blog')->each(function ($node) {
$uri = $node->html(); // $uri value is written below
dump($uri);
});
这是$uri的值，
$uri = """<div class="blog" >
<a c
浏览 3提问于2017-07-24得票数 0
我有一些问题，刮函数在拉拉维尔。函数正在返回被刮过的数据的值，但下面显示了如下所示的消息。
UnexpectedValueException: The Response content must be a string or object implementing __toString()
我在这里做错什么了？
namespace App\Http\Controllers;
use Illuminate\Http\Request;
use Goutte;
class ScraperController extends Controller
{
public function in
浏览 0提问于2019-05-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
