初学者用python抓取php站点

文章/答案/技术大牛

发布

1回答

php、python、python-2.7、web-scraping、request

我完全是一个抓取的新手，我想从这里获取一些数据：import requests url='http://fse.vdkruijssen.eu/ferrylist.php

浏览 5提问于2017-02-06得票数 2

回答已采纳

3回答

Python Web抓取-必需库及其实现方法

python-2.7

我想要使用Python进行web抓取，我需要它，因为我想导入一些数据库，我们如何在Python中做到这一点。我们需要什么样的库？

浏览 2提问于2016-02-11得票数 0

1回答

漂亮汤刮Tripadvisor不起作用

python-3.x、web-scraping、beautifulsoup、tripadvisor

我是一个用python和漂亮的汤做网页抓取的初学者，我在Tripadvisor站点上抓取评论时遇到了问题，就像代码没有运行一样，它永远停留在没有结果的情况下。然而，我的代码正在其他网站上工作。

浏览 6提问于2022-03-24得票数 -3

7回答

用PHP代码打印Python输出

php、python、scraper

我有一个刮板，它刮一个网站(用python编写)。在抓取站点的同时，那些即将用CSV编写的打印行。刮板是用Python编写的，现在我想通过PHP代码来执行它。我的问题是是否可以在通过PHP执行python输出时打印它。

浏览 14提问于2012-12-09得票数 10

4回答

应该可以写一个通用的脚本来抓取所有的100个网站或在抓取技术中只可能为特定的网站编写脚本。(愚蠢的问题。)我想我应该问一下哪种可能性更容易。为每个网站编写100个不同的脚本是很难的。第二项质询。我的主要语言是PHP，但在Stackoverflow上搜索此处后，我发现Python中的"Beautiful Soup“是最高级的爬行器之一。应该可以在PHP中调用Python中的"Beautiful Soup“吗？或者用Python编写所

浏览 2提问于2011-01-03得票数 3

1回答

使用php curl抓取aspx页面

php、asp.net、curl、screen-scraping

我正在尝试使用php curl代码抓取aspx页面，其中包含页面方面的数据。最初，页面使用get方法加载，但当我们选择page no.从下拉列表中，它使用post方法提交页面。

浏览 1提问于2012-04-23得票数 1

1回答

是否更容易抓取AMP版本的网页？

web-scraping、beautifulsoup、web-crawler、amp-html、web-mining

我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。

浏览 11提问于2019-04-08得票数 0

2回答

用python抓取aspx站点

python、asp.net、beautifulsoup、urllib2、urllib

012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789

浏览 0提问于2017-09-01得票数 0

1回答

使用Scrapy和selenium抓取网站

python、selenium、scrapy

我打算用Scrapy在上抓取html内容。 <div id="content"> <a href="/scores/named_ladder/main.php">사다리</a>

浏览 2提问于2016-11-26得票数 0

2回答

在python中伪造cookie来抓取站点

python、cookies、cookiejar

我正在尝试抓取的站点使用js来创建cookie。我想的是，我可以用python创建一个cookie，然后使用这个cookie来抓取站点。然而，我不知道有什么方法可以做到这一点。有谁有什么想法吗？

浏览 2提问于2009-07-13得票数 2

回答已采纳

1回答

最小的Apache2配置的python脚本，wget，结合本地文件，并提供压缩？

python、apache2

我在我的服务器上安装了一个PHP站点，上面也安装了mod_wsgi +Python2.5。有时我会被要求提供整个站点的压缩文件，我希望使用Python而不是PHP来完成这项工作。我能做的最简单的配置是什么，这样我的python脚本就可以通过web访问，这样它就可以wget和抓取我站点的静态文件，将我的媒体( css，js )目录添加到压缩包中，并提供该压缩包供下载？

浏览 3提问于2010-06-23得票数 0

回答已采纳

1回答

抓取和爬行-发布令牌

web-scraping、web-crawler

我是个抓取和爬行的新手。为了一个研究项目，我正在尝试抓取和爬行社交网站：它说这是你发布令牌的方式：我正在尝试使用php在wikiscraper的帮助下获得身份验证，并进入网站，这样我就可以抓取它。我把上面的命

浏览 1提问于2011-11-30得票数 2

2回答

漂亮的汤-数据不在HTML文件中

python、beautifulsoup

我是Python的新手。我试图从一个网站上抓取数据，但在浏览器的view > source上看不到我想要的数据。它来自另一个文件。是否可以使用Beautifulsoup和Python来抓取屏幕上的实际数据？示例站点wwwdotcatleylakemandotco(Dot)uk/cds_ site s.php谢谢

浏览 0提问于2013-05-21得票数 0

回答已采纳

1回答

抓取站点并为每个URL编译有效负载统计数据的工具？

performance、http、curl、seo、wget

我的目标是抓取一个给定的站点，并记录该站点上每个页面的总有效负载的统计数据。我所说的有效负载是指原始文档、css、js、图像等一次的字节数。是下载的。我更喜欢用PHP或Python与web应用程序很好地集成。

浏览 1提问于2011-03-17得票数 0

1回答

jQuery可以用来从超文本标记语言页面中提取数据吗？

android、jquery、json、parsing、jsoup

我在搜索我的项目时偶然发现了jQuery，该项目涉及解析和提取HTML页面的内容。不知道我是否可以使用jQuery来实现这个目的。如果是这样的话，有人可以和我分享一些例子或者分享教程的链接吗？如果jQuery是不可能的，有什么替代方案？(当然是最简单、最有效的方法)

浏览 1提问于2013-07-04得票数 0

回答已采纳

2回答

如何创建一个调用python抓取脚本的web服务？

python、python-2.7、web-scraping、bottle

我是python初学者，我需要一些帮助来创建一个web服务，该服务调用python抓取脚本(一门课程的任务)。感谢哥伦比亚的帮助和问候！我没有很好的英语，但我希望有人能理解我，帮助我。

浏览 3提问于2015-12-16得票数 0

回答已采纳

1回答

用python抓取电子商务站点

python、python-requests

我正在创建一个电报机器人，当你发送任何产品链接(来自myntra，amazon，flipkart)。一旦它的价格下降，它就会向用户发送一个msg，所以这是我的代码，用于从flipkart和myntra中提取价格。from bs4 import BeautifulSoup sandals/9024251/buy' head = {"user_agents&

浏览 0提问于2020-01-09得票数 0

回答已采纳

1回答

我可以使用XML-RPC将Python抓取的文章发布到我的wordpress站点上吗？

python、php、wordpress、web-scraping

我是编程新手，在前两周学习了一点Python，并编写了一个自动化脚本，从网站上抓取每个类别中的类别和文章。

浏览 0提问于2020-05-17得票数 0

1回答

检查NoneType的变量并中断一个while循环

python-3.x、web-scraping、beautifulsoup、href、nonetype

我对编程非常陌生，并且开始教自己用Python进行网络抓取。我正在从一个站点的多个页面中抓取播放器数据，并构建了一个site循环，该循环将一个“next”按钮的href抓取到下一个玩家的页面。我对此非常陌生，所以请不要理会我的初学者代码。

浏览 2提问于2017-11-15得票数 4

回答已采纳

2回答

Web应用程序体系结构和应用程序服务器？

php、python、model-view-controller、cakephp、application-server

该应用程序定期从其他站点抓取信息，并根据最终用户的输入进行抓取。为此，我使用Php+curl抓取信息，使用Php或python解析信息并将结果存储在MySQLDB中。然后，我将使用Python对数据运行一些算法，这将定期发生，也会在最终用户输入时发生。我将在MySQL DB中缓存一些结果，有时如果它是特定于用户的，则跳过存储数据并将其提供给用户。我正在考虑在一台单独的web服务器上使用Php作为网站前端，在另一台服务器上运行P

浏览 2提问于2010-06-11得票数 3

回答已采纳

点击加载更多