我正在尝试用python实现一个网络爬虫。以下是我到目前为止所拥有的:
import urllib2
seed=raw_input('Enter a url : ')
def getAllNewLinksOnPage(page,prevLinks):
response = urllib2.urlopen(page)
html = response.read()
links,pos,allFound=[],0,False
while not allFound:
aTag=html.find("<a href=",pos)
if aTa
我试图抓取几个链接,并收集属于每个网站的具体信息。 我想我需要使用for循环来完成这个任务。这是我写的代码。在这种情况下,我只能得到一个结果,但我需要所有的结果。我想知道如何返回到URL部分,并再次工作,直到找到所有结果。 # collect urls
data = html.select("div.content a")
for i in data:
url = "wwww...." + i["href"]
# move to url link and collect specific information
raw_each
我有一个打印样式表,它在链接后添加一个URL。如下所示:
@media print {
a:after {
content: " (" attr(href) ") ";
}
}
这将导致如下所示的链接。
this is an <a href='/foo.html'>example</a> of some HTML'
显示为:
this is an example ("/foo.html") of some HTML
而我希望它显示为:
this is an example ("
我想换一次换一个函数。但是对于改变,不断地尝试将检测改变的交换功能链接到先前的事务。作为示例,我设置了alert。正如您在警报流程中看到的那样,该流程正在不断增长。我只是点击了正在重复的过程,这个过程就是我能做什么?
感谢您的关注。
运行的代码的修订版:
我的代码;
Index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head>
<m
我使用下面提到的php代码来显示来自webpages.Below的图像,提到的代码能够显示来自主页面的图像url,但无法显示来自子页面的图像url。
enter code here
<?php
include_once('simple_html_dom.php');
$target_url = "http://fffmovieposters.com/";
$html = new simple_html_dom();
$html->load_file($target_url);
foreach($html->find('img'
下午好:当我尝试更新一个“Usuario”时,我看到了Django的这个错误:
Page not found (404)
Request Method: GET
Request URL: http://127.0.0.1:8000/usuarios/modificar/
Using the URLconf defined in COMBOOK.urls, Django tried these URL patterns in this order:
^ ^$ [name='login']
^ ^cerrar/$ [name='logout']
我想创建一个PHP函数,通过一个网站的主页,找到主页中的所有链接,通过它找到的链接,并继续进行,直到所有的链接在说的网站是最终的。我真的需要建立这样的东西,这样我就可以蜘蛛我的网站网络,并提供“一站式”的搜索。
这是我到目前为止得到的-
function spider($urltospider, $current_array = array(), $ignore_array = array('')) {
if(empty($current_array)) {
// Make the request to the original URL