使用R从dataframe中的urls抓取内容
可以通过以下步骤实现：
- 首先，确保已经安装了必要的R包，如
httr和rvest。可以使用以下命令安装这些包：
install.packages("httr")
install.packages("rvest")- 读取包含urls的dataframe，并将其存储在一个变量中。假设dataframe的名称为
df，urls存储在名为urls的列中。 - 使用
httr包中的GET()函数发送HTTP GET请求来获取每个url的内容。可以使用循环或apply函数来遍历urls列，并将每个url传递给GET()函数。以下是一个示例代码：
library(httr)
# 遍历urls列
for (url in df$urls) {
# 发送GET请求
response <- GET(url)
# 提取响应内容
content <- content(response, as = "text")
# 进行进一步处理或保存内容
# ...
}- 如果需要从网页中提取特定的信息，可以使用
rvest包中的函数。例如，可以使用read_html()函数将网页内容解析为HTML，并使用CSS选择器来提取所需的元素。以下是一个示例代码：
library(rvest)
# 遍历urls列
for (url in df$urls) {
# 发送GET请求
response <- GET(url)
# 提取响应内容
content <- content(response, as = "text")
# 解析HTML
html <- read_html(content)
# 使用CSS选择器提取所需的元素
# ...
}- 最后，根据具体需求进行进一步处理或保存提取的内容。
这是一个基本的示例，具体的实现可能会根据实际情况有所不同。在实际应用中，还可以考虑异常处理、并发请求等方面的问题。
相关·内容
1回答
如何抓取列表中存储的多个链接
、、、、
我试图通过将每个页面编号应用于url，然后将url存储在一个列表中，来抓取url的多个页面。在执行迭代时，只抓取第一个页面中的内容，而不抓取其余的内容。故障出在哪里？ df = pd.DataFrame()
list_of_links = []
url = 'https://marknadssok.fi.se/publiceringsklient?Page='
for link in range(1,10):
urls = url + str(link)
list_of_links.append(urls)
#Establish c
浏览 13提问于2019-03-29得票数 0
回答已采纳
我会将函数返回的值存储在Pandas DataFrame中。
我的抓取URL存储在Dataframe中。
我的函数是这样工作的：
def scrape(urls):
price=[]
title_box=[]
try:
response = requests.get(urls)
r = bs(response.text, "html.parser")
title_box = r.find('span', {'class': 'im-titleBlock__titl
浏览 0提问于2021-11-24得票数 1
新年快乐！
我刚刚开始学习朱莉娅，我给自己设置的第一个迷你挑战就是从大量的URL列表中抓取数据。
我在CSV文件中有大约50k的URL(我成功地使用Regex从JSON和Julia解析了这些URL)。我想抓取每个字符串并返回一个匹配的字符串("/page/ 12345 /view“-其中12345是任意整数)。
我成功地使用了HTTP和Queryverse (虽然从CSV和CSVFiles开始，但为了学习目的查看包)，但是脚本似乎在不到2k之后就停止了。我看不到诸如超时之类的错误。
我可以问一下，是否有人能建议我做错了什么，或者我如何以不同的方式对待它？学习资源的解释/链接也将是很棒的
浏览 2提问于2021-01-01得票数 4
回答已采纳
首先，我从一个网站上抓取了一定数量的urls，并将它们收集到一个数据文件中。但是，我想循环我收集到的urls到dataframe中。这是我的密码：
library(rvest)library(dplyr)
library(XLConnect)
##########GET URLS###################################################################################
urls <- read_html("http://www.klassiekshop.nl/labels/labels-a-e/brill
浏览 2提问于2016-10-24得票数 0
回答已采纳
我正在抓取一个包含URL列表的大文件。显然，我不能连续地抓取所有的URL。我当前的解决方案从文件中读取URL。一旦它从该页面抓取和下载文档，我就会写入一个新文件，如下所示：
https://url_i_completed_crawling E:/location_I_stored_crawled_files
https://another_url_i_completed_crawling E:/another_location_I_stored_crawled_files
我的问题是，当我停止爬行器并尝试从我离开的地方继续时，程序从URL的原始文本文件开始，并开始重新搜索并使用
浏览 6提问于2019-10-11得票数 0
我有一个urls的csv列表，我需要将其抓取并组织到csv文件中。我希望每个url中的数据都是csv文件中的一行。我有大约19000个urls需要抓取，但我正在尝试使用少数几个来解决这个问题。我可以抓取文件并在终端中查看它们，但当我将它们导出到csv文件时，只会显示最后一个文件。
urls在csv文件中显示为：
我有一种感觉，我的循环做错了什么，但似乎找不到在哪里。任何帮助都将不胜感激！
到目前为止，我使用的是以下内容：
import urllib
from bs4 import BeautifulSoup
import csv
import re
import pandas as pd
浏览 0提问于2016-10-13得票数 0
1回答
我有一个网络爬虫，抓取新闻故事在网页上。
我知道如何使用XpathSelector从页面中的元素中抓取某些信息。
但是，我似乎不知道如何存储刚刚爬行的页面的URL。
class spidey(CrawlSpider):
name = 'spidey'
start_urls = ['http://nytimes.com'] # urls from which the spider will start crawling
rules = [Rule(SgmlLinkExtractor(allow=[r'page/\d+']),
浏览 2提问于2013-02-27得票数 4
回答已采纳
我正在使用beautifulsoup来抓取数据。有多个urls，我必须将我从这些urls中抓取的数据保存在同一个CSV文件中。当我试图从不同的文件中抓取并保存到相同的CSV文件时，我在CSV文件中刮到的最后一个url中的数据就在那里了。下面是我从其中抓取数据的代码。
images = []
pages = np.arange(1, 2, 1)
for page in pages:
url = "https://www.bkmkitap.com/sanat"
results = requests.get(url, headers=headers)
soup
浏览 17提问于2022-09-05得票数 0
回答已采纳
1回答
我正试图从下面的URL中从活体网站上抓取移动电话链接的列表
URL
然而，在这种情况下，我只能擦拭那些“热门模特”，而不是其他人。
这是我的密码
import pandas as pd
from bs4 import BeautifulSoup
import requests
def get_page_links(url):
baseurl='https://www.vivo.com'
r=requests.get(url)
sp=BeautifulSoup(r.text, 'lxml')
links=sp.select(&#
浏览 5提问于2022-06-07得票数 -1
我试图使用以下代码从下面的url：中抓取'Profile and investment‘表：
import requests
import pandas as pd
# Define all urls required for data scraping from the FT Website - if new fund is added simply add the appropriate Fund ID to the List
List = ['LU0526609390:EUR', 'IE00BHBX0Z19:EUR', 'LU107609
浏览 3提问于2021-10-25得票数 1
回答已采纳
2回答
我有一种情况，我想要在不同的urls上抓取多个表。我确实设法抓取了一个页面，但是当我试图抓取页面并将表堆叠为dataframe/list时，我的函数就失败了。 library(rvest)
library(tidyverse)
library(purrr)
index <-225:227
urls <- paste0("https://lsgkerala.gov.in/en/lbelection/electdmemberdet/2010/", index)
get_gram
浏览 21提问于2020-11-02得票数 2
回答已采纳
1回答
所以我有一个包含60k个urls的DataFrame，我用漂亮的汤从每个urls中抓取数据。我使用了tqdm和多处理来提高抓取的速度，但是一些urls给了我一个ConnectionError，这很好。我想知道如何忽略这些链接，并在不影响tqdm进度的情况下继续下一个链接。
import tqdm
import requests
from multiprocessing import Pool
from bs4 import BeautifulSoup
pool= Pool(10)
list_data= list(tqdm.tqdm(pool.imap(scrape_data_functio
浏览 0提问于2019-12-22得票数 2
3回答
我使用的是集成了mysql的Nutch 2.1。我抓取了2个站点，Nutch成功地抓取了它们，并将数据存储到Mysql中。我使用Solr 4.0.0进行搜索。
现在我的问题是，当我试图重新抓取一些网站，如trailer.apple.com或任何其他网站，它总是抓取最后抓取的网址。甚至我已经从seeds.txt文件中删除了最后一个抓取的Urls，并输入了新的urls。但是Nutch没有抓取新的Urls。
谁能告诉我，我到底做错了什么？
另外，请建议我任何Nutch插件，可以帮助抓取视频和电影网站。
任何帮助都将是非常有用的。
浏览 1提问于2012-12-14得票数 2
我试图使用wget从urls列表中只抓取..jpg。
我尝试过wget -r -A.jpg http://url.com/page1，但它下载了整个网站。
我还看到了这个示例，用于抓取urls列表wget -i download-file-list.txt，所以我尝试了这个wget -i -A.jpg download-file-list.txt，但是它只是下载html，而不是jpg图像。
有没有办法给它一个HTML页面，让它只下载某种类型的图像？
谢谢
浏览 4提问于2013-12-03得票数 1
回答已采纳
3回答
我有一个用于抓取的urls集合，我想并行下载资源，同时返回一个强类型结果的集合。
拥有一个WebClient.DownloadString()和一个"MyTypedResult Process(string s)“
我如何包装它来进行string[] urls => IEnumerable<MyTypedResult>转换？
string[] urls = {"url1","url2","url3"};
List<MyTypedResult> ResultCollection = new List<
浏览 0提问于2013-02-07得票数 2
回答已采纳
1回答
我想这个函数从网站抓取链接： function filter ($url)
{
$content = file_get_contents($url);
$dom = new DOMDocument();
@$dom->loadHTML($content);
$outcomes = $dom->getElementsByTagName('a');
foreach ($outcomes as $outcome) {
$seeds = $outcome->getAttribute('href'
浏览 22提问于2021-09-07得票数 1
我从多个网站抓取了一些URL，并将它们放入一个包含145个元素的大列表中(每个抓取的网站对应一个元素)。每个元素在一个名为X[i]的列中有90-300行。接下来我想做的是在列表中的URL中搜索单词"agenda“，并使用这些URL下载文档，但我在执行此操作时遇到了问题。
到目前为止，我拥有的代码是：
## scrape urls
url_base <- "https://amsterdam.raadsinformatie.nl/sitemap/meetings/201%d"
map_df(7:8, function(i){
page <
浏览 0提问于2019-03-31得票数 3
我有两只蜘蛛。假设A和B。A抓取一堆urls并将其写入csv文件，B抓取这些urls中的内容，从A生成的csv文件中读取。但在A可以实际创建文件之前，它会从B抛出FileNotFound错误。我怎样才能让我的爬行器表现得让B一直等到A带着url返回呢？任何其他的解决方案都会很有帮助。 WriteToCsv.py文件 def write_to_csv(item):
with open('urls.csv', 'a', newline='') as csvfile:
fieldnames = ['url']
浏览 24提问于2020-01-16得票数 0
1回答
在Google工作表中创建空数据
、、、、
我正在创建一个使用python、BeautifulSoup、熊猫和Google的网络抓取程序。到目前为止，我已经设法从urls中抓取数据表，这是我从Google中的列表中得到的--我已经为每个数据集创建了数据帧。从我的urls列表中，列中的一些单元格是空的，当我试图将数据文件导入另一个工作表时，会出现以下错误：
MissingSchema:无效的URL ''：没有提供架构。也许你是说
我想要实现的是，对于每张带有urls的单元格，我想要创建一个空的数据，就像里面有数据一样。这有可能吗？
到目前为止，我的代码如下：
import gspread
from df2gspread
浏览 0提问于2020-11-06得票数 0
1回答
在社区的帮助下，我能够从网页上抓取一些信息。然而，我正面临一些困难，从网站的额外网页上抓取信息。
下面所示的代码能够获得以下信息：(“日期”、“类型”、“注册”、“操作员”、“胖”、“位置”、“猫”)。按年份划分的URL示例是
然而，我意识到，按年计算，每个URL中都有额外的页面，例如
想知道每年怎么刮额外的网页吗？
import pandas as pd
from bs4 import BeautifulSoup
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W
浏览 2提问于2019-09-23得票数 0
回答已采纳
我是，用以下代码抓取一系列的URL：
df1 = pd.DataFrame()
url = 'https://www.welcometothejungle.com/fr/jobs?
page=1&refinementList%5Bprofession_name.fr.Tech%5D%5B%5D=Data%20Science'
path = '/Users/jdkj/desktop/chromedriver 3'
options = webdriver.ChromeOptions()
driver = webdriver.Chrome((path), c
浏览 3提问于2021-10-26得票数 0
回答已采纳
我有一个简单漂亮的脚本，它定期从页面中抓取数据，并将其保存为json文件。然而，每次运行时，它都会遍历同一组urls中的许多，并抓取大量相同的数据，以及发布的任何新数据。如何避免重复？ 我已经尝试过对已经被抓取的urls进行酸洗，但不知道如何构建逻辑来阻止在抓取过程中不必要的重复。 for i in urlrange:
urlbase = 'https://www.example.com/press-releases/Pages/default.aspx?page='
targeturl = urlbase+str(i)
浏览 22提问于2019-02-01得票数 0
1回答
“你好，我对网络抓取很陌生。我最近检索了一个网络链接列表，在这些链接中有包含表格数据的URL。我正计划抓取数据，但似乎连URL都拿不到。任何形式的帮助都是非常感谢的。”
“are链接的列表是
“
“从链接列表中，我计划
a.获取这些链接中的URL
“
B.从每个URL中的表中获取数据(例如，事件日期、事件时间、类型、操作员、注册、msn、首次飞行、分类)
#Get the list of weblinks
import numpy as np
import pandas as pd
from bs4 import BeautifulSoup
浏览 18提问于2019-08-15得票数 1
我正在使用beautifulSoup抓取一些xml站点，然后将抓取的数据存储到一个数据帧中。XML的格式通常是一致的，所以抓取工作正常。但可能有15%的时间，数据不会保存到数据帧中，因为其中一个前缀略有不同。
例如，当抓取这三个URL时，第二个和第三个URL会毫无问题地存储到数据帧中，而第一个URL则不会。
from bs4 import BeautifulSoup
import requests
import pandas as pd
session = requests.Session()
# urls to loop through
form_urls = ['https:/
浏览 13提问于2020-05-10得票数 2
回答已采纳
from bs4 import BeautifulSoup
import grequests
import pandas as pd
# STEP 1: Create List of URLs from main archive page
def get_urls():
urls = []
for x in range(1,3):
urls.append(f'http://books.toscrape.com/catalogue/page-{x}.html')
print(f'Getting page url:
浏览 4提问于2021-09-30得票数 1
最后，我试图在R中从几个不同的URL中(在同一个父站点内)刮表。
首先，我想我必须从的“季后赛系列”中抓取单个游戏链接--该链接表的xpath为//*@id="all_all_playoffs“。
然后，我想从每一个单独的游戏链接中抓取表格(看起来如下：) --我想要的表格是每个队的“基本方块得分统计”。
(我打算重复几年，所以输入每个URL--就像我下面所做的那样-不是很有效)
到目前为止，我只能弄清楚如何一次从一个url (或一个游戏)中抓取表：
games <- c("201705190BOS","201705190BOS","201
浏览 1提问于2017-11-07得票数 0
回答已采纳
我已经通过多个帖子，并尝试他们，但我不能解决这个问题。我无法从'‘网站上找到5000页的表格。
我对页面中的n使用- urls = []：urls = url+n print(urls)
我有一个左右的5000+网页的网站，我需要从这些使用python的每个人提取表。在该表中，电子邮件是作为我能够抓取的链接提供的，但我无法将所有这些放入数据帧中，我也无法保存所有页面的数据。我使用的代码将最后一页重复了5000次。
url = 'https://www.adelaide.edu.au/directory/atoz?dsn=directory.phonebook;orderby=l
浏览 1提问于2019-02-13得票数 0
1回答
根据以下说明，我试图编写一个脚本：
将所有URL刮到站点地图索引中，并将信息存储到一个Excel文件中，为每个URL指定相应的状态代码。
我设法抓取了所有的URL并将它们存储到一个文件中，顺便说一句，我仍然在努力寻找获取状态代码的方法。
import requests
from bs4 import BeautifulSoup
url = 'https://www.example-domain.it/sitemap_index.xml'
page = requests.get(url)
print('Loaded page with: %s' % page)
浏览 0提问于2020-05-13得票数 0
回答已采纳
如果current_url已经在列表中，我会尝试跳过它，但会遇到一条错误消息。
我的目标是抓取一个页面，将该网页添加到文本文件中，然后当我重新开始抓取时，我希望将要抓取的网页与列表中的网页进行比较。当网页在中时，我想跳过它。
但是这个问题突然出现，它无法将current_url与列表进行比较:这段代码：
if cur_url in visited_urls:
完整代码：
打开文本文件
visited_urls = 'C:/webdrivers/visited_p_urls_test.txt' # This specific the location of the text fi
浏览 20提问于2018-07-16得票数 1
回答已采纳
1回答
熊猫只在CSV文件中写最后一行
、、、、
我正在从txt文件中抓取urls并将其导出到csv文件。但是，在所有的过程中，我的代码只写了最后一个url中的信息。我猜我忘了一个循环。但是在哪里呢？这是我的密码：
import requests
from bs4 import BeautifulSoup
import pandas as pd
from urllib import urlopen
file = open('urls.txt', 'r')
filelines = (line.strip() for line in file)
for code in filelines:
site =
浏览 1提问于2017-10-05得票数 0
回答已采纳
2回答
我正在学习，一个网络爬行框架。
默认情况下，它不会抓取重复的urls或scrapy已经抓取的urls。
如何让Scrapy抓取重复的urls或已经抓取的urls？
我试着在网上找，但找不到相关的帮助。
我从找到了DUPEFILTER_CLASS = RFPDupeFilter和SgmlLinkExtractor，但这个问题与我正在寻找的相反
浏览 1提问于2014-04-17得票数 25
回答已采纳
我正在尝试制作一个自定义的索引检查实用程序来检查哪些URL已经被Google使用Python和selenium进行了索引
我需要获得谷歌搜索结果，以便我可以检查查询的网址是否存在于结果中。我能够得到50到60个结果之前，谷歌验证码。
下面是我关心的代码
options = webdriver.FirefoxOptions()
options.set_headless()
driver = webdriver.Firefox(executable_path=r'./geckodriver', firefox_options=options)
urls = [line.stri
浏览 2提问于2021-04-10得票数 0
我有一个函数，它(1)从一个URL列表中抓取数据，每个URL都包含表数据。它使用BeautifulSoup抓取html文本，以收集包含列标题和表行的单独列表。然后，它(2)遍历表行list以创建列表列表。最后，(3)我将call函数放在一个for循环中，该循环遍历URL列表。
我遇到的问题是，我不知道如何将列标题插入到数据中，这样列标题就会出现在最终的数据帧中。我应该将列标题追加/插入到函数内的输出列表中吗？或者，有没有一种方法可以将其插入到数据帧中？(我不能在函数之后将列标题插入到数据帧中，因为column_headers变量是函数的局部变量，所以不能作为全局变量使用。
这是我到目前为止所掌
浏览 4提问于2017-08-25得票数 0
我试图从从文件中读取的列表中生成带有urls列的dataframe。这就是我想要做的：
one_df= pd.DataFrame()
with open(r"product_Url.txt", 'r') as infile:
l = [x.split(',') for x in infile]
for x in zip(*l):
df = pd.DataFrame(list(x), columns=['url'])
one_df = one_df.append(df, ignore_
浏览 2提问于2017-10-30得票数 1
回答已采纳
我试图从这个网站的第一页抓取到第14页：这是我的代码：
import requests as r
from bs4 import BeautifulSoup as soup
import pandas
#make a list of all web pages' urls
webpages=[]
for i in range(15):
root_url = 'https://cross-currents.berkeley.edu/archives?author=&title=&type=All&issue=All®ion=All
浏览 11提问于2018-08-29得票数 1
回答已采纳
我有一个代码，从oddsportal.com主页抓取所有网址。我想要指向父网址内所有页面的后续链接，例如，有更多的页面，即，等。我如何才能获得这些链接？
import requests
import bs4 as bs
import pandas as pd
url = 'https://www.oddsportal.com/results/#soccer'
headers = {
'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (
浏览 2提问于2021-07-01得票数 0
1回答
规则的正则表达式
、、
我想用格式：http://www.vesselfinder.com/vessels?page=i从页面中抓取数据，其中i从0到某个整数。
以下正则表达式对此模式是正确的：
start_urls = [
"http://www.vesselfinder.com/vessels"
]
rules = (
Rule(LinkExtractor(allow=r"com/vessels\?page=[1-100]"),
callback='parse_item', follow=True),
)
浏览 3提问于2015-06-05得票数 1
回答已采纳
2回答
从多个页面中抓取天气数据
、、、
我是python的新手
我想从网站"“上抓取天气数据，我必须抓取从2009-01-01到2018-10-28每一天的天气数据的所有可用属性，我必须将抓取的数据表示为pandas dataframe对象。
下面是特定于Dataframe的详细信息
Expected column names (order dose not matter):
['Average temperature (°F)', 'Average humidity (%)',
'Average dewpoint (°F)', 'Average baromete
浏览 9提问于2019-11-27得票数 0
堆栈溢出的第一篇文章。我会尽我最大的努力使格式正确。
我正在开发一个很小的python脚本，我对它几乎没有经验，它可以从图像subreddits中抓取图像。目前，我可以从r/pics中提取html页面，但是我在解析图像urls时遇到了困难，特别是来自imgur的urls。我想做的是过滤掉表单的urls
*******.png
变成一个元组，但我不知道该怎么做。
我目前的尝试如下：
from subprocess import call
picture_url_list = []
return_code = call("wget -O redithtml www.
浏览 2提问于2014-05-13得票数 0
回答已采纳
2回答
我有一个1列的dataframe，在它唯一的列中有一系列的URL(也可以是一个向量)。出于本例的考虑，我们将保持每个URL相同： urls<-as.data.frame(c("https://en.wikipedia.org/wiki/List_of_counties_in_California", "https://en.wikipedia.org/wiki/List_of_counties_in_California","https://en.wikipedia.org/wiki/List_of_counties_in_California&
浏览 12提问于2019-02-06得票数 0
回答已采纳
我正在学习使用Selenium的Python。在这个学习中，我试图打开Google Finance，并用数据抓取季度财务表。最终，我的目标是从表列中读取报价器，并从季度金融表中抓取数据。 在测试过程中，我发现捕获所有行对我来说并不是什么挑战。你能看一下代码，让我知道我哪里做错了吗？ 另外，如果有人可以帮助我，我如何在这里使用Xpath而不是CSS定位器，这将是非常有帮助的。 from selenium import webdriver
from selenium.webdriver.common.by import By
import pandas as pd
import time
pa
浏览 27提问于2019-12-09得票数 0
我的代码可以从url列表中提取链接(并将它们与从中提取的url配对)，但我想将其更改为只抓取那些不包含target="_blank“的页面上的链接
from bs4 import BeautifulSoup
from selenium import webdriver
import pandas as pd
list_urls = ["https://example.com/1/","https://example.com/2/","https://example.com/3/"]
pagelinks = []
for url in
浏览 0提问于2020-08-01得票数 0
需要一些帮助附加几个网络抓取结果到熊猫df。 目前，我只能从其中一个URL获取到DF的输出。 我遗漏了网址，如果你需要它们，我会提供给你。 ##libs
import bs4
import requests
import re
from time import sleep
import pandas as pd
from bs4 import BeautifulSoup as bs
##webscraping targets
URLs = ["URL1","URL2","URL3"]
## Get columns
column_l
浏览 15提问于2020-12-28得票数 0
回答已采纳
1回答
我可以在代码的末尾添加什么，以便将项目列表作为第1列附加到dataframe，以及由此产生的从for循环到第2列的网络抓取数据，并将第1列的列表项中的每一项匹配到网络抓取数据？我在试着-
col1 col2
url1 A Details
url2 B Details
我的密码是，
urls = ['url1','url2']
from bs4 import BeautifulSoup
import requests
from time import sleep
from random import randint
for link in u
浏览 5提问于2022-06-01得票数 0
回答已采纳
1回答
用熊猫一列一列地分割值
、、、、
我正在尝试用熊猫从python的html表中抓取数据。这些表都在urls上，所以我创建了一个列表
每个表在特定列上的某些单元格上有两个值。我设法读取所有的数据，打印它们并将它们保存在csv文件中。我就是这样做的。到目前为止我的代码是
# -*- coding: utf-8 -*-
import pandas as pd
urls = ["https://url?date=2020-12-31", "https://url?date=2020-12-30", "https://url?date=2020-12-29"]
df = pd.DataF
浏览 5提问于2021-01-24得票数 0
1回答
我正在尝试获取要在SitemapSpider中抓取的urls数量。我试图重写start_requests方法，但它输出0。我有一个包含数以千计的urls的sitemap_url。我想要计算这些urls的数量。
这就是我尝试过的，但我想来自sitemap的Urls不在start_urls中。
class MainSpider(SitemapSpider):
name = 'main_spider'
allowed_domains = ['...']
sitemap_urls = ['http://.../sitemap.xml
浏览 0提问于2017-10-22得票数 0
1回答
我希望从dataframe列中的urls中提取 B0153R2A9I。例如“”
我在一个编辑组里找到了这个代码-
import re
search = re.search(r'B[A-Z0-9]{9}', url)
print(search.group(0))
虽然这似乎适用于一个链接，但当我试图将它应用于这样的列时-
import re
df['code'] = re.search(r'B[A-Z0-9]{9}', "", df['pro_link'])
df‘’pro_link‘列拥有所有链接。df‘’code
浏览 1提问于2021-07-18得票数 2
回答已采纳
我正在尝试编写一个线程化的Python脚本，它将遍历urls列表，并在单独的线程中打开每个urls。
from BeautifulSoup import BeautifulSoup
from threading import Thread
import mechanize
tickers = ["aapl", "siri", "goog", "intc"]
nextTicker = 0
def quotes(i):
br = mechanize.Browser()
br.addheaders = [('
浏览 10提问于2011-02-01得票数 0
回答已采纳
3回答
我有一个主页，上面有一些链接和邮件ids，我需要停止从该网页中抓取我的urls和邮件ids…我用过robots.txt，但大多数糟糕的爬虫都不会注意到这一点。
浏览 3提问于2010-09-03得票数 1
2回答
我怎么能拒绝使用刮取规则来抓取网站的某些部分。
我希望Scrapy能够抓取mathcing www.example.com/help/nl/ en的链接，拒绝所有匹配www.example.com/help/en/和www.example.com/网站的链接。
我有以下代码：
class MySpider(CrawlSpider):
name = 'myspider'
allowed_domains = ['example.com', ]
start_urls = ['https://www.example.com/help/nl
浏览 0提问于2013-03-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
