1回答
感谢你花时间阅读这篇文章，我想知道有什么方法可以从不同的链接中获得特定的代码，但它们都属于同一个域，我的意思是，如果我把许多facebook页面链接放在一个文本文件中，每个链接都在不同的行中
浏览 15提问于2019-02-03得票数 0
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的
本网站通过Ajax调用动态加载同一页面中的下一页数据。所以在抓取的时候，我只能抓取</
浏览 0提问于2013-05-28得票数 0
vid=2548877464001&plyrid=2399849255001&Height=270&Width=480<object id="flashObjP1_Prod_Version=ShockwaveFlash"></embed></object>[blocked]它在Safari和FireF
浏览 2提问于2013-08-12得票数 2
回答已采纳
2回答
我要写网站爬虫，从根地址开始，然后抓取每个找到的链接(只有内部链接)。所以我面临这个问题:爬虫必须从根开始，然后它应该解析网页(根页面)，然后获取所有链接。在获取链接时，它不应该对同一页面爬行两次。伙计们，有没有好的数据结构，或者我需要使用SQL或其他索引数据结构吗？
浏览 0提问于2012-05-08得票数 1
回答已采纳
2回答
所以我想从这个url加载所有格式化的数据：
转换成r，这样我就可以过滤掉其中的一些。一旦我得到它，我知道如何正确地过滤它，但我不能将它“注入”到R中。如果url以".txt“或".csv”结尾，我已经看到了许多拉取数据的方法，但是如果这个url不是以文件类型结尾，那么我知道如何获取它的唯一方法就是拉出html，但是我得到...所有的html。有几种选择可以将文件下载为.csv并以这种方式注入它，但如果我做得足够好，我觉得我应该知道如何直接从<
浏览 3提问于2016-04-07得票数 0
这个chrome扩展将总是从同一个网站抓取数据。 经过在线培训后，我知道我必须将抓取逻辑放在内容脚本中。现在，由于要抓取的网站包含许多页面和链接，我正在尝试以一种扩展用户看不到主窗口打开不同链接的方式进行抓取。您将在下面找到内容脚本的起始点 chrome.runtime.onMessage.addListener(functio
浏览 14提问于2019-08-27得票数 0
当你从一个网站上获取一个链接，然后在你的facebook状态下发布它时，它似乎是从该页面抓取了元数据。我看到的是，如果网页有一个规范的链接到另一个网站，它似乎从另一个网站抓取元数据，有没有什么办法迫使facebook从你在facebook feed上发布的链接中读取元
浏览 9提问于2012-08-14得票数 0
回答已采纳
我从peoplefinders.com上抓取数据，这是一个无法从我的国家访问的网站，所以我基本上是在使用一个虚拟专用网络客户端。我用会话帖子登录这个网站，通过同一会话，我从同一网站的不同页面获得项目。问题是，我在一个带有get请求的for循环中进行了抓取，但由于某些原因，我在几次迭代后收到了响应400错误。错误发生在平均
浏览 1提问于2017-02-07得票数 1
1回答
我有一个片段，可以在URL中成功地抓取图像，问题是，我想从不同的网站收集大量的图像，而且我不能每次都手动放置URL。URL = 'http://www.sitasde.com'
require 'nokogir
浏览 3提问于2014-10-03得票数 0
回答已采纳
当我为了学习的目的而试图解析时。当我运行代码时，它只解析一个页面，我的意思是，主页。from bs4 import BeautifulSoupfrom urllib.request import urlopen
import pandas as pddf.to
浏览 1提问于2018-11-08得票数 1
1回答
从相同的域抓取html/链接
、、、、
我试图绕过一个网站(用户脚本，以改善一些网络应用程序的用户界面)，我需要从一个网址抓取链接。该网站有一个登录和密码系统，以获得实际的网站，我想开始抓住链接，一旦我到了主网站。基本上在登录后的主网站上，有几个链接转到同一个域上的不同页面(例如，www.somedomain.com/ page ?=1)，在每个页面中，都有
浏览 0提问于2011-03-22得票数 1
回答已采纳
我想在其中爬行一些网站，并将其索引和信息存储在Hadoop中。然后使用Solr搜索就可以了。但我面临着很多问题。如果在google上搜索，那么不同的人会给出不同的建议和不同的配置方式来设置基于hadoop的搜索引擎。以下是我的一些问题：2) Solr有什么用？如果NUTCH完成了抓取，并将抓取<e
浏览 2提问于2012-09-06得票数 3
1回答
我是蟒蛇和网络抓取的新手。测试索引有用于各种临床测试的测试组件的名称列表。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。
最后，将包含测试组件名称的数据框架放在一列中<
浏览 1提问于2018-01-19得票数 0
2回答
我需要开发一个抓取工具，从整个网络上抓取产品的数据(价格，标题等)。现在，我确实有抓取的经验，但这是一个单一的网站。我不知道如何抓取整个网络。一种可能的解决方案是查询google，然后从google中出现的链接中抓取每个网站。这是一种好的方法吗？我只需要一个通用的</
浏览 0提问于2012-04-14得票数 1
回答已采纳
链接是：出于某种原因，我可以阅读R中的页面的唯一方法是使用
url = "http://
浏览 6提问于2021-05-11得票数 0
任何一个点我正确的文档或黑客停止nutch重新索引或获取相同的内容。对于给定的url，我只想抓取一次。
浏览 2提问于2014-08-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
