我正在尝试编写一个程序，它从excel电子表格中提取属性ID，根据这些ID导航到一个网页，在那里它“网络抓取”相关的属性值，并将它们重新导入到同一个电子表格中。我提前道歉，我是一个非常新手的python (或任何语言的tbh)程序员。(目前)是我的request.get被从目标站点重定向。有趣的是，如果我按照程序运行后打印出来的链接，我会被重定向
浏览 3提问于2017-07-27得票数 0
1回答
当我在做web抓取的时候，我遇到了一个问题，当我在一个特定站点的一系列网页上浏览时，它们的URLs是
http://www.somewebsites.com/abc.php?因为有些页面可能偶尔会下降，而服务器可能会通过重定向到另一个页面来处理它，比如主页。这样，我的刮取程序将遇到与语法结构变化有关的各种异常(因为它是一个不同的页面)。我想知道是否有办
浏览 2提问于2012-10-15得票数 1
我是一个网络抓取的新手。我正在尝试从获取FASTA文件，但不知何故无法获取。这个类中的FASTA文件，但当我运行这段代码时，我只能看到FASTA标题：
url = "https://www.ncbi.nlm.nih.gov/nuccore/193211599?
浏览 0提问于2017-05-09得票数 0
我现在的主页是example.com.sg。
我可以使用Cpanel文件管理器将example.com.sg重定向到example.com.sg/test吗？
浏览 6提问于2020-12-19得票数 1
回答已采纳
我正在使用来获取一些抓取的URL的网页。这些URL中的许多实际上重定向到不同的URL(例如，因为它们已经被URL缩短器处理过)。除了下载内容之外，我还想解析最终的URL (即提供下载内容的URL)，或者更好地解析重定向链中的所有URL。
我一直在看API文档，但没有任何线索，我可以挂在哪里。任何提示都将不胜感激。
浏览 1提问于2012-06-24得票数 0
回答已采纳
我正在将我的电子商务商店迁移到一个新的平台/服务器。该网站是用asp.net制作的，很多产品列表都有不同的URL(取决于您如何到达该产品)。是否应该将所有这些URL重定向到新的URL？我应该重定向内部搜索结果页面吗？这些是在Google...do中索
浏览 0提问于2019-05-14得票数 1
sky.lea.moe/stats/PapaGordsmack/", headers=headers)print(html_contents)
我试图从特定用户的sky.lea.moe网站上抓取网页，但当我请求并打印html时，它与浏览器中显示的不同(在chrome上，查看页面源代码)。我得到的一个是：分析这一个，它是关于检查浏览器和重定向<
浏览 20提问于2020-02-09得票数 0
我用的是nutch和scrapy。它们需要种子URL才能爬行。这意味着，人们应该已经意识到包含正在搜索的文本的网站/网页。有没有一种方法可以抓取给定文本的
浏览 0提问于2016-01-20得票数 0
我正在尝试将旧域名的所有页面重定向到新域。新的域名有一个不同的结构，所以我想每个网页下的旧域名被重定向到新的域名索引页。如果可能，只有网页应该重定向，而不是图像。
浏览 2提问于2014-03-27得票数 0
1回答
搜索引擎是否会抓取具有“noindex”元属性的页面？我之所以问这个问题，是因为我们有一些由分面导航引起的几乎重复的内容，而过滤过的页面已经声明了“noindex”，我想知道这些页面是否还会被检测为复制的呢？当我们使这些页面唯一的时候，我是否必须在链接中添加一个‘no追随者’属性？
浏览 0提问于2016-11-03得票数 7
回答已采纳
1回答
ref=share&ref_source=linkhttp://www.bbc.com/news/av/magazine-39490507/how-princess-diana-changed-attitudes-to-aids
浏览 0提问于2017-09-01得票数 1
我在我的本地主机上没有收到这个错误，只有当我上传到我的服务器时，这个错误才会出现在我的一个页面上。你知道我需要改变什么吗？
浏览 3提问于2012-05-11得票数 10
回答已采纳
例如,服务器A是与网页相关联的服务器，我对它进行了编码并对其进行了控制(用Java编码)客户端向服务器A发送Javascript AJAX请求，服务器A以OK响应。代码继续，然后代码将页面重定向到</em
浏览 2提问于2017-09-16得票数 0
我需要所有的子域被重定向到一个特定的页面，而不是实际更改的网址，因为我会在这个特定的网页上显示不同的内容取决于什么子域在URL中。假设我的站点位于testdomain.com/site1/
我希望所有的子域，如xyz.testdomain.com/site1/甚至xyz.testdomain.com被重定向到的</e
浏览 0提问于2013-03-21得票数 0
搜索引擎喜欢抓取和索引网页或URL，但如果您的网页/URL具有过期内容，而您不希望它们在这么多天后被索引，该怎么办？您是否可以在URL中设置一个过期时间，并让mod_rewrite 301在给定的过期日期之后重定向页面？
或者可能是一个cron作业，向所有过期页面添加301重定向头？
浏览 2提问于2010-04-30得票数 2
谷歌是否有可能逐级抓取网站，当其深入到链接的深度时，更新更高级别的页面，删除一些链接，然后为这些链接返回404(这些链接以前已经在更高的级别上链接)？
有可能消除这些错误吗？
浏览 0提问于2016-09-14得票数 0
回答已采纳
我是一个初学者在Python3.6中使用BeautifulSoup来执行“网络抓取”。一旦我运行了一个request.get()并对输出进行了细化，我注意到网页没有返回这些值，它似乎在存储与该值相关的代码。我正在试着抽出运动员在网球中使用的手。以下图片突出显示黄色:我试图获得的图片：
如果问题的大纲令人困惑(或非标准的)反馈，我将非常感激，这样的
浏览 6提问于2017-05-23得票数 1
回答已采纳
我想要建立一个网页抓取程序，接受用户的输入，并输入到一个网站的搜索栏。然后，我想重定向到该词的搜索结果的网页，并刮去该页面的HTML。
最适合这样做的Python模块是什么？非常感谢您的一些建议和学习资源，谢谢。
浏览 3提问于2021-06-19得票数 1
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
