2回答
我目前正在使用这段代码来从TrustPilot网站上获取评论。我希望调整代码以从()中抓取评论。然而，与大多数其他评论网站不同的是，评论并没有被分成多个子页面，而是在页面的末尾有一个按钮来“查看更多评论”，每当你按下它时，它就会显示3条额外的评论。有没有可能调整代码，使其能够在具有这种web结构的网站内从该特定产品中抓取所有评论
浏览 15提问于2020-03-07得票数 0
回答已采纳
这是与我的问题最接近的问题，但它并没有得到很好的回答：
你每秒应该做多少个请求来抓取？对此有什么标准吗？当然，所有的大型搜索引擎在这方面都有一些他们所遵循的准则。
浏览 0提问于2010-05-30得票数 10
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？
浏览 1提问于2013-06-14得票数 4
1回答
Web抓取动态页面-调整代码
、、、、
帮助我构建了这个代码，用于从这个动态加载评论的页面中抓取评论。然后我试着调整它，使其不仅抓取评论正文，还抓取评论者的姓名、日期和评分，并让代码将提取的数据保存到excel文件中。但我没有做到这一点。有没有人能帮我正确调整代码？这是来自的代码from bs4 import BeautifulSoup
de
浏览 20提问于2020-03-09得票数 0
回答已采纳
当我为了学习的目的而试图解析时。当我运行代码时，它只解析一个页面，我的意思是，主页。from bs4 import BeautifulSoupfrom urllib.request import urlopen
import pandas as pd
df = pd.Data
浏览 1提问于2018-11-08得票数 1
2回答
我是个刮东西的新手。我写了一个 刮板 它将擦伤 Maplin 商店。我使用Python语言和BeautifulSoup来抓取存储。我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。所以，我写的刮板不适用于其他eCommerce商店。 我想知道比价<
浏览 40提问于2014-12-28得票数 7
回答已采纳
我正在写一个iphone应用程序，我需要在50+网站上搜索数据。有什么建议吗？
谢谢罗翰
浏览 0提问于2012-06-07得票数 1
回答已采纳
2回答
我试图做隐藏在页面源代码的实际内容。例如，如果用户通过浏览器访问第一个或第二个etc页面，用户可以看到不同的信息，但当用户访问第二个页面并单击鼠标右键转到页面来源时，用户只能看到第一个页面信息。我有很多这样做的网站。我想知道怎么做。我想避免人们刮我的网站。我希望在响应中避免实际的数据或信息。我的问题是，有可能做到这一点吗？如果有可能怎么办？请告诉我我是新来的网域。
浏览 0提问于2012-06-09得票数 0
回答已采纳
1回答
爬虫包:不爬行某些网站
、、、
我用Rcrawler来抓取一个urls向量。对他们中的大多数人来说，这是很好的工作，但现在和他们中的每一个都不会被爬行。一开始，我只在https:// sites上注意到了这一点，它的地址是。但是我使用的是0.1.7版本，它应该具有https:// capability。
我还发现也有同样的问题，但也有http://链接。我查了一下我的情况，他的网站也不适合
浏览 3提问于2018-04-20得票数 4
回答已采纳
1回答
我是蟒蛇和网络抓取的新手。测试索引有用于各种临床测试的测试组件的名称列表。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。
最后，将包含测试组件名称的数据框架放在一列中，将常见问题中的每个问题作为
浏览 1提问于2018-01-19得票数 0
在我们的解决方案中，我们有几个网站，而不是web应用程序项目，以及一堆C#项目。这些网站引用了其他C#项目。在Visual Studio中构建isproj时，一切都很好。但是，当在命令行构建解决方案时，在同一台开发机器上，使用独立构建，isproj将在两个网站上抛出以下错误：
C:\Program Files (x86)\MSBuild\InstallShield\2012Spring
浏览 6提问于2012-10-25得票数 0
我目前正在抓取一个网站，以便能够在本地对数据进行排序，然而，当我这样做时，代码似乎不完整，我觉得在我滚动网站以添加更多内容时，可能会发生变化。这会发生吗？如果是这样的话，我如何确保我能够抓取整个网站进行处理呢？
我目前只知道一些python和html用于web抓取，正在寻找其他可能影响这个问题的元素(javascript或ReactJS等)。我希望在抓取网站时得到50个名字
浏览 0提问于2019-01-02得票数 0
我试图在javascript中做一些简单的get抓取，从美味或美味的站点获取html代码来存储菜谱。一个例子是这个站点：，但是，当我使用fetch时，我无法使它工作。实际上，我用python编写了等效的代码，希望能够将这些代码转换为javascript。，我能够让javascript代码工作。/users/maecapozzi')
.then(res => console.log('response:
浏览 1提问于2019-05-31得票数 0
回答已采纳
在一个实时网站上，假设有一个页面已经过时了，旧的信息。
就把它删除可以吗？或者，我是否必须设置Apache重定向，或者为web爬虫做404或其他特殊的操作？
浏览 0提问于2013-08-21得票数 0
回答已采纳
1回答
所以基本上我正在做一个涉及网络抓取的学校项目。我知道如何使用python和整合web抓取，但是如何将抓取的数据放到网站上呢？如果它有帮助，我正在制作一个网站，从其他网站拉动价格，并在我的展示它。(像Trivago)我在网上找不到太多，所以任何帮助都是很好的。
浏览 11提问于2018-01-31得票数 1
回答已采纳
2回答
首先，我想获得我twitter账户的所有追随者。我做了一点研究，发现我们可以用Ruby on rails做web抓取，使用: Nokogiri或Mechanize gem。我还得到了一个css选择器，用于web抓取。现在，如果我查找HTML页面源代码，它不会显示该帐户的所有追随者。我真的可以使用web抓取代码来获取我所有的twitter追随者，还是应该使用Twitter API？
浏览 2提问于2012-11-08得票数 0
回答已采纳
HTML Agility Pack在这个问题上会有帮助吗，或者其他任何工具对这个问题或任何其他方式都有帮助？
浏览 3提问于2009-12-09得票数 0
2回答
我已经找过了，但我没有找到解决问题的办法。这些天来，我在用BeautifulSoup进行web抓取。所以我在使用它的时候遇到了一个问题。为了快速运行，我尝试运行我的代码不止一个，但当运行与3个以上的程序，同一时间，网页阻止了我一段时间(我分别运行不同的脚本)。正因为如此，有什么技术可以找出网站对同一个IP或用户的请求限制吗？如果与此无关，我如何才能找到实现网站的最佳请求限制？提前谢
浏览 11提问于2022-08-16得票数 0
我还没有找到我要找的东西。也许它叫别的什么..我有下面的代码，它将抓取第一个文件夹中的所有内容，但不会从其他文件夹中抓取其他项目。例如，它会抓取第一个/前面的所有内容，但如果你有一个站点mysite.com/ folder2 /，它就不会抓取folder2。一切都是联系在一起的。它也会向后移动。如果你把最长的链接放在网站的前面就会一直
浏览 0提问于2013-02-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
