我试图抓取一个多页的网站，分页是用javascript完成的。该网页如下：我正在尝试用R进行抓取，但我对其他编程语言或程序(在Chrome、Python、Puppeteer、Phantomjs
浏览 1提问于2020-06-04得票数 0
1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
1回答
Node中的图标编码转换
、、、
我在Node.js中使用图标将抓取的超文本标记语言(通过使用binary编码的请求)从SHIFT_JIS转换为UTF-8我得到的转换结果如下：é«SnÌ\r\núêXj[J[ÍAVvÉÈ調ȫ³É\r</e
浏览 1提问于2017-07-11得票数 0
回答已采纳
2回答
我将一个完整的超文本标记语言页面附加到一个div (抓取)。如何阻止它请求script和css文件？我尝试立即删除这些节点，但它们仍然被请求。
这是一个浏览器插件，我正在抓取JS
浏览 0提问于2015-01-06得票数 0
有一个网页是用JS：生成的默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
有没有办法告诉google机器人，为了获得更多的语言，它需要有一个cookie集？
例如，在中，用户可以单击页面底部以更改语言。实际上，按钮通过js将设置cookie并重新加载页面。有没有办法(无需修改url或为语言添加url参数)通知google bot抓取所有提供的语言？
浏览 0提问于2016-06-03得票数 1
1回答
我正在尝试解析以HTML格式编码的数据。我尝试解析的字符串的示例如下：我想获取<img之前的文本和alt=中的文本Simplify the polynomial by combining like terms. 3x+12-11x+14
我
浏览 1提问于2014-06-29得票数 0
我们有一个多子域名的网站，其中有特定的子域的语言翻译的内容。通过cookie记住用户的语言首选项。
现在，当我点击+1按钮，并尝试在google+上分享页面时，我看不到翻译后的描述。我一直在猜测的是，谷歌正在试图调用我试图分享的URL并抓取它，而不是抓取我点击+1按钮的那个页面。让google检测我想要分享的页面上的语言设置的最好方法是什么？
浏览 0提问于2012-03-07得票数 2
回答已采纳
1回答
fmt.Println("item is already crawled") })
我在文档“自动cookie和会话处理”中看到了，所以问题可能是js首先，可以尝试如何在colly中启用js？
浏览 5提问于2020-10-04得票数 1
我是新的网络抓取，并试图抓取所有内容的餐厅的详细信息形式，以便我可以继续我的进一步抓取。requestsimport urllib
r=requests.get(url)print(soup.fi
浏览 5提问于2016-09-21得票数 0
555fef9a6cb31151-01/3JN.1" from bs4 import BeautifulSoup
r= s.get(link) print(soup.prettify())
但是我看不到网页的内容。
浏览 1提问于2020-02-05得票数 0
2回答
我是R的新手，我正在尝试从一个包含图书列表的网站上抓取数据。我已经设法从网站上抓取了20个书名，现在我想找出这个网站上书名的平均词长(所有词长的平均值)。但是，我不确定如何使用R编程语言来做到这一点。
浏览 30提问于2021-03-30得票数 1
回答已采纳
1回答
无法从URL抓取特定数据
、、、
问题是，当我得到抓取的超文本标记语言时，所需的DIV不在抓取的HTML中。我想知道它是如何到来的，它是如何产生的。
下面是我尝试过的代码。
浏览 0提问于2015-08-23得票数 0
5回答
屏幕抓取效率
、、
我们将每晚抓取数千个网站来更新客户数据，我们正在决定使用哪种语言来进行抓取。
我们不受任何平台或语言的限制，我只是在寻找效率。如果我必须学习一门新的语言来让我的服务器表现良好，那也没问题。哪种语言/平台将为我们提供每美元最高的抓取效率？真的，我正在寻找高容量抓取的真实体验。这将是关于最大化CPU/内存/带宽。
浏览 0提问于2011-05-06得票数 3
回答已采纳
我正在使用django-allauth 0.17.0和Django 1.5.6，我有一个关于多语言设置的问题。我将只使用两种语言，英语和汉语。是不是有人把它用来做这样的设置？我计划在urls中使用如下内容：(r'^(?P\w{2})/accounts/'，include('allauth.urls'))，谢谢!
浏览 0提问于2015-08-31得票数 1
1回答
Google market有多种语言版本，没有特定的url标记。那么，我如何才能用我需要的语言而不是随机的语言来抓取特定的版本呢？环境节点--版本: 5.9.0重现步骤预期行为实际行为
它抓取随机语言(瑞典语，西班牙语，葡萄牙语-所有这些当我从相同的VPS运行x射线)
浏览 1提问于2016-08-21得票数 0
Pattern = "\d{1,2}/\d{1,2}/\d{4}"End With
Next
ReDim results(1 To rows.Length, 1 To UBound(headers) + 1)
html2.body.innerHTML = rows.It
浏览 21提问于2020-12-28得票数 0
3回答
假设我们有一个需要web抓取的项目。(解析字符串(< 40)和抓取网页(获取元数据等等)我知道perl有非常好的适合这项工作的cpan模块，所以我可以采用这种方式，不用太麻烦自己。
浏览 0提问于2011-04-04得票数 4
回答已采纳
1回答
我正在寻找一个逻辑，在那里，我可以调整动力学形状。我得到了调整图像大小的例子，但是如果我将相同的逻辑应用于自定义形状，在我的例子中，是旋转计。调整形状的大小在某种程度上是可行的，但不完全。有人能帮上忙吗。
浏览 2提问于2013-09-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
