2回答
可以读取动态生成的HTML Web 2.0源代码吗？Perl LWP及其agent->响应不会拾取任何动态生成的HTML代码。我们是不是到了一个时代的尽头了？
浏览 1提问于2010-06-04得票数 0
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
30k+文件在网页目录中，Google索引域的
浏览 4提问于2013-12-10得票数 4
1回答
我是python的新用户，我想从这个网站上抓取数据：https://www.telerad.be/Html5Viewer/index.html?viewer=telerad_fr 我的问题是数据是动态生成的。我读到了一些需要修复的可能性，但没有一个是令人满意的。对于selenium，我需要一个名称或Xpath来单击按钮，但这里什么都没有。
浏览 7提问于2019-05-07得票数 0
回答已采纳
1回答
不久前我偶然发现了pyexecjs，我想知道它是否可以与scrapy一起用于抓取JS生成的数据。
我检查了应该如何使用该库的示例，但我不确定如何将其与scrapy集成。
浏览 4提问于2014-10-12得票数 0
基本上，页面会生成一些动态内容，我希望获得这些动态内容，而不仅仅是静态的html。我不能用cURL做到这一点。请帮帮忙。
浏览 2提问于2013-06-13得票数 1
回答已采纳
有一个网页是用JS：生成的默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
1回答
我使用的是importhtml，但我相信我使用的网站已经更新为XML。我喜欢把它组织成电子表格的简单性，而不是去网站，这也有助于我比较赔率。更具体地说，我需要(通过每场比赛)球队名称，现场得分/结果，当前线和收入线。任何帮助都是非常感谢的。提前谢谢。
网址：
浏览 24提问于2019-11-09得票数 0
我正在与世界银行合作一个项目，分析他们的采购流程。
世界银行为他们的每个项目维护网站，其中包含相关合同的链接和数据()。在采购页签下提供了合同相关数据。我希望能够从该站点提取项目的合同信息，但链接和相关数据是使用嵌入式Javascript生成的，并且显示合同授予和其他数据的页面的URL似乎不遵循可识别的架构()。有没有办法通过R抓取第一个示例中的浏览器渲染数据？
浏览 0提问于2013-03-11得票数 0
回答已采纳
2回答
我试图使用BeautifulSoup和requests库从一个以超文本标记语言表示的表中抓取数据，但我无法获得所有的超文本标记语言代码。
浏览 4提问于2020-10-16得票数 0
2回答
我从D3js示例中创建了一个简单的区域图。现在，我希望将区域图的完整代码导出到xml中，以便任何最终用户都可以手动更改xml数据，然后保存并使用它。有什么方法可以实现吗。
浏览 0提问于2014-09-17得票数 1
回答已采纳
我们公司在做了一次测试后决定不使用webpack，但我们仍然在浏览器中看到以下屏幕截图，那里的捆绑文件仍然导致问题。我在文件系统上的任何地方都看不到它们有人知道它是如何或在哪里生成的吗？
浏览 0提问于2018-06-14得票数 1
我正在从一个网站上抓取数据，该网站正在以一定的时间间隔生成数据。根据我当前的代码，一旦浏览器抓取了数据并关闭了驱动程序连接，我就会关闭它。是否可以在不关闭浏览器窗口的情况下进行抓取，并在抓取完成后关闭驱动程序对象(我的意思是，网站每15分钟生成一次新数据，我希望我的驱动程序从初始窗口抓取数据，
浏览 0提问于2018-09-17得票数 0
1回答
我正在尝试抓取一个页面，我有所有的代码集，只是我被“加载更多”按钮卡住了。这个页面很简单，它有一些项目，但只有几个。在web浏览器上要查看其余项目，您可以单击具有onClick事件的html按钮，当它被按下时，更多的项目被加载，依此类推，直到它们都出现在页面上，然后它就消失了。我该如何将其余的项加载到该变量中？我应该采取一种不同的方法吗？
浏览 0提问于2021-01-08得票数 0
我的应用是以类似于Facebook的方式构建的，因为它使用了一种形式的pagelets，它是异步生成的，然后被发送到页面并通过javascipt注入。我对SEO的小小理解让我相信，标签是极其重要的，它不仅定义了谷歌在搜索结果中显示的标题，而且还将在定义你的排名中发挥巨大的作用。因此，我的问题是：谢谢
浏览 0提问于2012-09-20得票数 0
回答已采纳
1回答
我有一个抓取蜘蛛项目，它报废了一些网站，并获取我的数据上。我的爬行器生成两个JSON文件，所有抓取的数据都存储在这两个文件中。现在，我有一个flask web服务，它使用上述两个JSON文件来满足用户的请求。我想自动
浏览 1提问于2014-04-24得票数 2
我在某处读到BS只解析HTML内容，而不解析JS部分。我该怎么做呢？要快速遍历，请查找我想要抓取的ModuleId 372309。谢谢！！ <script type="text/javascript" src="//www.walmart.com/c/midas/hl.js"></script"
浏览 2提问于2014-04-13得票数 0
1回答
我正在使用Chrome扩展从一个网站抓取数据。网站上有一个“加载更多”的div，它在点击时加载接下来的30条记录。我使用下面的代码单击并加载数据：setTimeout(function(){ activityTab.click();它加载接下来的30个记录，并
浏览 6提问于2020-06-07得票数 7
document.createElement('script');我不确定这个al.js是做什么的。附加到fb-root元素的结果。
这个异步函数是做什么的?为什么它被称为“刮板”？
浏览 0提问于2012-09-08得票数 0
回答已采纳
我试图从一个拍卖网站的汽车列表中刮下欧罗诺姆和CO2。到目前为止，我已经成功地导航到正确的拍卖网页，并使用Selenium下载了该网页。我需要的信息是以下脚本中所有汽车的{{CO2Emission}}和{{EmissionClass}}：谢谢!
浏览 0提问于2020-08-05得票数 0
我正在尝试从最新的日期(这是表的第一行)从页面中抓取data链接。表的内容似乎是由JavaScript函数生成的。doc = Nokogiri::HTML(open(url))
js</em
浏览 2提问于2013-10-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
