如何用python从angular JS抓取内容渲染的网站

文章/答案/技术大牛

发布

2回答

python、angularjs、selenium、beautifulsoup

enter image description here我想从网站：https://www.fireant.vn/App#/company-data/ACB上抓取内容。据我所知，tablea的内容我想从Angularjs中动态抓取渲染数据。它们使用ng-repeat将所有值(如时间、体积、价格)传递到表中。 </tr><!: '-Date' -->&

浏览 33提问于2020-01-20得票数 0

1回答

基于js的Google索引网站

javascript、angularjs、indexing、google-crawlers

我在AngularJS上有一个网站，在NodeJs上有后台。我知道google可以抓取和索引基于js的网站，所以我在网站管理员的googles抓取和渲染工具上输入了一个url。在抓取工具上，谷歌显示的是页面源代码，而不是html，而是在呈现端，它向访问者显示了网站的完整渲染版本。我发现这个url有索引，但有意想不到

浏览 0提问于2015-12-14得票数 0

5回答

使用python抓取javascript生成的html

javascript、python、browser、screen-scraping

我需要用python抓取一个网站。我使用urlib模块获得了源代码html，但我还需要收集一些由javascript函数(包含在html源代码中)生成的html代码。这个函数在网站中的作用是，当你按下一个按钮时，它会输出一些html代码。我如何用python代码“按下”这个按钮？scrapy能帮到我吗？我捕获了带有firebug的POST请求，但是当我试图在url上传递它时，我得到了一个403错误。有什么建议吗？

浏览 0提问于2010-01-28得票数 18

回答已采纳

1回答

webcrawling-有哪些可能的方法来检测使用javascript加载的页面？

web-crawler

我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。我的主要问题是，我无法区分页面是否使用JS加载。任何想法都将受到欢迎！

浏览 2提问于2018-03-16得票数 0

1回答

两次转角万能载荷

angular、angular-universal

我尝试在我的项目中添加angular universal。添加后，页面在浏览器中加载两次。我是vichakshan.news的所有者，所以我尝试这个来解决这个问题 <section *ngIf="this.isBrowser" style="background-color: rgb(202"> <router-outlet (activate)="onActivate($event)"></router-outlet>

浏览 5提问于2021-08-31得票数 0

1回答

从节点启动的Javascript访问呈现的HTML页面的元素

javascript、node.js、html

我正在从javascript渲染一个HTML页面。我需要定期刷新某些内容。我从node启动JS，使用sendFile()方法将HTML内容呈现给本地主机。问题是如何访问呈现内容中的元素？我认为一种可能的方法是网络抓取。我在我的index.js中遵循如下顺序: readFile(myHtml) -> scrape & modify contents -> renderFile(My

浏览 15提问于2019-04-10得票数 0

回答已采纳

1回答

使用JavaScript抓取可能的网站->以及抓取的网站上显示的IP

javascript、angular、web-crawler

在一个Angular-App中抓取一个网站是可能的？我说的是从Angular给一个网站打电话，而不是抓取一个Angular-App。如果是这样，那么我想知道哪个IP将显示在抓取的网站上。因为JavaScript是客户端，所以我建议，它是客户端的IP，而不是服务器的IP(就像nodejs)。但据我所知，它主要是浏览器实现的

浏览 3提问于2019-03-22得票数 0

回答已采纳

3回答

使用python快速抓取动态内容

python、selenium、web-scraping、beautifulsoup

我正在尝试使用Python动态内容，它是在JavaScript中生成的(这个视频的浏览量和评论数：)。我熟悉BeautifulSoup (运行大约0.1秒，但没有JavaScript评估)和Selenium (3+秒，即使我停用CSS、图像等，但解释JS)。有没有一种方法可以在不使用浏览器的情况下抓取Python语言中的JavaScript函数的结果(假设这就是降低Selenium速度的原因)？我<

浏览 0提问于2015-12-15得票数 3

1回答

如何用Python抓取内容编码的网站？

python、python-3.x、web-scraping、python-requests

我正在尝试抓取一个在线新闻网站。', error('Error -3 while decompressing data: incorrect header check')) 我仍然是网络抓取的新手，我不熟悉这是否意味着网站禁止我抓取，

浏览 0提问于2020-09-06得票数 0

2回答

可以在客户端使用纯javascript登录来抓取网站吗？

javascript、web-scraping

我已经设法抓取了不需要使用js登录的网站，并从允许我通过CORS问题的网站获得了一些帮助(比如allorigins)，但我就是无法通过登录问题。我看过很多关于如何用node.js和python做这件事的帖子，但是没有一篇是关于如何用javascript做的。那么我该怎么做呢？有没有可能纯粹在客户端做这件事呢？我愿意做所有需要的学习和探索，但我需要在这个庞大<em

浏览 1提问于2018-03-13得票数 0

1回答

Angular -将组件呈现为index.html中的静态内容和样式

angular

有没有可能编写一个在index.html文件中预先构建为静态html的组件，以便该组件的静态内容在其他.js文件运行之前充当应用程序框架？示例:我可以输出任意数量的<style>标记和<app-root>标记内的自定义静态html，在JS文件运行之前，这些标记对用户是可见的。这通常是加载指示器或其他什么。我想要用我的页眉、骨架主体和页脚来更多地充实它。然而，我不想完全手工处理这件事的痛苦。我想

浏览 0提问于2019-01-18得票数 0

1回答

如何在当前网页上呈现来自外部网站的页面？

iframe、render

我想知道在抓取相应网页后，从外部URL呈现内容的不同方式？我听说过iframes。这是最好的方法吗？或者还有其他更好的方法吗？另外，我想渲染动态的东西，如游戏和其他互动内容。提前谢谢。

浏览 0提问于2013-01-11得票数 0

2回答

Python Scrapy Splash不渲染网站，停留在加载屏幕

scrapy、scrapy-splash、splash-js-render

我想用Scrapy Splash呈现以下网站。https://m.mobilebet.com/en/sports/football/england-premier-league/ 不幸的是，Splash总是停留在加载屏幕： ? 我已经尝试使用较长的等待时间(最多60秒)，但没有结果。我的Splash版本是3.3.1，并且已经将obey robots.txt设置为false。谢谢!

浏览 65提问于2019-05-04得票数 1

1回答

如何从javascript文件运行我的纯python* (.py)文件*

javascript、python、selenium-chromedriver

我正在创建一个网站，从一个网站抓取数据，并在我的网站上显示该数据。我使用selenium进行抓取，这完全是用python编写的，它可以将抓取的数据转换为JSON。我使用Javascript从JSON获取数据并将其显示在HTML中。现在我想问两件事。首先，如何通过虚拟主机在web浏览器中运行python文件。其次，我想要的是每天我的Javasc

浏览 147提问于2021-01-03得票数 0

1回答

在MongoDB中保留文本格式

javascript、reactjs、mongodb、web-scraping、puppeteer

我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中如何在我的网站上以原始格式(如我抓取的<

浏览 20提问于2021-06-25得票数 0

回答已采纳

1回答

用Python* Selenium抓取动态网站*

python、selenium、web-scraping、beautifulsoup

我试图通过BS4 python来抓取动态网站： from urllib.request import urlopenpage =search=תל אביב יפו")网站是动态的，当我查看页面源时，我没有看到只有JavaScript脚本：的页面内容如何用硒来解决这些问题呢

浏览 1提问于2020-09-22得票数 0

回答已采纳

6回答

如何让SPA SEO变得可抓取？

ajax、seo、phantomjs、single-page-application、durandal

我一直在研究如何使基于谷歌的的SPA可由谷歌抓取。尽管有相当多的一般性解释，但我在任何地方都找不到更全面的带实际示例的分步教程。完成后，我想分享我的解决方案，以便其他人也可以使用它，并可能进一步改进它。我将MVC与Webapi控制器结合使用，在服务器端使用，在客户端使用，并启用了push-state；我还使用进行客户端-服务器数据交互，所有这些都是我强烈推荐的，但我将尝试给出一个足够通用的解释，以帮助使用其他平台的人

浏览 1提问于2013-08-30得票数 144

3回答

我的AngularJS应用程序的谷歌索引

angularjs、seo、google-index

有一篇来自google的博客文章说他们正在索引javascript应用程序。然而，我的AngularJS应用程序www.fort-cite.com似乎根本没有索引。为了启用索引和使内容可搜索，我需要做什么特殊的事情？

浏览 11提问于2015-01-09得票数 14

回答已采纳

5回答

如何从其他网站获取数据？

python、database、parsing、web-scraping

我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？

浏览 1提问于2013-06-14得票数 4

1回答

如何将(大小相同、分类化的)图像转换为TensorFlow的数据集

machine-learning、dataset、tensorflow、training-data、mnist

我已经成功运行了MNIST教程，现在想用自己的图片测试模型。它们是相同大小的图像(224x224)，并分类为文件夹。如何使数据集看起来像我自己的图像文件中的

浏览 8提问于2016-07-11得票数 1

回答已采纳

点击加载更多