我有一个网站,其中有很少的数据存在,一些数据是在分页格式。但是,当我尝试使用view-source来获取url的HTML数据时,却没有在其中找到分页数据。并且当我转到分页数据的第二列时,url也不改变。
我的问题是:
How to fetch the hidden data or data that is bought by Javascript into the HTML format
希望你们都能接受我的问题。提前感谢
更新部分:-
我基本上是在尝试抓取数据,所以当我输入url并尝试抓取数据时,我将无法获得所需的数据,因为数据不是以HTML格式存在的,而是由Javascript/JQue
用户填写了一个输入表单的页数,我希望用户能够输入完成的页面(变量pagesToBeSubtracted)和功能,以减去页面,并在网站上更新它。 function subtractPages() {
// Total pages that are grabbed from the input form
var totalPages = document.getElementById("numPages").value;
//Value of the input type number for done pages
var pagesToBeSubtracted = docu
我在这个网站上做了网络抓取:,它与每一个类别(政治,等等)一起工作,但是对于每一个类别,I循环通过相同的页数。
我希望能够抓取所有的网页,这取决于每个类别的网页数量在这个网站。
我这样做是为了遍历页面:
import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by imp