开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Java:如何设置htmlunit

Java中使用htmlunit可以实现模拟浏览器行为，进行网页的自动化测试和数据抓取。下面是设置htmlunit的步骤：

首先，确保你的Java开发环境已经安装并配置好。
在Java代码中引入htmlunit相关的库文件，可以通过Maven或手动下载添加到项目中。
创建一个WebClient对象，它是htmlunit的核心类，用于模拟浏览器的行为。

import com.gargoylesoftware.htmlunit.WebClient;

创建WebClient对象，并进行相关设置。

WebClient webClient = new WebClient();

设置WebClient的相关属性，例如启用JavaScript、启用CSS等。

webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(true);

设置WebClient的超时时间。

webClient.getOptions().setTimeout(5000); // 设置超时时间为5秒

设置WebClient的代理。

webClient.getOptions().setProxyConfig(new ProxyConfig("proxyHost", proxyPort)); // 设置代理主机和端口

设置WebClient的用户代理（User-Agent）。

webClient.getOptions().setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36");

执行相关操作，例如打开网页、获取网页内容等。

HtmlPage page = webClient.getPage("http://www.example.com"); // 打开网页
String content = page.asXml(); // 获取网页内容

最后，记得关闭WebClient对象，释放资源。

webClient.close();

以上就是设置htmlunit的基本步骤。htmlunit可以用于自动化测试、数据抓取、网页爬虫等场景。腾讯云提供了云函数（Serverless Cloud Function）和云托管（CloudBase）等产品，可以用于部署和运行Java代码，实现在云端使用htmlunit进行网页操作和数据处理。

更多关于htmlunit的详细信息和使用示例，可以参考腾讯云的官方文档：htmlunit使用指南。

相关搜索:HtmlUnit无法单击Selenium，Java中的跨度 Java -检测使用htmlUnit加载的网页ajax组件的更改 Java HtmlUnit -如何增加加载页面的超时时间？Java HTMLUnit getByFirstXPath不工作 java如何设置颜色 linux如何设置java 使用HtmlUnit在图像上单击Java键使用htmlunit驱动程序设置python 使用java htmlunit搜索具有动态ID的元素在Java中使用HtmlUnit抓取(如何查找元素)

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

HtmlUnit 爬虫简单案例——模拟登陆CSDN

最近要弄一个爬虫程序，想着先来个简单的模拟登陆，在权衡JxBrowser和HtmlUnit 两种技术， JxBowser有界面呈现效果，但是对于某些js跳转之后的效果获取比较繁琐。

02

如何解决Java HtmlUnit库的CSS错误信息

在使用Java的HtmlUnit库加载网页时，有时会遇到大量的CSS错误提示信息。虽然这些CSS错误不影响JavaScript的正常执行，而我们对CSS错误并不在意，那么我们可以采取一些措施来忽略这些错误信息。本文将介绍如何通过设置CSS错误处理器来解决Java HtmlUnit库的CSS错误信息问题。

01

HtmlUnit爬取Ajax动态生成的网页以及自动调用页面javascript函数

HtmlUnit是一款基于Java的没有图形界面的浏览器程序。它模仿HTML document并且提供API让开发人员像是在一个正常的浏览器上操作一样，获取网页内容，填充表单，点击超链接等等。

03

使用HtmlUnit库的Java下载器：下载TikTok视频

在本文中，我们将深入探讨如何借助Java编程语言和HtmlUnit库构建一个高效的TikTok视频下载器。HtmlUnit是一款功能强大的库，能够模拟浏览器行为，无需实际打开浏览器窗口。这使得它成为爬虫技术的理想选择，尤其是在需要与JavaScript交互的网站上。

01

使用Java进行网页抓取

用于网页抓取的流行语言有Python、JavaScript和Node.js、PHP、Java、C#等。因为有很多选择，想要确定哪种语言最合适并不容易。每种语言都有其优点和缺点。在本文中，我们将使用Java进行网页抓取并使用 Java创建一个网页抓取工具。

00

Android利用爬虫实现模拟登录的实现实例

为了用手机登录校网时不用一遍一遍的输入账号密码，于是决定用爬虫抓取学校登录界面，然后模拟填写本次保存的账号、密码，模拟点击登录按钮。实现过程折腾好几个。

03

HttpUnit 基础知识

htmlunit是一款开源的Java页面分析工具，读取页面后，可以有效的使用htmlunit 分析页面上的内容。项目可以模拟浏览器运行，被誉为Java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。

01

python变相调用htmlunit

目前团队使用的自动化测试框架是robotframework+webdriver（IE）+python，据说是从趋势那边搬过来的。webdriver里面，IEdriver是运行最慢的，因此每次跑一遍用例都要花上4个小时

01

selenium webdriver的各种driver

selenium官方加上第三方宣布支持的驱动有很多种；除了PC端的浏览器之外，还支持iphone、android的driver；大概记录一下selenium支持的各种driver的用途与说明。

01

Java模拟浏览器真实访问网页刷Pv

为什么需要刷PV？提升排名，提升权重，提升收录，以前我通过Go操作无头浏览器进行刷PV，并且执行页面Js。今天我在想是否可以通过Java来刷我新上线的某网站，同时我也不想依赖谷歌浏览器，于是找到了一个纯Java实现的包，坐标位置如下：

04

异常解决：NoClassDefFoundError: org/w3c/css/sac/ErrorHandler

今天因为需要用htmlunit 做一个爬虫程序，在运行demo的时候提示 NoClassDefFoundError: org/w3c/css/sac/ErrorHandler。

03

Jsoup+Htmlunit抓取图片遇到坑

Jsoup是用于解析HTML，就类似XML解析器用于解析XML。 Jsoup它解析HTML成为真实世界的HTML。

02

Java 报错信息 Error during JavaScript execution

进行各种各样的网页爬虫过程中，有些网页直接httpclient拿过来就能用，但是有些网站是需要等待js加载样式或者某些值的，使用httpclient没办法设置js等待时间，然后再抓取值。

02

00. 这里整理了最全的爬虫框架（Java + Python）

网络爬虫技术在信息时代的大数据时代中变得越来越重要。它是一种从互联网上获取数据的技术，被广泛应用于搜索引擎、数据挖掘、商业情报等领域。

01

Java写爬虫，你试过嘛？

初步定的方案用 python，因为IO读写方便，结合xpath，后来搭了环境，发现好多都忘记了，需要复习，所有最后决定用java，结合jsoup，htmlUtil等。

01

Spring Web MVC框架（十一） Spring Web MVC测试框架

Spring 也提供了完善的测试框架，我们可以方便的测试Spring Web MVC应用程序。为了使用这个测试框架，我们需要添加它的依赖项。

01

如何对使用React和EMF parsley设计的Web UI应用程序进行测试自动化

Web UI应用程序是指通过Web浏览器访问的应用程序，它们通常具有复杂的用户界面和交互逻辑。为了确保Web UI应用程序的功能、性能和用户体验，测试自动化是一种有效的方法，它可以在不需要人工干预的情况下，快速地执行重复的测试任务，并提供可靠的测试结果。本文将介绍如何对使用React和EMF parsley设计的Web UI应用程序进行测试自动化，以及使用HtmlUnitDriver和java代码实现的示例。

02

使用Spring Boot CLI快速启动一个简单服务

想修改端口？和Spring boot一样，创建一个application.properties

01

spring boot 中的 Parent POM 和 Starter 的作用什么？（☆☆☆）

spring boot 推荐在 maven 中，继承 spring-boot-starter-parent 来作为父项目。因为继承 spring-boot-starter-parent 项目，就获得一些合理的默认配置。使用这个 pom，可以统一项目中的版本依赖，从而避免了潜在的版本冲突。这个 parent 提供了以下特性：

02

C语言连续3个月下跌，猜猜谁是第一？

上个月，Python再次摘得年度编程语言宝座，这是Python第五次获得这个奖，其他四次分别是2007年、2010年、2018年和2020年。那么在2月份，各大编程语言又有哪些新变化呢？

02

啥是无头浏览器，都能干啥？一文说清楚

引言您如何知道您正在开发的网站的用户界面(UI)是否正常工作，以及该网站作为一个整体是否提供了最佳的用户体验(UX)?无头浏览器为您提供了一种快速、轻量级的方式来自动化高级操作，并了解您的站点在常见

01

Grape 依赖管理器

本文参考自Groovy文档 The Grape dependency manager，本文代码大部分来自Groovy官方文档。

01

【Java】爬虫，看完还爬不下来打我电话[通俗易懂]

先说一句我不是专业搞爬虫的，从2019-07-06到2019-07-11累计学习6天。这篇文章是对我这6天学习的总结。以我浅显的了解，在此我列出我曾经尝试过后来又放弃了的框架，最后压轴(zhoù)再写我正在使用的框架。目前有以下流行的爬虫框架技术：

01

Selenium WebDriver简介

是Selenium工具箱中功能最强大且最受欢迎的工具之一。WebDriver是Selenium RC的扩展版本，具有许多优点，并解决了其许多限制。与Selenium IDE不同，WebDriver将其支持扩展到许多最新的浏览器和平台。与Selenium RC不同，WebDriver也不要求在执行测试脚本之前先启动Selenium服务器。

02

HtmlUnit动态数据未加载

因为程序的读取速度会快一些，而且推测 HtmlUnit是异步读取 html , css ,js

01

格力与奥克斯空调在京东的选购指数（java爬虫案例-代码实现）

这前段时间有一件事“格力举报奥克斯空调质量"，我看了一下京东这两家店铺，感觉很有意思，看着就觉得奥克斯空调选购指数高很多。所以，就尝试爬一下看看，练手小demo。

02

微服务架构之Spring Boot（六十四）

Spring Boot的自动配置系统适用于应用程序，但有时对于测试来说有点太多了。通常，只需加载测试应用程序“切片”所需的配置部分。例

02

Selenium Webdriver Desired Capabilities

前言我们每一个的selenium测试都应该在指定的环境下运行，这个环境可以是web浏览器、移动设备、移动模拟器等等。那怎么来指定我们的selenium测试脚本运行环境呢？本次分享主要解决这个问题

08

Kotlin + Spring Boot 应用中多个 main 函数的处理: build.gradle 配置

Spring Boot 默认会找一个 main，如果多个 main，需要配启动main。测试代码，写在 test 下面。不要用 main 来写测试。

02

把玩爬虫框架Gecco

如果你现在接到一个任务，获取某某行业下的分类。作为一个非该领域专家，没有深厚的运营经验功底，要提供一套摆的上台面且让人信服的行业分类，恐怕不那么简单。找不到专家没有关系，我们可以爬虫。把那些专家的心血抽丝剥茧爬出来再统计即可。确定好思路，我和即将要说的爬虫框架Gecco打了一天的交道。 Gecco简介 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配

04

这些测试工具和框架你了解吗

自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试.如果说测试工程师今年应该学习什么的问题，答案可能包括编程语言、库和框架，但如果你需要改进或学习一件事，那么下面这些框架是你绕不开的技能。

02

HttpClient-简介与安装部署

HTTP协议可能是现在Internet上使用得最多、最重要的协议了，越来越多的Java应用程序需要直接通过HTTP协议来访问网络资源。虽然在JDK的java.net包中已经提供了访问HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK本身提供的功能还不够丰富和灵活。

02

10个Java开发人员的顶级测试工具、库和框架介绍

最近，我写了一些关于Java开发人员今年应该学习什么的文章，例如编程语言、库和框架，但如果你只有一件事需要改进或学习，那么那必须是你的自动化测试技能。

05

10个Java开发人员的顶级测试工具、库和框架介绍

最近，我写了一些关于Java开发人员今年应该学习什么的文章，例如编程语言，库和框架，但如果你只有一件事需要改进或学习，那么那必须是你的自动化测试技能。

03

Selenium入门介绍

https://github.com/SeleniumHQ/selenium https://www.selenium.dev/documentation/en/

03

Lightweight Test Automation Framework之旅

Lightweight Test Automation Framework是ASP.NET QA团队开发的自动化集成测试框架，并且应用在ASP.NET QA团队的自动化测试产品中，目前最新版本是April Update，这个框架的作用与WatiN和Selenium类似，可操作浏览器对应用程序编写回归测试。根据ASP.NET QA团队博客上发布的Lightweight Test Automation Framework April Release，这个版本主要是修复bug和增加一些新特性，主要特性如下：用户

09

Selenium Webdriver 简易教程

Selenium RC和Selenium Webdriver是测试框架，提供多种语言的API。不同的是，Selenium Webdriver以一种更底层、更灵活的方式来操作浏览器，并不仅仅使用javascript。这样它可以绕开浏览器的沙箱限制，实现Selenium RC不支持的框架、弹出窗口、页面导航、下拉菜单、基于AJAX的UI元素等控件的操作。以及，Selenium Webdriver不需要本地服务器。

02

python selenium模拟滑动操作

quit（）方法会退出浏览器，而close（）方法只是关闭页面，但如果只有一个页面被打开，close（）方法同样会退出浏览器

01

如何解决爬虫程序返回429

作为爬虫，在采集数据的过程中我们会遇到很多的状态码，不同的状态码代表不同的意思。那么我们今天就重点来了解下爬虫程序返回429意味着什么？我们就以淘宝为例进行分析，淘宝的反爬机制大家都懂，不是一般的严格，挂代理是最基本的要求。但是也需要配合更多的反爬策略一起进行才能有理想的效果。我们先来展示下访问淘宝的代码示例。 import org.apache.commons.httpclient.Credentials; import org.apache.commons.httpclient.HostConfiguration; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.HttpMethod; import org.apache.commons.httpclient.HttpStatus; import org.apache.commons.httpclient.UsernamePasswordCredentials; import org.apache.commons.httpclient.auth.AuthScope; import org.apache.commons.httpclient.methods.GetMethod;

01

org/w3c/dom/ElementTraversal 错误解决办法

不记得之前几天把什么maven依赖包删除了，今天利用htmlunit运行代码的时候报了下面的错误：

02

driver匹配元素定位用法大全

# -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.desired_capabilities import DesiredCapabilities from selenium.webdriver.common.keys import Keys from selenium.webdriver.commo

01

Selenium等待：sleep、隐式、显式和Fluent

Selenium等待页面加载在Selenium自动化测试中起着重要的作用。它们有助于使测试用例更加稳定，增强健壮性。Selenium提供多种等待，根据某些条件在脚本执行相应的等待，从而确保Selenium执行自动化测试时不会导致脚本失败。

03

自动化测试最新面试题和答案

Selenium是基于Web的最流行的UI自动化测试工具。它提供了一组支持多种平台的公开API（例如Linux，Windows，Mac OS X等）。此外，像Google Chrome，Mozilla Firefox，Internet Explorer和Safari等所有现代浏览器都可以用来运行Selenium测试。它也涵盖了Android平台，其中Appium是实现Selenium Webdriver界面的工具，用于移动自动化。

02

Java爬虫系列四：使用selenium-java爬取js异步请求的数据[通俗易懂]

在之前的系列文章中介绍了如何使用httpclient抓取页面html以及如何用jsoup分析html源文件内容得到我们想要的数据，但是有时候通过这两种方式不能正常抓取到我们想要的数据，比如看如下例子。

02

Spring Boot 2.5.5发布：开始支持Java 17了！

作者 | 冷冷来源 | https://mp.weixin.qq.com/s/hlxkXLve1krPr9z3DPrNIw 9 月 23 日官方发布了 Spring Boot 2.5.5 版本，此版本包括 41 个错误修复、文档改进和依赖项升级。 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.5.5</ver

02

如何下载和安装Selenium WebDriver

https://www.oracle.com/technetwork/java/javase/downloads/index.html

03

HttpClient使用详解

Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会更加深入。第一章简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高

05

shiro从0到1

https://codeload.github.com/apache/shiro/zip/shiro-root-1.2.4

01

java(优化20) httpClient简介

HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。HttpClient 已应用在很多的项目中，比如 Apache Jakarta 上很著名的另外两个开源项目 Cactus 和 HTMLUnit 都使用了 HttpClient。现在HttpClient最新版本为 HttpClient 4.3 （GA）。

03

8.2 Spring Boot集成Groovy、Grails开发小结参考资料

本章介绍Spring Boot集成Groovy，Grails开发。我们将开发一个极简版的pms（项目管理系统）。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭