Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >java获取网页源代码

java获取网页源代码

作者头像
似水的流年
发布于 2019-12-11 13:07:16
发布于 2019-12-11 13:07:16
2.2K0
举报
文章被收录于专栏:电光石火电光石火

public static String getHtmlContent(URL url, String encode) {    StringBuffer contentBuffer = new StringBuffer();

   int responseCode = -1;    HttpURLConnection con = null;    try {     con = (HttpURLConnection) url.openConnection();     con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");// IE代理进行下载     con.setConnectTimeout(60000);     con.setReadTimeout(60000);     // 获得网页返回信息码     responseCode = con.getResponseCode();     if (responseCode == -1) {      String re = url.toString() + " : connection is failure...";      con.disconnect();      return re;     }     if (responseCode >= 400) // 请求失败     {      String re = "请求失败:get response code: " + responseCode;      con.disconnect();      return re;     }

    InputStream inStr = con.getInputStream();     InputStreamReader istreamReader = new InputStreamReader(inStr, encode);     BufferedReader buffStr = new BufferedReader(istreamReader);

    String str = null;     while ((str = buffStr.readLine()) != null)      contentBuffer.append(str);     inStr.close();    } catch (IOException e) {     e.printStackTrace();     contentBuffer = null;     System.out.println("error: " + url.toString());    } finally {     con.disconnect();    }    return contentBuffer.toString();   }

  public static String getHtmlContent(String url, String encode) {    if (!url.toLowerCase().startsWith("http://")) {     url = "http://" + url;    }    try {     URL rUrl = new URL(url);     return getHtmlContent(rUrl, encode);    } catch (Exception e) {     e.printStackTrace();     return "网址错误!";    }   }   //测试   /*public static void main(String argsp[]){    System.out.println(getHtmlContent("www.ilkhome.cn","utf-8")) ;   }*/

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-07-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
java简易爬虫Crawler
一,介绍: >这是我的第一个爬虫,比较简单,没有队列,广度优先算法等,用list集合代替了队列。 >而且只爬取一个网址上面的图片,并不是将网址中的链接<href>加入队列,然后下载一个网址一个网址下载其中的图片。 >不过,这是前期的,处于摸索阶段,后期学完队列和广算后,在涉及一点多线程,肯定会比想象中的更实用。
全栈程序员站长
2022/07/01
3840
java简易爬虫Crawler
AndroidStudio——利用APIStore获取网络新闻
public class HttpJsonActivity extends AppCompatActivity {
用户7886150
2020/12/31
5870
微信公众号获取token,上传素材
public static JSONObject getToken(String appId,String appSecret){ String url="https://api.w
JQ实验室
2022/02/10
1.8K0
JDK原生的HttpURLConnection请求实例
不想说啥,上代码! package com.my.https; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStream; import java.net.HttpURLConnection; import java.net.URL; import java.security.SecureRandom; import j
JQ实验室
2022/02/09
2600
Java Web Service Get请求使用指南
在当今互联网时代,Web Service已经成为了现代软件开发中不可或缺的一部分。而Java作为一种广泛使用的编程语言,自然也提供了丰富的工具和库来支持Web Service的开发。本文将为大家介绍如何使用Java编程语言进行Web Service的Get请求。
用户10354340
2023/08/07
4870
android和javaEE更完美的通信-传递对象
继续完善上一篇中的那个代码片,《android和javaEE通信的代码片》中只是简单的向服务器发送请求,没有获取服务器返回数据的操作。
the5fire
2019/02/28
6000
RestPack Java实现Html转PDF文件
最近公司需要将前端一个图表统计导出为pdf。前端导出显示的pdf还是可以的,但是将会导致页面不可用与卡死状态。所以由后端寻找解决方案。
用户1518699
2020/09/28
1.7K0
腾讯云短信接口服务
做个小程序需要发送验证码,短信接口是腾讯云的。了解官方的sdk和demo发现对于我这种浅层次的人来说太麻烦了,然后就从网上找了一版。短信服务开通可以访问 腾讯云短信服务
聚优云惠
2019/12/26
22.9K0
Redis的数据记录与回放
前文介绍了byteman的基本语法以及流量回放平台,今天一起看下如何使用byteman如何对 Redis 相关命令进行数据记录和回放.
一个架构师
2022/06/27
5030
Java调用飞信API
//由于某些原因,现在只有http://w.ibtf.net/f.php?phone=xxxxxx&pwd=xxx&to=xxxx&msg=xxxx&type=x //package com.test
黄啊码
2020/05/29
1.7K0
httpServletRequest.getParameter 参数中存在“&”导致获取不到完整参数的问题
账管有个信用卡绑定接口,我的调用的时候需要传号码、地址等信息,使用的是 HttpURLConnection,发送的时候将参数转为key=value&key=value 的形式,账管那边使用 httpServletRequest.getParameter() 进行获取参数。 问题就是当某些地址中存在 & 符号的时候,因为账管获取参数的时候是通过 & 符号进行截取的,就会导致他们获取参数不全。 如:a=123&b=park¢er 本来 b 的 value 应该是 park¢er,现在他们那边只能获取到 park,这就导致两边参数不一样,签名也不一样,然后验签失败。
Li_XiaoJin
2022/06/10
8870
Android多线程+单线程+断点续传+进度条显示下载
效果图 download.gif 白话分析: 多线程:肯定是多个线程咯 断点:线程停止下载的位置 续传:线程从停止下载的位置上继续下载,直到完成任务为止。 核心分析: 断点: 当前线程已经下载的数
用户2032165
2018/06/05
2.1K0
java小工具,使用Swing展示左树右表结构
java -Dfile.encoding=utf-8 -jar your.jar pause
JQ实验室
2022/02/10
8820
如何使用Java爬取指定链接的网页内容
在当今信息时代,互联网上的数据量庞大且不断增长。为了获取特定网页的内容,爬虫技术成为了一种非常有用的工具。本文将介绍如何使用Java编程语言来实现爬取指定链接的网页内容。
小白学大数据
2023/09/18
6720
Java实现Http的Post、Get、代理访问请求
Java实现Http的访问请求。包含基本的Get访问、Post访问。Post包含使用代理模式访问
似水的流年
2018/01/14
1.8K0
postman自动生成Cookie java代码怎么实现
在接口测试中,有时候需要在请求中携带Cookie信息,为了方便测试,我们可以使用Postman来自动生成Cookie,并将其转换为Java代码,以便在自动化测试中使用。下面将介绍如何实现这一功能。
大盘鸡拌面
2024/05/13
3960
Java IO异常处理:在Web爬虫开发中的实践
在当今的互联网时代,Web爬虫技术已经成为数据采集的重要手段之一。它们能够自动地从网页中提取信息,为数据分析、搜索引擎优化、内容聚合等提供了强大的支持。然而,Web爬虫在执行过程中可能会遇到各种输入/输出(IO)异常,如网络错误、文件读写问题等。因此,有效地处理这些异常对于确保爬虫的稳定性和可靠性至关重要。本文将探讨Java中IO异常处理的机制,并展示如何在Web爬虫开发中实践这些机制。
小白学大数据
2024/09/05
1570
Java IO异常处理:在Web爬虫开发中的实践
实践:使用JenkinsActive参数,让参数动起来~
在使用Pipeline项目时一般都是参数化构建作业,在Jenkins的构建时,可能需要使用参数类型有复选框,单选按钮,多选值等输入的情景。
DevOps云学堂
2021/09/07
1.5K0
HttpURLConnection发送中文乱码问题解决
重点在于:替换out.writeBytes(json);为 out.write(json.getBytes());
JQ实验室
2022/01/11
1.1K0
Java代码忽略https证书:解决No subject alternative names present问题 HttpURLConnection https请求
Java代码忽略https证书:解决No subject alternative names present问题
oktokeep
2024/10/09
3310
相关推荐
java简易爬虫Crawler
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档