Java实现网页源码下载器：URL流处理教程

本文深入讲解了如何用Java原生HttpURLConnection实现稳定可靠的网页源码下载器，直击新手常见痛点：重定向失效、无限阻塞、gzip乱码、字符集错判、HTTPS握手失败等；强调通过手动配置超时、启用跳转、智能解压、响应码校验、动态编码识别和TLS协议适配等关键细节，让代码在不同网络环境、目标站点和JDK版本下均能健壮运行，真正实现“写一次，稳 everywhere”。

Java里用HttpURLConnection下载网页源码最稳

直接用HttpURLConnection比第三方库更轻、更可控，尤其适合只做简单抓取的场景。它不依赖外部jar，JDK自带，但默认禁用重定向、超时无限、不自动处理gzip——这些恰恰是新手最容易卡住的地方。

• 必须手动调用setInstanceFollowRedirects(true)，否则302跳转会直接返回空内容
• 务必设置setConnectTimeout(5000)和setReadTimeout(10000)，否则DNS失败或服务器挂起会卡死线程
• 如果目标站返回Content-Encoding: gzip，得自己用GZIPInputStream解包，否则拿到的是乱码二进制
• 记得调用getInputStream()前先检查getResponseCode()，4xx/5xx响应直接读流会抛IOException

遇到java.net.UnknownHostException别急着换DNS

这个错表面是域名解析失败，但实际常因URL格式不合法触发——比如漏了http://前缀，或URL含中文没编码，HttpURLConnection会静默转成错误host。

• 用new URL("https://example.com")前，先用URLEncoder.encode()处理路径参数，但注意：只编码query部分，不要整URL都encode
• 检查URL.getProtocol()是否为http或https，null值说明构造失败
• 本地hosts文件篡改、代理配置残留、甚至IDE内置HTTP代理开关开着，都可能干扰解析，建议在命令行用java -cp . YourDownloader验证是否环境问题

读取响应体时别用readLine()逐行

readLine()会按\r\n/\n切分，但网页源码里可能有换行符在script标签内、注释里，或UTF-8 BOM导致首行读空——结果源码被截断或错位。

• 统一用InputStream.read(byte[])批量读取，再转new String(bytes, StandardCharsets.UTF_8)
• 优先从响应头取字符集：connection.getHeaderField("Content-Type")里找charset=，没找到才fallback到UTF-8
• 如果页面声明charset=gbk但实际是UTF-8，浏览器能容错，Java不会——此时需按HTML meta标签动态检测，但简单下载器建议直接按响应头走，避免引入jsoup等依赖

HTTPS站点报javax.net.ssl.SSLHandshakeException

不是证书问题，大概率是JDK版本太低（如JDK 7u95以下）不支持SNI，或目标站只开TLS 1.2+而JVM默认启用SSLv3/TLS 1.0。

• 加启动参数：-Dhttps.protocols=TLSv1.2，强制升级协议
• JDK 8u161+默认已禁用SSLv3，但某些老服务器仍要求TLS 1.1，可设为TLSv1.1,TLSv1.2
• 绝对不要用TrustManager绕过证书校验——这会让中间人攻击生效，调试时宁可临时换一个可信的测试URL

有些细节看着小，比如没设超时、没检状态码、字符集硬编码，但线上跑一小时后突然阻塞或乱码，回溯起来全卡在这几行。真正难的不是写完，是让同一段代码在不同网络环境、不同目标站、不同JDK上都不掉链子。

今天关于《Java实现网页源码下载器：URL流处理教程》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！