Java爬虫教程：抓取微博热搜存Excel

本文详解如何用Java开发稳定可靠的微博热搜爬虫，涵盖绕过反爬的关键技巧（如精准设置User-Agent、Referer与Cookie）、解决HttpClient中文乱码的UTF-8解码方案、POI写入Excel时日期/数字格式错乱的样式与类型处理、以及文件保存失败的常见陷阱（流未关闭、路径错误、write顺序不当等），强调实战中需以curl预验接口结构、警惕字段动态变更，并提供可落地的编码规范与避坑指南。

微博热搜页面反爬机制怎么绕过

直接用 HttpClient 发起 GET 请求会返回 403 或空内容，因为微博对非浏览器请求头做了拦截。真实访问必须带 User-Agent、Referer，且部分接口还校验 Cookie 中的 SSRF 或 WEIBOBEARER 字段。

实操建议：

• 先用浏览器开发者工具抓包，找到「热搜榜」实际请求地址（通常是 https://weibo.com/ajax/side/hotSearch），不是网页 URL
• 复制浏览器请求中的 User-Agent 和 Referer，硬编码进 HttpClient 的 header
• 该接口返回 JSON，不需要解析 HTML，别浪费时间写 Jsoup 解析器
• 不登录也能调用，但频率超过 10 次/分钟可能触发限流，加 Thread.sleep(2000) 更稳妥

用 HttpClient 获取 JSON 数据时中文乱码

响应体显示为 \u5b98\u65b9 这类 Unicode 转义，说明没正确设置字符集。微博接口实际返回 UTF-8，但 HttpClient 默认按 ISO-8859-1 解码响应流。

实操建议：

• 不要用 EntityUtils.toString(entity) 直接转字符串，它默认用 ISO-8859-1
• 改用 EntityUtils.toString(entity, "UTF-8")
• 或者更可靠：用 BufferedReader 包装 entity.getContent()，并显式指定 Charset.forName("UTF-8")
• 如果用的是 CloseableHttpClient 4.5+，可提前配置 ContentType，但不如手动指定保险

POI 写 Excel 时日期和数字格式错乱

热搜榜单里有「实时上升」这类数字字段，以及「发布时间」这类时间字段，直接写入 Cell 会导致 Excel 显示为长整型（如 1715234400000）或科学计数法（如 1.23E+10）。

实操建议：

• 数字类字段（如「搜索指数」）用 cell.setCellValue((double) value)，避免自动转成字符串
• 时间戳转日期：先用 Instant.ofEpochMilli(ts).atZone(ZoneId.systemDefault()).toLocalDateTime()，再用 cell.setCellValue(localDateTime)
• 必须配套设置单元格样式：CellStyle 要调用 setDataFormat(workbook.createDataFormat().getFormat("yyyy-mm-dd hh:mm"))
• 别用 HSSFWorkbook（.xls），微博数据量不大但字段含中文，优先选 XSSFWorkbook（.xlsx），否则容易乱码或截断

保存 Excel 文件失败或打不开

常见报错是 IOException: The document has no logical structure 或双击文件提示「Excel 无法打开文件」，本质是流没关、文件路径非法或 workbook 没 write。

实操建议：

• 务必在 try-with-resources 里声明 FileOutputStream，别等 GC 关闭
• 路径别写相对路径如 "data.xls"，用绝对路径或 new File("data.xlsx").getAbsolutePath() 看清实际位置
• workbook.write(outputStream) 必须在 close 前调用，顺序错了就生成空文件
• 如果目标目录不存在，先执行 new File(dirPath).mkdirs()，否则抛 FileNotFoundException

真正卡住的地方往往不在代码逻辑，而在微博接口字段随时变动——今天叫 hot_word，明天可能改成 word；POI 对 Excel 样式和流的控制又很敏感，少一个 setCellStyle 或多一个 close 都可能导致文件损坏。动手前先 curl 一把接口，确认字段名和结构稳了再写 Java。

今天关于《Java爬虫教程：抓取微博热搜存Excel》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！