Python爬虫实战：轻松抓取糗事百科热门内容

标题：Python爬虫实战：轻松抓取糗事百科 内容摘要：本文介绍了如何使用Python编写爬虫程序来抓取糗事百科的内容。文章详细讲解了从查看糗事百科的URL开始，到设置User-Agent、发送请求、获取返回数据，再到使用正则表达式匹配具体内容的整个过程。通过实际代码示例，读者可以轻松理解和掌握Python爬虫的基本操作和应用。

刚开始学习python爬虫，写了一个简单python程序爬取糗事百科。

具体步骤是这样的：首先查看糗事百科的url：http://www.qiushibaike.com/8hr/page/2/?s=4959489，可以发现page后的数据代表第几页。

然后装配request，注意要设置user_agent

 1 import urllib 2 import urllib2 3 import re 4 import time 5  6 page=2 7 f=open("D:\qiushi.txt","r+") 8 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 9 headers = {'User-Agent': user_agent}10 while page....<span>(.*?)</span>...',re.S)20         items=re.findall(pattern,content)21         f.write((url+"\n").encode('utf-8'))22         for item in items:23             print "------"24             item=item+"\n"25             print item26             f.write("------\n".encode('utf-8'))27             f.write(item.replace('<br>','\n').encode('utf-8'))28     except urllib2.URLError,e:29         if hasattr(e,"code"):30             print e.code31         if hasattr(e,"reason"):32             print e.reason33     finally:34         page+=135         time.sleep(1)

这里我是将找到的输出到d盘下的qiushi.txt文件

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。