【爬虫】菜鸟教程，支持翻页，存储

怎么入门数据库编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《【爬虫】菜鸟教程，支持翻页，存储》，涉及到MySQL、python，有需要的可以收藏一下

1、项目简介

豆瓣相信很多人都爬过，我也把我的方法拿出来交流学习，我也是菜鸟过来的，不会省略代码，此教程纯属娱乐，大神勿喷。

2、工具

• requests
• re
• pygal
• mysql
• Anacond2

3、爬虫完整代码

https://dev.mysql.com/downloa...

点这里

我们用第一个(.*?)非贪婪匹配来匹配序号，接着用.*?贪婪匹配匹配不需要的代码，往后同样用非贪婪匹配来匹配我们需要的信息。

• 接着用strip()方法去除空格。返回得到的字符串pageStories。

6.3 数据存储

def save_data(): 
    Dbdata=filterpage() #传参
    db=MySQLdb.connect(host='localhost',user='root',passwd='suyu.123',db='movie',charset='utf8') # 链接数据库
    cursor=db.cursor() # 定义游标
    for a in Dbdata:   # 迭代存储数据
        id=a[0]
        name=a[1]
        grade=a[2]
        value=[id,name,grade]
        cursor.execute('insert into movie_info values(%s,%s,%s)',value) # sql命令存数据
        db.commit()   # 别忘记提交变更

• python操作mysql，感觉没啥好讲的了。。

6.4主函数

def main(): pageStories=filterpage() # 传参 for story in pageStories: # 迭代打印 try: print u"序号：",story[0],u"电影名：",story[1], u"\t评分：", story[2] except: pass

• 主函数主要是用来打印出我们抓取的数据。

6.5运行程序