当前位置：首页 > 文章列表 > 数据库 > MySQL > 【爬虫】菜鸟教程，支持翻页，存储

【爬虫】菜鸟教程，支持翻页，存储

来源：SegmentFault 2023-01-18 13:19:19 0浏览收藏

怎么入门数据库编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《【爬虫】菜鸟教程，支持翻页，存储》，涉及到MySQL、python，有需要的可以收藏一下

1、项目简介

豆瓣相信很多人都爬过，我也把我的方法拿出来交流学习，我也是菜鸟过来的，不会省略代码，此教程纯属娱乐，大神勿喷。

2、工具

requests
re
pygal
mysql
Anacond2

3、爬虫完整代码

https://dev.mysql.com/downloa...

值得一提的是，mysql的安装，window版的mysql安装起来说实话还是比较麻烦的，我装了很久，没成功，最后选择下载压缩版安装。安装完之后，在mysql目录下创建my.ini配置文件，输入以下代码：

点这里

我们用第一个(.*?)非贪婪匹配来匹配序号，接着用.*?贪婪匹配匹配不需要的代码，往后同样用非贪婪匹配来匹配我们需要的信息。

接着用strip()方法去除空格。返回得到的字符串pageStories。

6.3 数据存储

def save_data(): 
    Dbdata=filterpage() #传参
    db=MySQLdb.connect(host='localhost',user='root',passwd='suyu.123',db='movie',charset='utf8') # 链接数据库
    cursor=db.cursor() # 定义游标
    for a in Dbdata:   # 迭代存储数据
        id=a[0]
        name=a[1]
        grade=a[2]
        value=[id,name,grade]
        cursor.execute('insert into movie_info values(%s,%s,%s)',value) # sql命令存数据
        db.commit()   # 别忘记提交变更

python操作mysql，感觉没啥好讲的了。。

6.4主函数

def main(): pageStories=filterpage() # 传参 for story in pageStories: # 迭代打印 try: print u"序号：",story[0],u"电影名：",story[1], u"\t评分：", story[2] except: pass

主函数主要是用来打印出我们抓取的数据。

`6.5运行程序`


if __name__ == '__main__':
    get_url = 'https://movie.douban.com/top250/' # 起始网页
    i=1
    while i 
通过豆瓣top250的页面分析可以知道，总共有10页，所以我们设置ihttps://movie.douban.com/top250，第二页就是：https://movie.douban.com/top2...，这样的网页有规律，我喜欢，所以我们可以用迭代来表示所有网页，豆瓣业界良心啊。
7、运行结果

GitHub地址：https://github.com/legolas-ze...

还有剩下的svg统计图，就下次更新吧。
以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于数据库的相关知识，也可关注golang学习网公众号。