python3.6+scrapy+mysql 爬虫实战

小伙伴们有没有觉得学习数据库很有意思？有意思就对了！今天就给大家带来《python3.6+scrapy+mysql 爬虫实战》，以下内容将会涉及到MySQL、python、网页爬虫、scrapy、python爬虫，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

最近闲着，把之前写的小爬虫分享一下，才疏学浅，仅当参考。

[介绍文档]

git clone git@github.com:caffreycc/jb51.com_crawler.git

或者直接到https://github.com/caffreycc/jb51.com_crawler.git 下载zip文件

pip install -r requirements.txt

• 第三步：修改配置Config.py:

    Config.py 为项目配置文件

    host = '127.0.0.1' #改成你的数据库地址，如果需要保存在线服务器请填写数据库IP
    dbname = 'your database naem'  # 数据库名字，请修改
    user = 'your databse user'  # 数据库账号，请修改
    psw = 'your password'  # 数据库密码，请修改
    port = 3306  # 数据库端口，在dbhelper中使用,一般无需修改

• 第四步：运行小爬虫

    命令行cd到你的项目文件夹，运行以下命令：
    或者直接在你的爬虫文件夹内shift + 右键 打开命令提示符或者powershell，运行以下命令
    scrapy crawl Common_crawler

    爬取的内容会自动保存到 config.py 中配置的mysql数据库中

问题反馈

　　有任何关于项目的问题欢迎提issues

贡献代码

本项目基于PythonCrawler-Scrapy-Mysql-File-Template开发，感谢作者@lawlite19（https://github.com/lawlite19）的开源分享精神。

项目地址： python3.6+scrapy+mysql 爬虫实战

理论要掌握，实操不能落！以上关于《python3.6+scrapy+mysql 爬虫实战》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！