python 爬虫求教
python爬虫，requests非常好用，建议使用。匹配结果使用re正则，列：
# -*- coding:utf-8 -*-
import re
str1 = """
...
"""
title = re.search(r'', str1)
if title:
print(title.group(1))
rating = re.search(r'', str1)
if rating:
print(rating.group(1))
Python中怎么用爬虫爬
抛开编程语言不讲，爬虫的步骤和原理
通过http请求获取到网页的内容
通过分析网页内容获取到有效的信息
将获取到的数据存储起来
通过大量的数据进行分析，生成报告
这是爬虫的一个基本流程
那么为什么使用python呢
因为python的开发效率高，而且主流的爬虫框架，python最为优秀
这样的结果导致，更多的人加入到python社区中去
形成了一个良性的循环，发展越来愈好
那么通过python编程语言按照以上的流程步骤，就可以爬取到有效的信息了
怎样避开豆瓣对爬虫的封锁，从而抓取豆瓣上电影内容
多IP，清COOKIES，伪造机器码
如何用爬虫爬取网页上的数据
用爬虫框架Scrapy， 三步
定义item类
开发spider类
开发pipeline
如果你想要更透的信息，你可以参考《疯狂python讲义》
Python爬虫之《电影天堂》电影详情 下载地址爬取
纪念自学Python以来，自己成功写出的第一个爬虫程序......
Python爬虫实战，Python多线程抓取5千多部最新电影下载链接
利用Python多线程爬了5000多部最新电影下载链接，废话不多说~
让我们愉快地开始吧~
Python版本： 3.6.4
相关模块：
requests模块；
re模块；
csv模块；
以及一些Python自带的模块。
安装Python并添加到环境变量，pip安装需要的相关模块即可。
拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接
但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配
我们首先先拿到总页码，然后用多线程来进行任务的分配
总页数其实我们用re正则来获取
爬取的内容存取到csv，也可以写个函数来存取
开启4个进程来下载链接
您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。
