爬虫基础以及一个简单的实例-白红宇

爬虫基础以及一个简单的实例

阅读量：6217 次

发布时间：2019-06-21

本文共 8835 字，大约阅读时间需要 29 分钟。

最近在看爬虫方面的知识，看到崔庆才所著的《Python3网络爬虫开发实战》一书讲的比较系统，果断入手学习。下面根据书中的内容，简单总结一下爬虫的基础知识，并且实际练习一下。详细内容请见：（作者已把书的前几章内容对外公开）。

在写爬虫程序之前需要了解的一些知识：

爬虫基础：我们平时访问网页就是对服务器发送请求（Request），然后得到响应（Response）的一个过程。爬虫通过模仿浏览器，对网页进行自动访问。需要知道请求包含哪些内容，请求的方式有哪些，响应包含哪些内容。

网页结构：网页由HTML，CSS，JaveScript组成。需要知道其各自的作用是什么，还需要知道到哪个节点去获取自己想要的信息。

其他：了解会话（Session），Cookie，代理（Proxy）的作用。

爬虫流程：

爬取网页（获取网页源代码）：可使用的库有urllib，requests等；当然，现在很多网页都是动态加载的，对于这些网页，还需使用Selenium等库

解析网页（提取网页中我们需要的信息）：定位信息的方式有：正则表达式，XPath选择器，CSS选择器；可使用的库有re，lxml，Beautiful Soup等

保存结果（将结果保存至文件或数据库）：文件有txt，json等格式；数据库可选择MySQL，MongoDB等

下面让我们来实际操练一下：

实例目标：用requests库爬取猫眼电影网上top100的电影（排名，图片，电影名称，上映时间，评分），用正则表达式进行解析，然后将结果保存至txt文件

实例网址：

首先，导入requests库和re，json模块：

import requestsimport reimport json

其次，先定义一个爬取一个网页的方法：

def get_one_page(url):    headers={
   'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) \             AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}    response=requests.get(url,headers=headers)    if response.status_code==200:        return response.text    return None

这样，在main()方法里，我们设定好url，就可以把该网页源代码打印出来：

def main():    url="https://maoyan.com/board/4"    html=get_one_page(url)    print(html)

接下来，我们来仔细查看这个源代码，看看怎样用正则表达式把我们需要的信息提取出来。首先用浏览器打开这个网页，然后在浏览器里面选择开发者工具，在Network里查看网页源代码。下面截取一部分：


         
              
                   
        2018-12-30已更新
            
        榜单规则：将猫眼电影库中的经典影片，按照评分和评分人数从高到低综合排序取前100名，每天上午10点更新。相关数据来源于“猫眼电影库”。
            
                        
                                 
          1    
                 
           
            
             
             霸王别姬
 
              主演：张国荣,张丰毅,巩俐 
             上映时间：1993-01-01
 
            
 
            
             9.6

可以看到，电影的排名在一个dd节点下面：

因此，相应的正则表达式可以写为：<dd>.*?board-index.*?>(.*?)</i>

接下来，我们发现图片在一个a节点下面，但是有两张图片。经过检查，第二个img节点下的data-src属性是图片的链接：

因此，相应的正则表达式可以写为：.*?data-src="(.*?)" （注：因为这个会接在之前的正则表达式之后，因此最前面写上.*?即可。下同。）

再接下来，电影的名称，在一个p节点下面，class为"name"：

霸王别姬

相应的正则表达式可以写为：.*?name.*?a.*?>(.*?)</a>

上映时间，在一个p节点下面，class为"releasetime"：

上映时间：1993-01-01

相应的正则表达式可以写为：.*?releasetime.*?>(.*?)</p>

评分，在一个p节点下面，class为"score"：

9.6

相应的正则表达式可以写为：.*?score.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd> （注：最后用dd节点收尾）

把这些正则表达式连接起来，然后就可以用findall()方法查找出所有符合条件的内容。完整的正则表达式如下：


     
      .*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?releasetime.*?>(.*?)
      
.*?score.*?integer">(.*?).*?fraction">(.*?).*?

下面，我们再定义一个解析网页的方法：

def parse_one_page(html):    pattern=re.compile('
     
      .*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?releasetime.*?>(.*?)
      
.*?score.*?integer">(.*?).*?fraction">(.*?).*?
     
', re.S)    result=re.findall(pattern, html)    return result

这里需要注意，在定义正则表达式的pattern时，必须加上re.S修饰符（匹配包括换行符在内的所有字符），否则碰到换行就无法进行匹配。

输出的匹配结果如下：

[('1', 'https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '上映时间：1993-01-01', '9.', '6'), ('2', 'https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', '肖申克的救赎', '上映时间：1994-10-14(美国)', '9.', '5'), ('3', 'https://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', '罗马假日', '上映时间：1953-09-02(美国)', '9.', '1'), ('4', 'https://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', '这个杀手不太冷', '上映时间：1994-09-14(法国)', '9.', '5'), ('5', 'https://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', '教父', '上映时间：1972-03-24(美国)', '9.', '3'), ('6', 'https://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', '泰坦尼克号', '上映时间：1998-04-03', '9.', '5'), ('7', 'https://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '上映时间：1993-07-01(中国香港)', '9.', '2'), ('8', 'https://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', '千与千寻', '上映时间：2001-07-20(日本)', '9.', '3'), ('9', 'https://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', '魂断蓝桥', '上映时间：1940-05-17(美国)', '9.', '2'), ('10', 'https://p0.meituan.net/movie/230e71d398e0c54730d58dc4bb6e4cca51662.jpg@160w_220h_1e_1c', '乱世佳人', '上映时间：1939-12-15(美国)', '9.', '1')]

可以看出，上述的格式还是有些杂乱，让我们修改一下解析网页的方法，使其变为整齐的结构化数据：

def parse_one_page(html):    pattern=re.compile('
     
      .*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?releasetime.*?>(.*?)
      
.*?score.*?integer">(.*?).*?fraction">(.*?).*?
     
', re.S)    result=re.findall(pattern, html)    for item in result:        yield {
   "index": item[0], "movie_name": item[2],\                "pic": item[1], "release": item[3],\                "score": item[4]+item[5]}

现在匹配结果变成了字典格式：

{
   'index': '1', 'movie_name': '霸王别姬', 'pic': 'https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', 'release': '上映时间：1993-01-01', 'score': '9.6'}{
    'index': '2', 'movie_name': '肖申克的救赎', 'pic': 'https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', 'release': '上映时间：1994-10-14(美国)', 'score': '9.5'}{
    'index': '3', 'movie_name': '罗马假日', 'pic': 'https://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', 'release': '上映时间：1953-09-02(美国)', 'score': '9.1'}{
    'index': '4', 'movie_name': '这个杀手不太冷', 'pic': 'https://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', 'release': '上映时间：1994-09-14(法国)', 'score': '9.5'}{
    'index': '5', 'movie_name': '教父', 'pic': 'https://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', 'release': '上映时间：1972-03-24(美国)', 'score': '9.3'}{
    'index': '6', 'movie_name': '泰坦尼克号', 'pic': 'https://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', 'release': '上映时间：1998-04-03', 'score': '9.5'}{
    'index': '7', 'movie_name': '唐伯虎点秋香', 'pic': 'https://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', 'release': '上映时间：1993-07-01(中国香港)', 'score': '9.2'}{
    'index': '8', 'movie_name': '千与千寻', 'pic': 'https://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', 'release': '上映时间：2001-07-20(日本)', 'score': '9.3'}{
    'index': '9', 'movie_name': '魂断蓝桥', 'pic': 'https://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', 'release': '上映时间：1940-05-17(美国)', 'score': '9.2'}{
    'index': '10', 'movie_name': '乱世佳人', 'pic': 'https://p0.meituan.net/movie/230e71d398e0c54730d58dc4bb6e4cca51662.jpg@160w_220h_1e_1c', 'release': '上映时间：1939-12-15(美国)', 'score': '9.1'}

接下来要将结果写入txt文件，这里定义一个写入文件的方法：

def write_to_file(result):    with open ("result.txt","a") as f:        f.write(json.dumps(result, ensure_ascii=False)+'\n')

然后在main方法里将结果逐行写入文件：

def main():    url="https://maoyan.com/board/4"    html=get_one_page(url)    result=parse_one_page(html)    for i in result:        write_to_file(i)

这里有几个需要注意的地方：1，由于需要将结果逐行写入，因此文件用"a"方式打开，a也就是append。

2，由于需要将结果逐行写入，因此将结果写入文件时最后加上换行符"\n"。

3，由于结果是字典格式，无法直接写入文件，需要先用json.dumps方法把字典转为字符串，但是这样会导致中文乱码。根据json.dumps方法的注释，如果将ensure_ascii设为false，那么写入的字符串可以包含非ASCII字符，否则，所有这些字符都会在JSON字符串中转义。也就是说将参数ensure_ascii设为False可以使中文（UTF-8编码）不经过转义，也就不会乱码。

至此，第一页网页就已经全部爬取成功了。但是一共有10页这样的网页，我们打开第二个网页和第三个网页看一下。可以发现，第二个网页的url变为：https://maoyan.com/board/4?offset=10，第三页网页的url则是：https://maoyan.com/board/4?offset=20。可以发现规律就是多了一个offset参数，那么我们把1~10页的网页爬取url设置从offset为0，一直到offset为90，就可以爬取所有网页了。

由于我们在main方法里设定了爬取url，因此我们给main方法增加一个输入参数，也就是offset偏移值，这样，我们就能爬取我们想要的网页了。最后，再增添一个循环语句，用于爬取各种offset的网页，这样，一个简单的爬虫程序就完成了。

我们再把代码重新整合一下，并且由于现在猫眼多了反爬虫，如果爬取速度过快，会没有响应，因此，需要加上一个延时。

完整代码如下：

import requestsimport reimport jsonimport timedef get_one_page(url):    try:        headers={
   'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) \                 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}        response=requests.get(url, headers=headers)        if response.status_code==200:            return response.text        return None    except requests.RequestException:        print("Fail")def parse_one_page(html):    pattern=re.compile('
     
      .*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?releasetime.*?>(.*?)
      
.*?score.*?integer">(.*?).*?fraction">(.*?).*?
     
', re.S)    result=re.findall(pattern, html)    for item in result:        yield {
   "index": item[0], "movie_name": item[2],\                "pic": item[1], "release": item[3],\                "score": item[4]+item[5]}def write_to_file(result):    with open ("result.txt","a") as f:        f.write(json.dumps(result, ensure_ascii=False)+'\n')def main(offset):    url="https://maoyan.com/board/4?offset={}".format(offset)    html=get_one_page(url)    result=parse_one_page(html)    for i in result:        write_to_file(i)if __name__=='__main__':    for i in range(10):        main(offset=i*10)        time.sleep(1)

转载于:https://www.cnblogs.com/HuZihu/p/10201445.html

你可能感兴趣的文章

Linux内核2.6.14源码分析-双向循环链表代码分析(巨详细)

编程语言中的“贵族” C++国际软件工程师

查看>>

iOS 之编外知识点

查看>>