【拓展】多线程的展开

一、实验说明

1. 环境登录

无需密码自动登录，系统用户名shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序：

1.Xfce 终端: Linux命令行终端，打开后会进入 Shell 环境，可以使用Linux命令 2. Firefox：浏览器，可以用在需要前端界面的课程里，只需要打开环境里写的HTML/JS页面即可 3. GVim：非常好用的编辑器，最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用GVim编辑器输入实验所需的代码及文件，使用终端运行所需命令进行操作。

实验报告可以在个人主页中查看，其中含有每次实验的截图及笔记，以及每次实验的有效学习时间（指的是在实验桌面内操作的时间，如果没有操作，系统会记录为发呆时间）。这些都是您学习的真实性证明。

实验楼虚拟机，自带了python2.X和python3.X版本，无需安装 该实验建议使用 python2.7 版本， 也就是默认版本

二、课程介绍

本节课程主要讲解下 python 的 threading 模块

本次爬虫的速度取决于图片下载速度和链接打开速度，如果你将前面三节的代码连起来下载，你会发现速度不算快，不会超过120k吧。但是呢，一个爬虫多个分身一起工作，那就能大大提高效率

三、实验代码

import re
import urllib2
import meizi_series_nextpage
import threading

def loadurl(url):
    try:
        conn = urllib2.urlopen(url,data=None,timeout=5)
        html = conn.read()
        return html
    except urllib2.URLError:
        return ''
    except Exception:
        print("unkown exception in conn.read()")
        return ''

def meizi(url,path):
    reTagContent = '<div.*?class="tags">.*?<span>(.*?)</span>'
    reTagUrl = '<a.*?href="(.*?)".*?>'
    print 'start open meiziwang'
    html = ''
    while True:
        html = loadurl(url)
        if html == '':
            print 'load', url,'error'
            continue
        else:
            break
    tagContent = re.findall(reTagContent, html, re.S)
    taglists = re.findall(reTagUrl, tagContent[0], re.S)
    taglists = sorted(list(set(taglists)))
    print 'open meiziwang over'
    #print len(taglists)
    threads = []
    for url in taglists:
        t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()

代码其实是基础课最后一节的代码

#导入threading模块
import threading

    #创建线程列表，这里的缩进，直接和上面对应，看仔细
    threads = []
    #循环，tag的url对应一个线程，传入参数，引用Thread函数，再加入到线程列表中，像不像高阶函数？
    for url in taglists:
        t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
        threads.append(t)
    #启动线程列表中的线程，start()
    for t in threads:
        t.start()
    #等待线程列表中的线程自动结束---如果没有这段代码，在这个函数(def meizi(url,path))结束，其余的线程会乖乖的结束
    for t in threads:
        t.join()

现在你可以将前面几个小节的代码改为多线程的了。

现在查看下网速，是不是火力全开下图片？

四、课程总结

本次爬虫的讲解，到这里就全部结束了(单线程到上一节结束)，主要知识点分几个：

• urllib2模块，获得HTML代码
• re模块，解析HTML代码，获得我们想要的
• os模块和内置函数open，写文件和操作文件夹
• threading模块，增加线程以达到加速爬虫效率的目的

这些模块的使用，都不难，难的是思路，第一、二、三、四节大量讲了函数之间的参数传递（文件路径和url链接路径的拆解、合并），只有这一节主要精力放在代码上。

对爬虫感兴趣，建议学习scrapy 这个爬虫框架。