精通Python网络爬虫：核心技术、框架与项目实战

应用于搜索引擎中对站点进行爬取收录，应用于数据分析与挖掘中对数据进行采集，应用于金融分析中对金融数据进行采集，除此之外，还可以将网络爬虫应用于舆情监测与分析、目标客户数据的收集等各个领域。

如何覆盖互联网中更多的优质网页？又如何筛选这些重复的页面？

不仅要了解爬虫如何实现，还需要知道一些常见爬虫的算法

大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集，去掉很多无关数据。

就业的角度来说，爬虫工程师目前来说属于紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。

网络爬虫由控制节点、爬虫节点、资源库构成。

网络爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型。在实际的网络爬虫中，通常是这几类爬虫的组合体。

首先我们为大家介绍通用网络爬虫（General Purpose Web Crawler）。通用网络爬虫又叫作全网爬虫，顾名思义，通用网络爬虫爬取的目标资源在全互联网中。通用网络爬虫所爬取的目标数据是巨大的，并且爬行的范围也是非常大的，正是由于其爬取的数据是海量数据，故而对于这类爬虫来说，其爬取的性能要求是非常高的。这种网络爬虫主要应用于大型搜索引擎中，有非常高的应用价值。 通用网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等构成。通用网络爬虫在爬行的时候会采取一定的爬行策略，主要有深度优先爬行策略和广度优先爬行策略。具体的爬行策略，我们将在第3章讲解，在此，我们只需要知道通用网络爬虫的基本构成和主要的爬行策略。

深层页面则隐藏在表单后面，不能通过静态链接直接获取，是需要提交一定的关键词之后才能够获取得到的页面。在互联网中，深层页面的数量往往比表层页面的数量要多很多，故而，我们需要想办法爬取深层页面。

深层网络爬虫主要由URL列表、LVS列表（LVS指的是标签/数值集合，即填充表单的数据源）、爬行控制器、解析器、LVS控制器、表单分析器、表单处理器、响应分析器等部分构成。

爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。下面我们将分别进行介绍。

如果单纯按反链策略去决定一个网页的优先程度的话，那么可能会出现大量的作弊情况。比如，做一些垃圾站群，并将这些网站互相链接，如果这样的话，每个站点都将获得较高的反链，从而达到作弊的目的。作为爬虫项目方，我们当然不希望受到这种作弊行为的干扰，所以，如果采用反向链接策略去爬取的话，一般会考虑可靠的反链数。

OPIC策略、Partial PageRank策略等。

搜索引擎查询某个关键词的时候，会出现一个排名结果，在排名结果中，通常会有大量的网页，但是，大部分用户都只会关注排名靠前的网页，所以，在爬虫服务器资源有限的情况下，爬虫会优先更新排名结果靠前的网页。这种更新策略，我们称之为用户体验策略，那么在这种策略中，爬虫到底何时去爬取这些排名结果靠前的网页呢？此时，爬取中会保留对应网页的多个历史版本，并进行对应分析，依据这多个历史版本的内容更新、搜索质量影响、用户体验等信息，来确定对这些网页的爬取周期。

Robots协议是需要网络爬虫共同遵守的协议，对于一些禁止的URL地址，网络爬虫则不应爬取访问。同时，如果爬虫在爬取某一个站点时陷入死循环，造成该站点的服务压力过大，如果有正确的身份设置，那么该站点的站长则可以想办法联系到该爬虫方，然后停止对应的爬虫程序。 当然，有些爬虫会伪装成其他爬虫或浏览器去爬取网站，以获得一些额外数据，或者有些爬虫，会无视Robots协议的限制而任意爬取。从技术的角度来说，这些行为实现起来不难，但是这些行为是我们不提倡的，因为只有共同遵守一个良好的网络规则，才能够达到爬虫方和站点服务方的双赢。

开发网络爬虫的语言有很多，常见的语言有：Python、Java、PHP、Node.JS、C++、Go语言等。以下我们将分别介绍一下用这些语言写爬虫的特点： ❑Python：爬虫框架非常丰富，并且多线程的处理能力较强，并且简单易学、代码简洁，优点很多。 ❑Java：适合开发大型爬虫项目。 ❑PHP：后端处理很强，代码很简洁，模块也较丰富，但是并发能力相对来说较弱。 ❑Node.JS：支持高并发与多线程处理。 ❑C++：运行速度快，适合开发大型爬虫项目，成本较高。 ❑Go语言：同样高并发能力非常强。 以上分别介绍了写爬虫的常见实现技术，本书中，笔者将会以Python语言为例，带领大家一步步的地学好爬虫的开发。

可以从官网下载metaseeker工具（http://www.gooseeker.com/pro/product.html），进入后，选择第三种方案下载

3.8 小结 1）聚焦网络爬虫，由于其需要有目的地进行爬取，所以对于通用网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通用网络爬虫多出3步，即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选取。 2）常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略。 3）聚类分析可以依据商品之间的共性进行相应的处理，将共性较多的商品聚为一类。 4）在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，此时，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。 5）开发网络爬虫的语言有很多，常见的语言有Python、Java、PHP、Node.JS、C++、Go语言等。 6）metaseeker是一款比较实用的网站数据采集程序，使用该采集程序，可以让大家比较快速、形象地了解爬虫的工作过程。

Python2.X中，分Urllib库和Urllib2库，Python3.X之后合并到Urllib库中

）file.read()读取文件的全部内容，与readlines不同的是，read会把读取到的内容赋给一个字符串变量。 2）file.readlines()读取文件的全部内容，与read不同的是，readlines会把读取到的内容赋给一个列表变量，若要读取全部内容，推荐使用这种方式。 3）File.readline()读取文件的一行内容。

>>> fhandle=open("D:/Python35/myweb/part4/1.html", "wb")
>>> fhandle.write(data)
99437
>>> fhandle.close()

urlretrieve()函数直接将对应信息写入本地文件

Urlretrieve执行的过程中，会产生一些缓存，如果我们想清除这些缓存信息，可以使用urlcleanup()进行清除，输入如下代码即可清除Urlretrieve执行所造成的缓存： 
>>> urllib.request.urlcleanup()

file.getcode()

如果想要获取当前所爬取的URL地址，我们可以使用geturl()来实现

import urllib.request
url= "http://blog.csdn.net/weiwei_pig/article/details/51178226"
headers=("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data=opener.open(url).read()