项目名称

mini-spider

背景

在调研过程中，经常需要对一些网站进行定向抓取。这是一个使用Go语言开发的迷你定向抓取器，实现对种子链接的抓取，并把URL长相符合特定正则表达式的网页保存到磁盘上。

主要功能

实现对种子链接的爬取，并把URL符合特定正则表达式的网页保存到磁盘上。

快速开始

构建

在项目根目录下执行如下命令：

sh build.sh

默认生成三个目录，其中bin用于存放可执行程序，log用于存放日志，output用于存放下载的网页。

参数

• -h 显示帮助
• -c 指定配置文件目录 默认../conf
• -l 指定日志文件目录 默认../log
• -v 显示版本

设计思路

程序初始化

• 读取命令行参数、初始化日志、读取配置文件、种子文件
• 创建并初始化Scheduler，调用其Start方法开始调度

调度主要逻辑

• 退出for循环的条件是任务队列为空且channel为空
• 每次循环，Scheduler从任务队列中取出任务，然后执行任务

任务执行主要逻辑

• 判断当前任务的深度，大于等于MaxDepth则返回
• 判断当前任务的URL是否已经爬取过，若是则直接返回，否则开启go routine异步执行任务
• 获取当前任务的域名（站点），检查是否满足爬取间隔的要求
• 根据URL爬取网页，失败则记录日志并返回
• 判断其Content-Type是不是文本，不是则记录日志并返回
• 将爬取到的网页转换成UTF-8格式
• 判断该URL是否满足目标正则表达式，若满足则将其保存至磁盘
• 解析爬取到的网页，将其子URL加入任务队列

并发控制

• 最大并发数通过buffered channel控制

控制抓取间隔

• 通过sync.Map和time.Timer实现
• sync.Map的Key为hostname，Value为timer
• 每次执行抓取任务前通过任务的URL解析出hostname，通过hostname拿到该站点的timer，等待timer的剩余时间后，重置timer执行抓取任务

优雅退出

• 引入useless task保证taskChan在taskQue排空之前排空，详见代码和注释

测试

除main包外，每个包下都有单元测试代码，可进行测试。

需要注意的是，在scheduler包内，由于多个测试函数都有创建目录、删除目录操作，进行测试时需要限制并发数为1，可执行如下命令进行测试：

go test -parallel 1