video_url_crawler_demo's Introduction

video_url_crawler_demo

视频网站的URL爬虫，使用MongoDB存储抓取到的数据
目前只支持爱奇艺
代码还在调试阶段

依赖

python 2.7
scrapy 1.3
selenium
pymongo
PhantomJS
MongoDB

使用

在settings.py文件中填写相应的配置信息

1.填写PhantomJS配置

根据实际的系统环境和文件路径配置以下两项

PLATFORM = 'win'	# 'win' or 'linux' or 'mac'
PHANTOMJS_PATH = 'D:/Program Files/Anaconda2/Scripts/phantomjs.exe'

2.填写数据库配置

如果开启了用户认证，需要将'auth'字段设置成True，并填写用户名和密码

# MongoDB database configure
DATABASE = {
	'server': 'localhost',
	'port': 27017,
	'auth': False,
	'user': '',
	'passwd': '',
	'db': 'video_box',	# database name
	'collection': 'aiqiyi',
}

3.配置爬虫信息

CRAWLER = {
	'spider': 'aiqiyi',
	'type_id_list': [2, 3],
	're_type_id': 'http://list.iqiyi.com/www/(\d+)/',
	'url_template': 'http://list.iqiyi.com/www/%s/-------------11-%s-1-iqiyi--.html'
}

spider: 爬虫的名字
type_id: 爱奇艺的视频类型,1:电影,2:电视剧,3:纪录片,4:动漫...
re_type_id：使用正则从URL中提取type_id
url_template: 爱奇艺的视频列表页面的通用URL，第一个%s为视频类型，第二个%s为页码
URL和类型码详见爱奇艺视频列表页面

4.启动程序

python launch.py

爬虫会抓取爱奇艺指定类型下的所有（从第一页到最后一页）的视频

运行结果

数据的存储结构如下：

{
	'title': 视频项的标题,
	'img_url': 视频的封面图地址,
	'main_url': 视频的抓取地址,
	'type_id': 爱奇艺的视频类型码,
	'status': 视频状态,0:还在更新,1:全集,
	'vedio_list': [
		{'set_name': 视频名称, 'set_url': 视频地址},
		......
	]
}