yungfuu / web-crawl-on-douban-imdb

基于Selenium的豆瓣和IMDB的电影信息网络爬虫

Web-Crawl-on-Douban-IMDB

基于Selenium的豆瓣和IMDB的电影信息网络爬虫

金融编程与数据库的自选课程作业，该课程我很荣幸最后获得了A+的成绩。

背景：豆瓣电影和IMDb是两个著名的网站，为网站浏览者提供众多上映电影的相关信息和观众打分。本项目的目的是分别从这两个网站上收集电影的信息。

网址链接: Douban Movie: https://movie.douban.com/top250 IMDb: http://www.imdb.com/chart/top?ref_=nv_mv_250_6

要求：提交两段代码以实现以下功能。

1. 在任一代码中输入你要搜索的电影。
2. 每段代码返回一个csv文件，其中包含相应网站的以下信息。 a. 电影的名称 b. 上映日期 c. 电影的导演 d. 电影的主要男/女演员 e. 平均评分 f. 为电影评分的总人数 g. 电影的简要介绍
3. 如果输入一个电影列表，每个代码会返回多个csv文件。
4. 写两段代码，分别从两个网站返回包含上述前250部电影信息的两个csv文件。

以上功能全部实现，并能对错误结果调整搜索方式重新进行搜索，保证100%数据正确。 主要使用到的库：Selenium

Basic background: Douban Movie and IMDb are two famous websites providing website viewers with the related information and score rated by audience for numerous released movies. This project aims to scrape the information about movies from these two websites respectively.

Website link: Douban Movie: https://movie.douban.com/top250 IMDb: http://www.imdb.com/chart/top?ref_=nv_mv_250_6

Requirement: submit two pieces of code to realize the following function:

1. Enter the movie that you want to search in either code.
2. Each code returns one csv file with the following information from the corresponding website: a. The name of movie b. The release date c. The director(s) of the movie d. The main actors/actresses of the movie e. The average rating score f. The total amount of people who rated the movie g. The brief introduction of the movie
3. If entering a list of movies, each code returns multiple csv files.
4. Write two pieces of codes to return two csv files containing above information of top 250 movies from two websites respectively.