malloc0x3cc / oc_project02

Utilisez les bases de Python pour l'analyse de marché

OC_project02

Utilisez les bases de Python pour l'analyse de marché

Présentation

Le but de ce projet est d'écrire un script Python cappable de récuperer les données de tous les livres présents sur http://books.toscrape.com/, et de les regrouper par catégories dans des fichiers CSV.

Usage

Tout d'abbord, il faut s'assurer que Python 3 et PIP sont installés et de préférence à jour sur votre machine. Il faudra ensuite installer les dépendences necessaires au script:

pip install -r requirements.txt

La commande permantant de lancer le scrapping est la suivante:

python main.py

Une fois le script lancé, celui-ci créera un dossier exports dans lequel seront placées les données récuppérées, classés par catégorie.

oc_project02's Issues

Performance issue

Scraping 11 books from the travel_2 category took 14.203393459320068 seconds.
There is a need to optimize the scraping as much as possible.
Multi-threading should do the trick.
Multithreading: DONE
Async: Pending

Finish extraction

product_description, category, review_rating

README: multiple additions

• Link to extracted data .zip file
• Link to project page

Support for multiple pages

Only 20 books are shown on a single page, so the script should check if there is a button to view more books on another page.

Error handleling

Code review needed

Export bug

Multithreading of each book fucks up the output.
There are probably too many occurences at the time

Split script into multiple files

Self explaining