jukrap / bookinfodatacrawler

서적 데이터를 크롤링하고 가공하는 프로그램.

BookInfoDataCrawler

서적 데이터 크롤링 및 가공 프로그램

개요

서적 추천 AI를 제작하고 파인튜닝하기 위해 서적 데이터를 크롤링하고 가공하는 프로그램.

상세

개발 인원

• 박주철
  • 개발 환경 구축
  • 프로그램 구상
  • 프로그램 개발

개발 기술

본 프로젝트 개발에 사용된 라이브러리 및 파이프라인입니다.

• node.js - 자바스크립트를 백엔드에서 실행할 수 있는 런타임 환경.
• axios - HTTP 요청을 보내고 받는 기능을 제공하는 자바스크립트 라이브러리.
• SheetJS - 엑셀 파일을 읽고 쓰는 기능을 제공하는 자바스크립트 라이브러리.
• iconv-lite - 문자 인코딩 및 디코딩을 처리하는 기능을 제공하는 자바스크립트 라이브러리.

개발 환경

종류	목록
사용 언어	JavaScript
개발 도구	Visual Studio Code
데이터베이스	JavaScript Object Notation (JSON), Comma-Separated Values (CSV)
OS 환경	Windows 10

포크 & 모듈 & 리포지토리

본 프로젝트의 포크 혹은 분리되어 개발된 모듈 혹은 관련된 추가 리포지토리 목록입니다.

• BookRecommendationHelper Repository - 사용자에게 책을 추천해주는 Flask 프로젝트 Repository입니다.
• BookInfoDataCrawler Repository - 책 데이터를 크롤링 및 1차적으로 가공해서 큰 데이터베이스로 만들어주는 node.js Repository입니다. (현 Repository)

---