nagnero / finance-trading-assistance Goto Github PK

py-script를 사용하여 파이썬으로 짠 코드를 html에서 사용하려고 했으나 모듈을 import하는데 문제가 발생하여 py-script를 사용하지 못하는 이슈가 생김

https://finviz.com/map.ashx
해외증시란에 finviz 사이트에 있는 map형태를 가져오려고 하였으나 js형태로 만들어져 있어서 crawling에 어려움을 느낌.

원자재 페이지 정보 크롤링

SSLError Occur

vscode의 encoding 방식을 바꿔서 crawling은 됐지만 한글이 깨지는 현상이 발생.

axios api를 통해서 크롤링하여 정보를 가져오는 과정에서 사이트에 요청하고 응답을 안 하는 오류가 발생했음.

스크랩하여 csv로 저장한 데이터를 전처리하여 selenium을 이용해 검색 자동화하여 결과를 다른 파일에 저장

프로젝트 방향성

• npm에 uploading을 통해 사용자의 명령어를 통해 실행하는 방식
• web site를 github로 호스팅하여 데이터를 제공하는 방식

파이썬으로 크롤링한 정보를 json 형태로 바꾸기.