aws-covid-analytics's People
Forkers
juimdppaws-covid-analytics's Issues
소회의 2021-09-28
Goals / agenda
- 스캐쥴
- 역할 분담
- 경제쪽 그래프 내용
Discussion notes
- 10/22까지는 하나의 그래프가 나오도록
- 소주제 하나씩
- 대기오염 : 현수
- 실업률 : 레이첼
- 주가 : 혜주
- 11/19까지는 각자 일 완료. 웹사이트 빌딩 시작 (대시보드 올리기)
- 각자 중간 발표까지 어떤거 할 지 정해서 이번주 금요일 회의
Action items
- 금요일까지: 각자 중간 발표까지 어떤거 할 지 정하기
회의 2021-09-24
Goals / agenda
- 자료조사 결과 공유
- AWS architecture 디자인 ⇒ @hyunsoo Kim
- infrastructure 만들기 → cloudformation 이용 ⇒ @hyunsoo Kim
- 시간표 만들기 ⇒ 다음 주
Discussion notes
-
자료조사 결과 공유:
- 해양오염도 → 데이터셋이 부족하고, 플라스틱 배출량과 겹친다 ⇒ 빼야할수도 있음
- 지도에서 바다를 누르면 → 미세플라스틱 농도, chemical를 그래프로 나타내기
-
쓰레기 배출량 → 최근 데이터가 별로 없음 ⇒ 한계점이 있을 수 있음
- 대기오염도
- 지도 + 히트맵 + 코로나 확진자 변화량
- 해양오염도 → 데이터셋이 부족하고, 플라스틱 배출량과 겹친다 ⇒ 빼야할수도 있음
-
주제 살짝 변경해서, 긍정적 부정적으로 딱 나누지 말고, 그냥 코로나가 환경에 끼치는 영향으로 바꾸기
&& 다른 주제도 함께 하기-
경제
-
과거의 데이터를 기반으로 미래의 활동 예측 (use machine learning, and other methods)
-
경제:
-
stock markets (which sectors will be better or worse - travel, hospitality, tourism, oil and gas, OTT, weight loss - healthcare, energy...), compare with other virus outbreaks
- stock market API: https://github.com/ranaroussi/yfinance
-
배달음식 revenue, market share etc.
-
employment rate
-
소비 (금액, 분야...)
Pick only few important countries (US, EU, 중국, 대만, 한국, 일본, 독일, 인도, UK, 러시아...)
- GDP of the world: https://www.worldometers.info/gdp/gdp-by-country/
- 소비자 물가지수: (월마다 있음, 대신 데이터가 정리가 안 되어 있음)https://www.korea.kr/archive/expDocView.do?docId=39532
-
-
코로나 블루
effect of covid on mental health and predict whether there will be any improvements
- COVIDiSTRESS 설문 조사 메타데이터 https://www.nature.com/articles/s41597-020-00784-9 (2020년 4월까지 - 한국 없음)
- U.S. Census Bureau 설문조사 (2021년 7월 기준) → NHIS 2019 data랑 비교할 수 있음 https://www.cdc.gov/nchs/covid19/pulse/mental-health.htm
-
Marriage and divorce rates https://www.koreabiomed.com/news/articleView.html?idxno=10465
- 한국 혼인/이혼 건수 (1981.01 ~ 2021.06) https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1B8000G&conn_path=I2 → 세계 평균이나 미국이랑 비교
-
한국 경제지표: https://www.korea.kr/archive/expDocView.do?docId=39555&group=S
-
Sample social impact dashboard: https://kingcounty.gov/depts/health/covid-19/data/impacts.aspx
-
다른 "위기"와 비교 (예: IMF와 비슷한 impact였다, 메르스때와 비슷하다...)
-
세금
-
what post covid will look like (use "with covid" countries to predict the future for other countries)
-
investment plans in diverse sectors
-
-
코로나 이후 관심을 갖는 키워드
코로나 전후 비교 → 구글 트렌드 + 뉴스 기사
- 2020년 전세계 핫 키워드
- Coronavirusmore_vert
- Election resultsmore_vert
- Kobe Bryantmore_vert
- Zoommore_vert
- IPLmore_vert
- India vs New Zealandmore_vert
- Coronavirus updatemore_vert
- Coronavirus symptomsmore_vert
- Joe Bidenmore_vert
- Google Classroom
- 구글 트렌드
- 올해의 키워드 등 인기 검색어를 보여줌
- 각 키워드 별로 기간 별 검색량을 다운받을 수 있음
- but raw data 찾기는 어려움
- 직접 제공하는 API는 없음, 여기저기에 API 있음
- 뉴스 기사 제목 크롤링
- SNS 데이터 (Twitter, Instagram)
-
트위터
- 공식 API (Tweepy) 존재 but 7일 이전 데이터만 제공
- GetOldTweets 라는 것도 존재 (https://jeongwookie.github.io/2019/06/10/190610-twitter-data-crawling/)
-
인스타그램
- 공식 API 존재하지 않음
- 해시태그 수로 정보 가져올 수 있지 않을까
-
- 구글 트렌드로 상위 키워드 찾고 그 키워드에 대해 돌려야할듯
- 2020년 전세계 핫 키워드
아이디어:
- 경제와 연관 시킬 수 있는 키워드 → 그 키워드에 대한 데이터를 더 보여주기
- 경제 → 각종 데이터를 통해서 미래활동 예측
- 배달음식에 대한 데이터
- 주가: 다른 질병, 경제적 위기과 다 같이 보고 비교하기
최종 결과
-
주가 (그중 가장 많이 오른, 많이 망한 케이스 분석), 실업율, 대기오염도: 다른 질병, 경제적 위기과 다 같이 보고 비교하기 → 상관관계 찾기
원하는 최종 결과:
- 대기오염도: 히트맵
- 주가: 발병 전과 후의 자산규모, 인덱스를 candle stick으로 표현, sector (의료, 관강, ...) 별로 크기 비교
- 아니면 sector를 눌러서 → candle stick
- 다른 질병들 그래프로 같이
- 실업율:
- graph (전과 후를 극명하게)
- 다른 질병들 그래프로 같이
- 다른 질병:
- SARS, Ebola, Mers, Swine Flu
- 경제 위기:
- global: 2007-2008 경제위기
- 나라별 경제위기를 이용해서 나라별 주가, 실업율 변동
-
Action items
- @hyunsoo Kim zoom static link
- 발표 자료 (30일 저녁 10시까지): @혜듀 @Rachel Gan
- 조교님께 프로포절 내용 및 시간에 관한 메일 보내기
- PPT 만들기
- https://docs.google.com/presentation/d/1oCa8FtwiqG9XK7nv8xwEi6UmjHa3v1FpuDiho80Zdsg/edit#slide=id.p
- 발표 → @hyunsoo Kim
- aws architecture 잡아놓기 → @hyunsoo Kim
회의 2021-10-01
Goals / agenda
- 역할 분담
- Roadmap 정하기
- 각자 자료 공유 + 피드백
-
시스템 아키텍처 설명? - 상세스펙에 뭐 들어가야할지
- 데이터셋 어떤거 쓸지
- 데이터 수집과 이관하는 아키텍처를 3개 이상 구현
- 서로 다른 4개 이상의 AWS 서비스를 사용해 데이터 분석 아키텍처 (현재까지는 Athena만 있는것 같음?)
- 상현님께 논의할 내용
Discussion notes
-
각자 자료 공유
-
시각화
- Quicksight 사용하면 대시보드 제공하기 때문에 웹사이트 안 만들어도됨
- But 우리가 원하는 그래프 그리려면 웹사이트 필요
- → Quicksight를 한 번은 사용하지만 그 외의 것도 사용
- https://www.tradingview.com/ideas/react/
-
상현님 회의
- 주제
- 사용할 데이터
- 최종 결과물 형태
- 아키텍쳐
- 협업 → 회의록 공유
-
난이도 높일 방법
- 웹사이트 interactive
- 퀵사이트로 할 수 없는 3D
- confirmed case를 지도 위에 쓰리디 차트로 쫙
- 실시간 data 활용
- 머신러닝/AI
- 코로나 확산 예측 → 논문 많음. 이 중 하나 잡고 AWS 서비스 사용해서 한다
상현님과의 회의:
- 중간발표때 직접 코딩, 프로세싱하면서 데모
- 슬랙으로 회의록 공유
- 충분히 챌린징하다. 다만 코로나 데이터는 데이터분석의 예시일뿐, 핵심은 데이터분석 스킬을 사용하는것이다.
정리
- 우리가 내놓는 결과물이 충분히 챌린징하지 않아 보일 수 있다. 하지만 그 결과물을 도달하는 과정은 전혀 쉽지가 않다.
⇒ 프로포절 발표자료, 추후에 제출하는 발표자료에서 데이터분석 과정을 조금 더 설명 - 프로포절을 고치고 과제에 대한 concrete한 "감"이 생기기 위해 더 이상 구체화를 하는것보다, 본격적으로 분석을 시작하는 것이 좋다 판단
⇒ 수요일까지 각각 할 수 있는데까지 분석을 하고, 발표자료는 분석 내용을 예시로 들면서 그 과정을 설명해 충분히 어렵다는 과제라는 것을 어필
Action items
- 상세스펙
- 분석 시작
회의 2021-09-17
Goals / agenda
- 전반적인 주제 및 시각화 방향에 대한 아이디에이션
- 데이터 범위 ⇒ 세계
- AWS 툴 선정
- 협업툴
- IAM 유저
- credit
Discussion notes
- 최종결과물 → 웹사이트로
- 주제 및 시각화 방향:
-
분야:
- 환경
- 대기오염 수치
- 플라스틱
- 경제
- 글로벌:
- 주가
- 한국:
- 코로나 관련 뉴스
- 피해기업 지원현황
- 글로벌:
⇒ 환경
- 환경
-
시각화:
- 긍적적:
- 대기오염도: 코로나 확진자의 변화량을 보여주는 world heatmap with timelapse ⇒ 기능: 시간
- 해양오염도: 배 이동량 감소 → 선박 운행
- 부정적:
- 쓰레기 배출량 증가 → 마스크 사용량 증가, 코로나에 대한 의료품 사용량 (코로나 의료품 데이터 찾기 없으면 빼는걸로...)
- 긍적적:
-
- AWS 툴 선정:
- 무조건 사용
- AWS Glue
- Athena
- S3 Bucket
- Quicksight
- cloudformation
- 보류
- 실시간은 시간이 되면 하고 안 되면 마는걸로... → Amazon Kinesis
- only if data processing is heavy, decide after selecting datasets
- Amazon Redshift
- 무조건 사용
- 협업툴:
- 노션: 그냥 막 쓰기
- 깃헙: 코드, 이슈, 풀리퀘, 회의록 올리기, 정리된 내용
- (2-3주) 회의 내용 요약을 멘토님께 보고
- 발표 전에도 발표자료 무조건 멘토님께 공유
- 유저 관리:
- 하나의 root + 여러 IAM user
- credit 문제는 닥치면 해결하는걸로 핳 → 멘토님
- Credit:
- 간 보기 ㅎㅎ
Action items
- 데이터셋 찾기
- 시각화 결과물 더 명확하게
- 해양오염도 감소 어떻게 표현할지 ⇒ @혜듀
- 쓰레기 배출량 증가 어떻게 표현할지 ⇒ @Rachel Gan
- AWS 툴 아키텍쳐
- 다 모인 디자인 → 다 같이 생각하기
- infrastructure 만들기 → cloudformation 이용 ⇒ 다음 회의 때 같이 하기
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.