Goals / agenda

• 스캐쥴
• 역할 분담
• 경제쪽 그래프 내용

Discussion notes

• 10/22까지는 하나의 그래프가 나오도록
• 소주제 하나씩
  • 대기오염 : 현수
  • 실업률 : 레이첼
  • 주가 : 혜주
• 11/19까지는 각자 일 완료. 웹사이트 빌딩 시작 (대시보드 올리기)
• 각자 중간 발표까지 어떤거 할 지 정해서 이번주 금요일 회의

Action items

• 금요일까지: 각자 중간 발표까지 어떤거 할 지 정하기

Goals / agenda

• 자료조사 결과 공유
• AWS architecture 디자인 ⇒ @hyunsoo Kim
• infrastructure 만들기 → cloudformation 이용 ⇒ @hyunsoo Kim
• 시간표 만들기 ⇒ 다음 주

Discussion notes

• 자료조사 결과 공유:

  • 해양오염도 → 데이터셋이 부족하고, 플라스틱 배출량과 겹친다 ⇒ 빼야할수도 있음
    • 지도에서 바다를 누르면 → 미세플라스틱 농도, chemical를 그래프로 나타내기

  • 쓰레기 배출량 → 최근 데이터가 별로 없음 ⇒ 한계점이 있을 수 있음

  • 대기오염도
    • 지도 + 히트맵 + 코로나 확진자 변화량

• 주제 살짝 변경해서, 긍정적 부정적으로 딱 나누지 말고, 그냥 코로나가 환경에 끼치는 영향으로 바꾸기
  && 다른 주제도 함께 하기

  • 경제

  • 과거의 데이터를 기반으로 미래의 활동 예측 (use machine learning, and other methods)

    • 경제:

      • stock markets (which sectors will be better or worse - travel, hospitality, tourism, oil and gas, OTT, weight loss - healthcare, energy...), compare with other virus outbreaks

        • stock market API: https://github.com/ranaroussi/yfinance

      • 배달음식 revenue, market share etc.

        • https://www.businessofapps.com/data/food-delivery-app-market/

      • employment rate

        • https://data.oecd.org/unemp/unemployment-rate.htm → 2021년8월까지

      • 소비 (금액, 분야...)

        Pick only few important countries (US, EU, 중국, 대만, 한국, 일본, 독일, 인도, UK, 러시아...)

        • GDP of the world: https://www.worldometers.info/gdp/gdp-by-country/
        • 소비자 물가지수: (월마다 있음, 대신 데이터가 정리가 안 되어 있음)https://www.korea.kr/archive/expDocView.do?docId=39532

      • https://www.worldometers.info/

    • 코로나 블루

      effect of covid on mental health and predict whether there will be any improvements

      • COVIDiSTRESS 설문 조사 메타데이터 https://www.nature.com/articles/s41597-020-00784-9 (2020년 4월까지 - 한국 없음)
      • U.S. Census Bureau 설문조사 (2021년 7월 기준) → NHIS 2019 data랑 비교할 수 있음 https://www.cdc.gov/nchs/covid19/pulse/mental-health.htm

    • Marriage and divorce rates https://www.koreabiomed.com/news/articleView.html?idxno=10465

      • 한국 혼인/이혼 건수 (1981.01 ~ 2021.06) https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1B8000G&conn_path=I2 → 세계 평균이나 미국이랑 비교

    • 한국 경제지표: https://www.korea.kr/archive/expDocView.do?docId=39555&group=S

    • Sample social impact dashboard: https://kingcounty.gov/depts/health/covid-19/data/impacts.aspx

    • 다른 "위기"와 비교 (예: IMF와 비슷한 impact였다, 메르스때와 비슷하다...)

    • 세금

    • what post covid will look like (use "with covid" countries to predict the future for other countries)

    • investment plans in diverse sectors

  • 코로나 이후 관심을 갖는 키워드

    코로나 전후 비교 → 구글 트렌드 + 뉴스 기사

    • 2020년 전세계 핫 키워드
      1. Coronavirusmore_vert
      2. Election resultsmore_vert
      3. Kobe Bryantmore_vert
      4. Zoommore_vert
      5. IPLmore_vert
      6. India vs New Zealandmore_vert
      7. Coronavirus updatemore_vert
      8. Coronavirus symptomsmore_vert
      9. Joe Bidenmore_vert
      10. Google Classroom
    • 구글 트렌드
      • 올해의 키워드 등 인기 검색어를 보여줌
      • 각 키워드 별로 기간 별 검색량을 다운받을 수 있음
      • but raw data 찾기는 어려움
      • 직접 제공하는 API는 없음, 여기저기에 API 있음
        • https://98yejin.github.io/2020-11-02-google-trends/
    • 뉴스 기사 제목 크롤링
      • http://www.koreascience.or.kr/article/CFKO201835372170725.pdf
    • SNS 데이터 (Twitter, Instagram)

      • 트위터

        • 공식 API (Tweepy) 존재 but 7일 이전 데이터만 제공
        • GetOldTweets 라는 것도 존재 (https://jeongwookie.github.io/2019/06/10/190610-twitter-data-crawling/)

      • 인스타그램

        • 공식 API 존재하지 않음
        • 해시태그 수로 정보 가져올 수 있지 않을까
    • 구글 트렌드로 상위 키워드 찾고 그 키워드에 대해 돌려야할듯

  아이디어:

  • 경제와 연관 시킬 수 있는 키워드 → 그 키워드에 대한 데이터를 더 보여주기
  • 경제 → 각종 데이터를 통해서 미래활동 예측
  • 배달음식에 대한 데이터
  • 주가: 다른 질병, 경제적 위기과 다 같이 보고 비교하기

  최종 결과

  • 주가 (그중 가장 많이 오른, 많이 망한 케이스 분석), 실업율, 대기오염도: 다른 질병, 경제적 위기과 다 같이 보고 비교하기 → 상관관계 찾기

    원하는 최종 결과:

    • 대기오염도: 히트맵
    • 주가: 발병 전과 후의 자산규모, 인덱스를 candle stick으로 표현, sector (의료, 관강, ...) 별로 크기 비교
      • 아니면 sector를 눌러서 → candle stick
      • 다른 질병들 그래프로 같이
    • 실업율:
      • graph (전과 후를 극명하게)
      • 다른 질병들 그래프로 같이
    • 다른 질병:
      • SARS, Ebola, Mers, Swine Flu
    • 경제 위기:
      • global: 2007-2008 경제위기
      • 나라별 경제위기를 이용해서 나라별 주가, 실업율 변동

Action items

• @hyunsoo Kim zoom static link
• 발표 자료 (30일 저녁 10시까지): @혜듀 ­ @Rachel Gan
  • 조교님께 프로포절 내용 및 시간에 관한 메일 보내기
  • PPT 만들기
  • https://docs.google.com/presentation/d/1oCa8FtwiqG9XK7nv8xwEi6UmjHa3v1FpuDiho80Zdsg/edit#slide=id.p
• 발표 → @hyunsoo Kim
• aws architecture 잡아놓기 → @hyunsoo Kim

Goals / agenda

• 역할 분담
• Roadmap 정하기
• 각자 자료 공유 + 피드백
• 시스템 아키텍처 설명?
• 상세스펙에 뭐 들어가야할지
  • 데이터셋 어떤거 쓸지
  • 데이터 수집과 이관하는 아키텍처를 3개 이상 구현
  • 서로 다른 4개 이상의 AWS 서비스를 사용해 데이터 분석 아키텍처 (현재까지는 Athena만 있는것 같음?)
• 상현님께 논의할 내용

Discussion notes

• 각자 자료 공유

• 시각화

  • Quicksight 사용하면 대시보드 제공하기 때문에 웹사이트 안 만들어도됨
  • But 우리가 원하는 그래프 그리려면 웹사이트 필요
  • → Quicksight를 한 번은 사용하지만 그 외의 것도 사용
  • https://www.tradingview.com/ideas/react/

• 상현님 회의

  • 주제
  • 사용할 데이터
  • 최종 결과물 형태
  • 아키텍쳐
  • 협업 → 회의록 공유

• 난이도 높일 방법

  • 웹사이트 interactive
  • 퀵사이트로 할 수 없는 3D
    • confirmed case를 지도 위에 쓰리디 차트로 쫙
  • 실시간 data 활용
  • 머신러닝/AI
    • 코로나 확산 예측 → 논문 많음. 이 중 하나 잡고 AWS 서비스 사용해서 한다

상현님과의 회의:

• 중간발표때 직접 코딩, 프로세싱하면서 데모
• 슬랙으로 회의록 공유
• 충분히 챌린징하다. 다만 코로나 데이터는 데이터분석의 예시일뿐, 핵심은 데이터분석 스킬을 사용하는것이다.

정리

• 우리가 내놓는 결과물이 충분히 챌린징하지 않아 보일 수 있다. 하지만 그 결과물을 도달하는 과정은 전혀 쉽지가 않다.
  ⇒ 프로포절 발표자료, 추후에 제출하는 발표자료에서 데이터분석 과정을 조금 더 설명
• 프로포절을 고치고 과제에 대한 concrete한 "감"이 생기기 위해 더 이상 구체화를 하는것보다, 본격적으로 분석을 시작하는 것이 좋다 판단
  ⇒ 수요일까지 각각 할 수 있는데까지 분석을 하고, 발표자료는 분석 내용을 예시로 들면서 그 과정을 설명해 충분히 어렵다는 과제라는 것을 어필

Action items

• 상세스펙
• 분석 시작

Goals / agenda

• 전반적인 주제 및 시각화 방향에 대한 아이디에이션
• 데이터 범위 ⇒ 세계
• AWS 툴 선정
• 협업툴
• IAM 유저
• credit

Discussion notes

• 최종결과물 → 웹사이트로
• 주제 및 시각화 방향:

  • 분야:

    • 환경
      • 대기오염 수치
      • 플라스틱
    • 경제
      • 글로벌:
        • 주가
      • 한국:
        • 코로나 관련 뉴스
        • 피해기업 지원현황

    ⇒ 환경

  • 시각화:

    • 긍적적:
      • 대기오염도: 코로나 확진자의 변화량을 보여주는 world heatmap with timelapse ⇒ 기능: 시간
      • 해양오염도: 배 이동량 감소 → 선박 운행
    • 부정적:
      • 쓰레기 배출량 증가 → 마스크 사용량 증가, 코로나에 대한 의료품 사용량 (코로나 의료품 데이터 찾기 없으면 빼는걸로...)
• AWS 툴 선정:
  1. 무조건 사용
     • AWS Glue
     • Athena
     • S3 Bucket
     • Quicksight
     • cloudformation
  2. 보류
     • 실시간은 시간이 되면 하고 안 되면 마는걸로... → Amazon Kinesis
     • only if data processing is heavy, decide after selecting datasets
     • Amazon Redshift
• 협업툴:
  • 노션: 그냥 막 쓰기
  • 깃헙: 코드, 이슈, 풀리퀘, 회의록 올리기, 정리된 내용
  • (2-3주) 회의 내용 요약을 멘토님께 보고
  • 발표 전에도 발표자료 무조건 멘토님께 공유
• 유저 관리:
  • 하나의 root + 여러 IAM user
  • credit 문제는 닥치면 해결하는걸로 핳 → 멘토님
• Credit:
  • 간 보기 ㅎㅎ

Action items

• 데이터셋 찾기
  • 코로나 기간, 국가별 확진자 (international) ⇒ @hyunsoo Kim
  • 대기오염도 NO2, CO2... ⇒ @hyunsoo Kim
  • 해양오염도는 배 이동량 말고도 더 찾을 수 있는거 찾기 + 데이터셋 찾기 ⇒ @혜듀 ­
  • 쓰레기 배출량: 마스크, 의료품 말고도 더 찾을 수 있는거 찾기 + 데이터셋 찾기 ⇒ @Rachel Gan
• 시각화 결과물 더 명확하게
  • 해양오염도 감소 어떻게 표현할지 ⇒ @혜듀 ­
  • 쓰레기 배출량 증가 어떻게 표현할지 ⇒ @Rachel Gan
• AWS 툴 아키텍쳐
  • 다 모인 디자인 → 다 같이 생각하기
  • infrastructure 만들기 → cloudformation 이용 ⇒ 다음 회의 때 같이 하기