dong-jun-shin / news_summary_crawler

뉴스 요약 크롤러 1인 프로젝트 (21/12/20 ~ 21/12/21)

News summary crawler

• 네이버 뉴스의 기사 중 'IT과학', '경제', '사회' 분야의 기사 20개씩 가져와서 요약 후 md 파일로 생성
• 카테고리 별로 'output/{날짜}/Article_{카테고리}_{날짜}.md' 파일 생성
• 'output' 폴더에 최근 30일까지 뉴스에 한해, 날짜별로 보관
• 매일 오후 3시에 업로드(한국 시간)

---

폴더 구조

• output : 요약된 뉴스 폴더(.md)
• src : 크롤러 소스 코드(.py)

---

뉴스 기사 마크다운 템플릿

  

  
  # {text_headline}
  
  > Date : {time}  
  > Author : {text_company}  
  > Original : [원문기사]({content_url})  
  

  
  {img_content}
  


  
  {text_sentence}
  

---

산출물 (모바일)

• 폴더 및 뉴스 샘플
  
  
  
  
  

산출물 (데스크톱)

---

참고 소스

• Crawler Source lumyjuwon/KoreaNewsCrawler
• Github Actions Cron Source zzsza/github-action-with-python

news_summary_crawler's Issues

크롤링된 뉴스 내용에서 중복 제거하기

Goal
각 분야별로 중복되지 않은 기사들 10개가 크롤링됨

As-is
크롤링된 뉴스에 중복된 기사가 많음

To-do
중복된 기사가 또 크롤링되지 않도록 처리