공지사항 일람 URL을 기반으로 공지사항의 변경된 내용이 있는지 확인하고 저장하는 쉘

HtmlVector모델 복수의 Table에 대해 ForeignKey 설정하기

제 16회 회의
일정 : 2018-10-01 14:00:00
의제 : 백엔드 진행상황 확인, 학습 개발 상황 공유, 보고서 및 서류 작성

• html_lite_vector에서 tag_id, depth 로 학습
• 학습 방법

1. SVM
2. CNN

FireFox 뒤로가기 버튼으로 다시 돌아 올경우, 이전 에 포스트한 값이 남아 있는 무제 발견

제 14회 회의
일정 : 2018-09-27 20:00:00
의제 : 백엔드 진행상황 확인, 학습 개발 상황 공유

로그인 세션관리
로그인 하지 않고 접근가능한 문제

제 12회 회의
일정 : 2018-09-25 20:00:00
의제 : 백엔드 진행상황 확인, 학습 개발 회의

한 URL에서 이동할 수 있는 URL 리스트 특정 하는 기능 추가 기능
form 태그
javascript 소스 에서 다음 URL 찾기

제 11회 회의
일정 : 2018-09-22 16:30:00
의제 : 백엔드 개발 회의, 멘토링 상황 공유

page의 HTML을 Vector화 시키는 기능 구현

html_vector 구조

• url_id
  -domain_url.id
• lang_id
  -lang_mst.id
• tag_id
  -tag.id
• tag_order
  -html내 동일한 tag의 오름차순 순번
• word_id
  -xx_word.id, xx는 lang_mst.language
• word_order
  -동일한 tag내의 문자의 오름차순 순번

각 url의 html을 상기의 구조로 벡터화 한다.

화면

1. 로그인 화면 #16 완료

2. 회원가입 화면 #17 완료

3. url 검색 화면 #18 완료

4. url 등록 화면 #19 완료

5. 등록 url 일람 화면 #20 완료

API

1. url 등록 API #24 완료

제 6회 회의
일정 : 2018-09-07 21:30:00
의제 : 프론트 작업 마무리

제 19회 회의
일정 : 2018-10-18 21:00:00
의제 : 1차 예선 결과 확인, 향후 일정(버그 수정 및 개발)

제 10회 회의
일정 : 2018-09-18 22:00:00
의제 : 벡 엔드 개발 회의, 멘토링 일정 상황 공유

회의 내용

• 멘토링 내용 공유
• 방향성 설정 - 학습을 사용하는 방안으로 최종 협의
• 데이터 테이블 설계

회원탈퇴 기능 추가

커멘드 상에서 실행 가능한 함수 작성

4번 화면에서 유저가 선택한 url 등록한다.
url : {domain}/api/user/url/register/

제 18회 회의
일정 : 2018-10-13 16:30:00
의제 : AWS서버, 향후 일정(버그 수정 및 개발)

제 5회 회의
일정 2018/09/04 22:00~
의제 프론트 개발 기일

개인이 공지사항에 변경이 있을 시에 알림을 받을 수 있도록 url을 등록하는 화면, 기존에 시스템 내에 등록 되지 않을 경우에 추가하여 검색 가능하도록 한다.
url : {domain}/user/url/register/

기존의 유저들이 공지사항 등록을 위해 등록한 url을 검색 할 수 있는 화면
url : {domain}/notice_url/search/

html을 벡터화하여 변화된 부분 찾는 logic

쉘 개발

1. 도메인에서 공지사항 일람 URL을 찾는 쉘 #26
2. 공지사항 일람 URL을 기반으로 공지사항의 변경된 내용이 있는지 확인하고 저장하는 쉘 #27
3. 변경이 있을 경우 해당 도메인을 등록한 유저에게 이메일로 알림을 해주는 쉘 #28

로그인 상태를 확인 할 수 있는 세션 관리

제 8회 회의
일정 : 2018-09-13 21:30:00
의제 : 프론트 엔드 마무리, 멘토

크롤링시 타임아웃 처리

개인이 등록한 url을 확인 할 수 있는 화면
url : {domain}/user/url/list/

개인 식별을 위한 회원 등록 화면
url : {domain}/user/sign_up/

제 13회 회의
일정 : 2018-09-27 22:30:00
의제 : 백엔드 진행상황 확인, 학습 개발 회의

회원가입시 정보 확인 및 등록. 데이터가 유효하지 않을시 회원가입 화면으로, 등록 후 로그인 화면으로 redirect
url : {domain}/api/user/register/

로그아웃 기능 구현

분실한 비밀번호 찾기

로그인 화면에서 URL일람 화면으로 이동과정에서 이메일과 비밀번호를 체크한다. 일치시엔 URL일람 화면, 불일치시에는 로그인 화면으로 redirect!
url : {domain}/api/user/check/

의제:크롤링 조사 결과 공유

제 15회 회의
일정 : 2018-09-30 15:00:00
의제 : 백엔드 진행상황 확인, 학습 개발 상황 공유, 보고서 및 서류 작성

제 17회 회의
일정 : 2018-10-06 16:300:00
의제 : AWS서버 대여, 향후 일정(버그 수정 및 개발)

도메인에서 공지사항 일람 URL을 찾는 쉘

관련 기능

#46 Vectorize
#49 Get next url list

key_salt값을 settings에서 불러오도록 수정

Request Method 체크 추가
GET도 허용하고 있기에 체크 추가

제 9회 회의
일정 : 2018-09-16 16:30:00
의제 : 크롤링 공부, 로그인 세션 관리, 멘토 질문 선택

로직

1. URL의 Response로부터 HTML을 얻는다.
2. 받은 HTML로부터 Jquery를 제외한 JS파일을 다시 얻는다.
3. HTNL파일의 a, form태그로 부터 다음 URL 리스트 후보군을 얻는다.
4. JS파일로 부터 다음 URL의 리스트 후보군을 얻는다.

제 7회 회의
일정 : 2018-09-10 14:00:00
의제 : python Meta Class

• html_vector의 id, url_id 제외 전 column을 학습 데이터로 사용.

• 학습 방법

1. SVM
2. CNN

학습 기능 개발

1. 단어와 단어 순서를 포함하는 학습 #58
2. 단어와 순서를 포함하지 않는 Lite 학습 #59

개인 식별을 위한 로그인 화면

url : {domain}/user/sign_in/

변경이 있을 경우 해당 도메인을 등록한 유저에게 이메일로 알림을 해주는 쉘