jerry-ryu / deca

Depth estimation and computer vision based autonomous driving car (Depth + Car)

DeCa

1. Project Description

Depth estimation and computer vision based autonomous driving car (Depth + Car)

2. Baseline

https://github.com/shariqfarooq123/AdaBins

3. convention

Commit Message

type : subject       -> 필수

body                 -> 선택

• type 은 아래 중 하나 선택하여 기재

  • init: repository 생성
  • feat : 새로운 기능 추가
  • fix : 버그 수정, 기능 수정
  • refactor : 리팩토링 (변수명 수정, 파일 구조 수정등)
  • test : 테스트 코드, 리팩토링 테스트 코드 추가
  • docs : 훈련 및 테스트에 필요한 문서 수정
  • chore : git 관리 문서 수정, 패키지 매니저 수정 (gitignore 수정 등)

• Subject 는 50자를 넘기지 않고, 대문자로 시작, 명령어로 작성.

• 예시

  
  Chore : Moidfy .gitignore          # .gitignore 수정
  
  Docs : Update result             # README.md의 Result 업데이트
  
  feat : Add CustomAugmentation at dataset.py  # dataset.py에 CustomAugmentation 추가
  

• Body는 선택사항, 부연설명이 필요하거나 커밋의 이유를 설명할 때

  • 제목과 구분되기 위해 한칸을 띄워 작성합니다.
  • 각 줄은 72자를 넘기지 않습니다.
  • 본문은 꼭 영어로 작성할 필요는 없습니다.

Branch

실험별로 branch 생성 및 결과 정리

• Master → 제출할 프로젝트 / 모든 모델을 실행시킬 수 있는 branch
• hotfix → Master에서 가져와서 버그 or 하이퍼파리미터 등 소소한 부분 수정
• Develop → 새로운 구조를 실험해볼 때 파는 branch
• Feature → Develop 브랜치에서 추가 실험이 필요할 때 파는 branch (Develop의 가지)

Issue / PR

Issue: GitHub Issues는 프로젝트를 더 작은 작업으로 나누어 계획할 수 있게 해줍니다. 각 작업은 팀원에게 할당하여 책임을 명확히 할 수 있습니다. 또한, 각 작업의 진행 상황을 추적하고 의견을 나누고 업데이트할 수 있기 때문에 프로젝트의 진행을 효율적으로 관리할 수 있습니다.

PR: GitHub Pull Request는 내가 작업한 코드를 기존 코드베이스에 병합하기 전에 팀원과 함께 코드를 검토하는 과정입니다. 피드백을 통해 코드의 품질을 유지하고, 팀원과 의견을 공유하며, 더 나은 코드를 작성할 수 있습니다.

deca's Issues

[feat] Monocular camera depth estimation pipeline 구현

Overview

• 자율 주행 자동차의 단안 카메라로 RGB 이미지를 받아 각 pixel 별 깊이를 추정하는 모델 파이프라인을 구축한다.
• Baseline은 AdaBins(https://github.com/shariqfarooq123/AdaBins)이다.

Todo

AdaBins

• AdaBins 모델 통합

Additional Context

• 추후에 각 pipeline branch를 합쳐 depth 및 object 인식 통합 파이프라인을 구축할 예정

[feat] 통합 파이프라인 구축 및 보드 올리기

Overview

• 기능 구현 배경 및 필요성 기술

Todo

기능 1

• 세부기능 1
• 세부기능 2

기능 2

• 세부기능 1
• 세부기능 2

Additional Context

• Todo 목록을 완수하지 못할 경우 수행해야하는 대안 task 서술
• 추가적으로 필요한 부분 서술

[feat] Object recognition pipeline 구현

Overview

• 자율 주행 자동차의 단안 카메라로 RGB 이미지를 받아 각 물체를 인식하는 모델 파이프라인을 구축한다.

1. Object detection 모델:
   적은 데이터로도 빠르고 정확한 학습이 가능하고, 물체를 인식해야 한다는 측면에서는 가장 적합한 task 정의이다.
   하지만, Depth estimation과 통합하기 위해서는 pixelwise result가 필요하기 때문에 부적절하다.

2. Segementation 모델:
   pixelwise reult가 보장되어 있지만, Object를 pixel-wise로 인식하는 것에 따른 위험성이 있다.
   또한 데이터를 라벨링하기 어렵고 얼마나 많은 데이터를 사용해서 fine-tuning해야 하는지 아직 알지 못한다.

3. Weakly supervised segmentation 모델:
   segmentation과 Object detection에 비해 데이터를 만들고 처리하기 쉽지만, 그만큼 다양한 데이터셋이 필요하다.

4. 3D object detection 모델:
   Depth estimation을 사용하지 않고 통합된 파이프라인으로 모든 task를 한번에 모델링한다는 것은 좋지만, 데이터 라벨링이 극상으로 어렵고 하드웨어에서의 동작 여부도 불분명하다.

Todo

각 모델 feasibility 확인

• Object detection을 depth estimation과 적절히 통합하는 방법
• Segmentation의 라벨링 난이도 및 위험성 완화 방법
• Weakly supervised segmentation 및 3D object detection 모델 조사

Additional Context

• 적절한 모델 탐색 및 inf. 파이프라인 구축