Comments (5)
@Domirae
1번 문항
- 관련 자료를 참조하면
"교차 엔트로피는 정보 이론 분야에서 어떤 양을 뜻하는데 이는 확률 분표간의 차이 혹은, 우리 케이스에서, 기준값에 대한 분표와 예상값 간의 차이를 측정하는 것입니다." 로 될 수 있겠네요 - 추가로 Ground-Truth는 '기준이 되는' 이라는 의미를 띄므로 딥러닝에서 중요 요소 중 하나라고 보시면 되겠습니다.참조
2번 문항
- gradient descent에 대한 최적화를 다루는 내용이니 quantity는 loss function(손실함수)의 출력 값으로 보이네요. 단어 표현으론 '손실 값(?)'정도로 하면 어떨까 싶네요.
from kekoxtutorial.
1.1 Crossentropy is a quantity that measures the "distance" between probability distributions.
(from the field of Information Theory
를 떼어놓고 보면 )
해석 : 교차 엔트로피는 확률 분포들간의 "거리" 를 측정하는 양이다.
해설 : 교차 엔트로피는 어떤 "양(스칼라 값)" 나타냅니다. 이 값은 확률 분포들 간의 거리를 측정하기 위한 값입니다. 가령 두 분포가 있는데 두 분포를 가지고 측정한(measures) 교차 엔트로피(스칼라 값, 양)가 크다면, 두 분포의 거리가 멀다는 의미이고, 반대로 두 분포의 교차 엔트로피가 작다면, 두 분포의 거리가 가깝다는 의미입니다.
1.2 "from the field of Information Theory"
이는 단순하게 Crossentropy 라는 용어가 정보이론(Information Theory) 이라는 분야에 어원을 두고 있다는 뜻으로 사료됩니다.
1.3 Ground-Truth에 대한 해석
이 부분은 다른 분들의 의견도 듣고싶습니다.
우선 여기에서 의미하는 바는. Supervised Learning 문제에서 내가 예측한 결과(prediction)과 실제 정답값(ground-truth)이 최대한 가까울수록 좋습니다(Loss가 낮습니다). 여기에서는 손실함수(Loss function)를 교차 엔트로피로 정했는데, 보통 모델을 손실함수가 낮아지는 방향으로 학습합니다. 즉 교차 엔트로피가 낮은 방향으로 학습하는 것인데. 앞서 교차 엔트로피는 확률 분포들간의 거리를 나타내는 지표이고, 확률 분포들간의 거리가 가까울수록 교차 엔트로피 값이 작았습니다. 즉 정답값들의 분포(ground-truth distribution) 과 내가 예측한 값들의 분포(our predictions)이 가까울수록 교차 엔트로피가 작아질 것이고, 즉 손실이 작은 것이죠.
이 경우Ground-Truth
를 어떻게 번역할지는 다른분들의 의견을 들어보고싶습니다.
from kekoxtutorial.
@insurgent92
저라면 ground-truth distribution
은 정답 분포라고 번역할 것 같습니다.
from kekoxtutorial.
@insurgent92
저도 ground-truth
는 정답으로만 표기하는게 맞을 거 같아요.
from kekoxtutorial.
의견 감사합니다!
from kekoxtutorial.
Related Issues (20)
- Keras와 ML Kit을 활용한 손 글씨 숫자 인식하기(feat. Android)
- Keras와 ML Kit을 활용한 손 글씨 숫자 인식하기(feat. Android) HOT 1
- master branch가 아니더라도 PR 제약을 걸 수 있나요? HOT 4
- #89 에 review를 처음 달아봤습니다. HOT 2
- #46 뉴럴 네트워크 임베딩을 이용한 추천 시스템 만들기
- Keras 와 Gym 과 함께하는 Deep Q-Learning 을 향한 여행
- #89 GAN 이해하기에서 discriminator.trainable 설정 관련 HOT 5
- DCGAN : tf.keras와 eager execution를 이용한 손글씨 숫자 이미지 만들기
- Ensembling ConvNets using Keras HOT 1
- GitHub.io 페이지 구축 HOT 1
- 번역 질문 HOT 2
- 블로그 주소 HOT 3
- #40 Keras와 Jupyter Notebook으로 시작하는 딥러닝 PR 및 리뷰 관련 HOT 3
- Readme Update HOT 3
- 원작자 번역 permission 요청
- caffe모델 keras로 바꾸기
- GANs을 이용한 Single Image Super Resolution — Keras
- "Keras의 Autoencoder를 활용해 신용카드 이상 거래 탐지하기" 원문 오류
- #203 Distilling Vision Transformers
- #204 3D volumetric rendering with NeRF
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from kekoxtutorial.