CNN 모델 학습시 Error about khaiii

[Jayden6659]

........./kh2/khaiii/train# echo $PYTHONPATH
/path/to/khaiii/src/main/python

Path 설정은 되어 있습니다.

[krikit]

위에 에러 메세지로 봐서는 PYTHONPATH 문제가 맞는 것 같은데요. 혹시 상대경로로 주신 건 아니시죠?

map_char_to_tag.py 맨 위에 아래와 같은 코드를 넣어서 실제로 경로가 맞는 지 확인을 한번 해보시는 것도 좋을 것 같습니다.

import sys
print(sys.path)

[Jayden6659]

['............../kh2/khaiii/train', '/path/to/khaiii/src/main/python', '/usr/lib/python35.zip', '/usr/lib/python3.5', '/usr/lib/python3.5/plat-x86_64-linux-gnu', '/usr/lib/python3.5/lib-dynload', '/root/.local/lib/python3.5/site-packages', '/usr/local/lib/python3.5/dist-packages', '/usr/lib/python3/dist-packages']
Traceback (most recent call last):
File "./map_char_to_tag.py", line 28, in
from khaiii.munjong.sejong_corpus import Sentence, sents, Word
ImportError: No module named 'khaiii'

[Jayden6659]

음 혹시 한번 확인해주실 수 있으신가요??

[krikit]

'............../kh2/khaiii/train'의 ............../kh2/khaiii/와 '/path/to/khaiii/src/main/python'의 /path/to/khaiii/는 같은 위치일텐데 맞죠?

그렇다면 /path/to/khaiii/src/main/python 아래 파일 목록을 좀 알 수 있을까요?

[Jayden6659]

/path/to/khaiii/src/main/python
path 경로 확인 시 /path/to/ 밑으로는 install 폴더 밖에 없으며 intsall 내 폴더의 목록 및 파일은 하기와 같습니다.

말씀하신 항목과 동일한 폴더가 없긴한데.. 혹시 제가 누락한 부분이 있을까요??

.........@...............:/path/to/install$ ll
합계 24
drwxr-xr-x 6 root root 4096 3월 29 16:08 ./
drwxr-xr-x 3 root root 4096 3월 29 16:08 ../
drwxr-xr-x 2 root root 4096 5월 15 10:54 bin/
drwxr-xr-x 3 root root 4096 3월 29 16:08 include/
drwxr-xr-x 2 root root 4096 5월 15 10:54 lib/
drwxr-xr-x 3 root root 4096 3월 29 16:08 share/

........:/path/to/install/bin$ ll
합계 26772
drwxr-xr-x 2 root root 4096 5월 15 10:54 ./
drwxr-xr-x 6 root root 4096 3월 29 16:08 ../
-rwxr-xr-x 1 root root 27402784 5월 15 10:51 khaiii*

.........:/path/to/install/include/khaiii$ ll
합계 20
drwxr-xr-x 2 root root 4096 5월 15 10:54 ./
drwxr-xr-x 3 root root 4096 3월 29 16:08 ../
-rw-r--r-- 1 root root 2109 5월 15 10:48 KhaiiiApi.hpp
-rw-r--r-- 1 root root 2346 5월 15 10:48 khaiii_api.h
-rw-r--r-- 1 root root 1447 5월 15 10:48 khaiii_dev.h

......:/path/to/install/lib$ ll
합계 22880
drwxr-xr-x 2 root root 4096 5월 15 10:54 ./
drwxr-xr-x 6 root root 4096 3월 29 16:08 ../
lrwxrwxrwx 1 root root 14 3월 29 16:08 libkhaiii.so -> libkhaiii.so.0
lrwxrwxrwx 1 root root 16 3월 29 16:08 libkhaiii.so.0 -> libkhaiii.so.0.3
-rw-r--r-- 1 root root 23420072 5월 15 10:50 libkhaiii.so.0.3

........:/path/to/install/share/khaiii$ ll
합계 9232
drwxr-xr-x 2 root root 4096 5월 15 10:54 ./
drwxr-xr-x 3 root root 4096 3월 29 16:08 ../
-rw-r--r-- 1 root root 1322200 5월 15 10:54 cnv2hdn.lin
-rw-r--r-- 1 root root 152 5월 15 10:54 config.json
-rw-r--r-- 1 root root 180600 5월 15 10:54 conv.2.fil
-rw-r--r-- 1 root root 270600 5월 15 10:54 conv.3.fil
-rw-r--r-- 1 root root 360600 5월 15 10:54 conv.4.fil
-rw-r--r-- 1 root root 450600 5월 15 10:54 conv.5.fil
-rw-r--r-- 1 root root 3088856 5월 15 10:54 embed.bin
-rw-r--r-- 1 root root 128 5월 15 10:54 errpatch.len
-rw-r--r-- 1 root root 9456 5월 15 10:54 errpatch.tri
-rw-r--r-- 1 root root 1910 5월 15 10:54 errpatch.val
-rw-r--r-- 1 root root 1102000 5월 15 10:54 hdn2tag.lin
-rw-r--r-- 1 root root 1932992 5월 15 10:54 preanal.tri
-rw-r--r-- 1 root root 593730 5월 15 10:54 preanal.val
-rw-r--r-- 1 root root 17212 5월 15 10:54 restore.key
-rw-r--r-- 1 root root 503 5월 15 10:54 restore.one
-rw-r--r-- 1 root root 68848 5월 15 10:54 restore.val

[krikit]

처음에 질문 주실 때 /path/to/khaiii/train 디렉토리에서 map_char_to_tag.py 스크립트 실행 시 오류가 난다고 말씀하셨습니다. 이 경우라면 학습 코퍼스가 준비되어 있고, 직접 학습을 진행하시려는 줄 알았는데요.

마지막에 갑자기 /path/to/install과 설치 디렉토리를 말씀하시니 무엇을 하시려는지 헷갈리네요.

1. khaiii를 빌드 및 설치하고 사용하는 것이 목적이라면 아래 위키를 참조하시면 되고요.
   빌드 및 설치

2. 코퍼스가 준비되어 있고 직접 모델을 학습하려고 하신다면 아래 위키를 참조하시기 바랍니다.
   CNN 모델 학습 과정

대부분 1)번의 경우일 것이라 생각이 들고요. 혹시 코퍼스를 갖고 계셔서 직접 새로운 모델을 학습하시길 원하신다면 2)번의 경우일 것 같은데요. Jayden6659님은 어느걸 원하시는지요?

[Jayden6659]

1번의 경우 kh2 폴더 내에서 정상적으로 동작이 됩니다.
1번에서 분석에 이용한 데이터를 가지고 학습 후 다시 추출해볼려고 하여
추가로 2번을 진행하려고 했던 사항입니다.

[krikit]

편의상 GitHub으로부터 clone 받은 로컬 khaiii git 저장소를 /path/to/khaiii라고 하고요, 1)의 절차로 설치한 디렉터리를 /path/to/install이라고 하겠습니다.

2)를 위해서는 /path/to/install 디렉토리가 필요 없습니다. 오히려 없는 편이 덜 헷갈리실 것이라 생각합니다.

/path/to/khaiii/train에서 실행되는 map_char_to_tag.py와 같은 스크립트들은 /path/to/khaiii/src/main/python 아래 모듈들을 필요로 합니다. 따라서 아래와 같은 환경 변수가 필요할 것입니다.

export PYTHONPATH=/path/to/khaiii/src/main/python

그리고 /path/to/khaiii/src/main/python 디렉터리에는 아래와 같은 파일 및 디렉터리가 존재해야 합니다.

MANIFEST.in.in
khaiii/
    ㄴ __init__.py
    ㄴ __init__.py.in
    ㄴ khaiii.py
    ㄴ munjong/
    ㄴ resource/
    ㄴ train/
setup.py.in

[Jayden6659]

아 제가 경로를 헷갈린 것 같습니다.
PYTHONPATH=/path/to/khaiii 이 부분이 절대 경로인지 알고 말씀드렸습니다.
PYTHONPATH 부분을 제 경로에 맞게 수정하였습니다. 감사합니다.