Comments (2)
bab2min
commented on August 25, 2024
2
@SHwan93
현재 분석기가 공백으로 분리되지 않은 문자열에 대해서만 탐색을 수행하기에, 시스템 상 공백을 포함하는 경우라면 사용자사전에 등록할 수 없습니다.
공백 없이 붙여서 적는다면 NNG나 NNP 등의 태그로 사용자 사전에 등록할 수 있습니다. 복합명사만을 위한 태그가 필요하신 거라면 다음 기능 업데이트 때 사용자 전용 태그를 추가해볼 수 있겠습니다.
from kiwipiepy.
SHwan93
commented on August 25, 2024
기능 업데이트가 된다면 그때 다시 검토해보겠습니다 피드백 감사합니다^^
from kiwipiepy.
Related Issues (20)
- add_pre_analyzed_word 사용 시 인덱싱 오류 HOT 2
- dataclasses 관련 에러 HOT 1
- 새로운 단어 추가 시(add_user_word)시 regex pattern 가능 문의 HOT 2
- add_user_word에 user_value 인자 추가
- 문장분리 문제
- 서브워드 토크나이저 학습(SwTokenizer) 데이터 문의 HOT 2
- transformers_addon `KiwiTokenizer`의 `repr`문제
- `SwTokenizer`가 피클되지 않는 문제
- @nowtoday 앗, TV프로그램 때문에 NNP로 기본사전에 들어가 있나보네요... 이게 이런 종류의 고유명사 때문에 분석이 애매한 경우가 꽤 있거든요. 0.15.0버전부터 추가된 blocklist를 이용하면 특정 형태소가 분석 결과에 나오지 않도록 막을 수 있습니다. HOT 2
- kiwi tokenizer의 randomness 제어 HOT 3
- 형태소 기반 string interpolation
- `add_user_word`와 `blocklist`를 동시에 사용할때 crash 발생
- `Kiwi.tokenize`의 `pretokenized`인자에 부적절한 값이 들어온 경우 Segfault가 발생하는 현상
- 사용자 사전 사용 버그 HOT 3
- Pickle 저장 불가
- Kiwi 0.16.1 반영 HOT 3
- Segmentation fault with long repetitive sequences HOT 2
- 글의 형태가 유지된 상태로의 형태소 분석 HOT 2
- add_re_word의 user_value 사용 HOT 1
- 초반 1회 tokenize에 시간이 오래 걸리는 현상 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from kiwipiepy.