bkthesisteam / underthesea

Under The Sea - Vietnamese NLP Toolkit

Under The Sea - Vietnamese NLP Toolkit

underthesea is a suite of open source Python modules, data sets and tutorials supporting research and development in Vietnamese Natural Language Processing.

• Free software: GNU General Public License v3
• Documentation: https://underthesea.readthedocs.io
• Live demo: underthesea app
• Facebook Page: https://www.facebook.com/undertheseanlp/

Installation

Install dependencies

$ pip install Cython
$ pip install numpy scipy sklearn fasttext python-crfsuite

To install underthesea, simply:

$ pip install underthesea==1.1.4rc2
$ underthesea data
✨🍰✨

Satisfaction, guaranteed.

Usage

• 1. Corpus
• 2. Word Segmentation
• 3. POS Tagging
• 4. Chunking
• 5. Text Classification

1. Corpus

Collection of Vietnamese corpus

• Vietnamese Dictionary (74k words)
• Vietnamese News Corpus (10k documents)
• Vietnamese Wikipedia Corpus (8k documents)

2. Word Segmentation

Vietnamese Word Segmentation using Conditional Random Fields

• Word Segmentation API
• Word Segmentation Experiments

>>> # -*- coding: utf-8 -*-
>>> from underthesea import word_sent
>>> sentence = u"Chúng ta thường nói đến Rau sạch, Rau an toàn để phân biệt với các rau bình thường bán ngoài chợ."

>>> word_sent(sentence)
[u"Chúng ta", u"thường", u"nói", u"đến", u"Rau sạch", u",", u"Rau", u"an toàn", u"để", u"phân biệt", u"với",
u"các", u"rau", u"bình thường", u"bán", u"ngoài", u"chợ", u"."]

>>> word_sent(sentence, format="text")
u'Chúng_ta thường nói đến Rau_sạch , Rau an_toàn để phân_biệt với các rau bình_thường bán ngoài chợ .'

3. POS Tagging

Vietnamese Part of Speech Tagging using Conditional Random Fields

• POS Tagging API
• Pos Tagging Experiments

>>> # -*- coding: utf-8 -*-
>>> from underthesea import pos_tag
>>> text = u"Chợ thịt chó nổi tiếng ở TP Hồ Chí Minh bị truy quét"
>>> pos_tag(text)
[(u'Chợ', 'N'),
 (u'thịt', 'N'),
 (u'chó', 'N'),
 (u'nổi tiếng', 'A'),
 (u'ở', 'E'),
 (u'TP HCM', 'Np'),
 (u'bị', 'V'),
 (u'truy quét', 'V')]

4. Chunking

Vietnamese Chunking using Conditional Random Fields

• Chunking API
• Chunking Experiments

>>> # -*- coding: utf-8 -*-
>>> from underthesea import chunk
>>> text = u"Bác sĩ bây giờ có thể thản nhiên báo tin bệnh nhân bị ung thư?"
>>> chunk(text)
[(u'Bác sĩ', 'N', 'B-NP'),
 (u'bây giờ', 'P', 'I-NP'),
 (u'có thể', 'R', 'B-VP'),
 (u'thản nhiên', 'V', 'I-VP'),
 (u'báo tin', 'N', 'B-NP'),
 (u'bệnh nhân', 'N', 'I-NP'),
 (u'bị', 'V', 'B-VP'),
 (u'ung thư', 'N', 'I-VP'),
 (u'?', 'CH', 'O')]

5. Text Classification

Vietnamese Text Classification using Fasttext

• Classification API
• Classification Experiments

>>> # -*- coding: utf-8 -*-
>>> from underthesea import classify
>>> classify("HLV đầu tiên ở Premier League bị sa thải sau 4 vòng đấu")
['The thao']
>>> classify("Hội đồng tư vấn kinh doanh Asean vinh danh giải thưởng quốc tế")
['Kinh doanh']
>>> classify("Đánh giá “rạp hát tại gia” Samsung Soundbar Sound+ MS750")
['Vi tinh']

Up Coming Features

• Sentiment Analysis
• Word Representation (Word Representation Experiments)
• Dependency Parsing
• Named Entity Recognition

Contributing

Do you want to contribute with underthesea development? Great! Please read more details at CONTRIBUTING.rst.