adhaamehab / textblob-ar

Arabic support for textblob

textblob-ar [WIP]

Arabic language support for TextBlob.

Features

• Tokenizer
• Sentiment analysis
• Stanford Arabic POS
• Spelling Correction
• Text similarity
• Fasttext arabic word2vec interface

Usage

Tokenizer

>>> from textblob_ar import TextBlob
>>> blob = TextBlob(u"""هندسة البرمجيات هي دراسة تصميم وتنفيذ وتعديل البرمجيات بما يضمن توفر هذه البرمجيات بجودة عالية وتكلفة معقولة متاحة للجميع وقابلة للتطوير فيما بعد وسريعة للبناء. وهندسة البرمجيات تقوم على أسس ونظريات من الهندسة وعلوم الحاسب كمبدأ ال Functional Structure من الهندسة والذي يعتمد على مبدأ تصميم أجزاء صغيرة تتجانس في العمل مع بعضها لتشكل عمل الكل.""")
>>> blob.tokens
WordList(['هندسة', 'البرمجيات', 'هي', 'دراسة', 'تصميم', 'وتنفيذ', 'وتعديل', 'البرمجيات', 'بما', 'يضمن', 'توفر', 'هذه', 'البرمجيات', 'بجودة', 'عالية', 'وتكلفة', 'معقولة', 'متاحة', 'للجميع', 'وقابلة', 'للتطوير', 'فيما', 'بعد', 'وسريعة', 'للبناء', '.', 'وهندسة', 'البرمجيات', 'تقوم', 'على', 'أسس', 'ونظريات', 'من', 'الهندسة', 'وعلوم', 'الحاسب', 'كمبدأ', 'ال', 'Functional', 'Structure', 'من', 'الهندسة', 'والذي', 'يعتمد', 'على', 'مبدأ', 'تصميم', 'أجزاء', 'صغيرة', 'تتجانس', 'في', 'العمل', 'مع', 'بعضها', 'لتشكل', 'عمل', 'الكل', '.'])

Sentiment

>>> from textblob_ar import TextBlob
>>> blob = TextBlob('اعجبني هذا الكتاب. اعترض قليلا مع بعض افكاره لكن مضمونه رائع')
>>> blob.sentiment
Sentiment(polarity=0.8, subjectivity=0.9)
>>> blob = TextBlob('لم يعجبني هذا الكتاب. مضمونه سئ')
>>> blob.sentiment
Sentiment(polarity=-0.6999999999999998, subjectivity=0.6666666666666666)

Stanford POS

Note that Stanford POS is the defualt one untill the main one is released .. code-block:: python

>>> from textblob_ar import TextBlob >>> from textblob_ar.pos_tagger import StanfordPOSTagger >>> tagg = StanfordPOSTagger() >>> text = """ في أنظمة التشغيل متعددة المهام مثل اليونكس عفريت النظام هو برنامج يعمل في خلفية النظام بعيدا عن التحكم المباشر من المستحدم وغالبا ما يبدأ عمله كعملية خلفية مع بداية تشغيل النظام.""" >>> blob = TextBlob(text, pos_tagger=tagger) >>> print(blob.tags) [('', 'في/IN'), ('', 'أنظمة/NN'), ('', 'التشغيل/DTNN'), ('', 'متعددة/JJ'), ('', 'المهام/DTNN'), ('', 'مثل/NN'), ('', 'اليونكس/DTNNP'), ('', 'عفريت/NNP'), ('', 'النظام/DTNN'), ('', 'هو/PRP'), ('', 'برنامج/NN'), ('', 'يعمل/VBP'), ('', 'في/IN'), ('', 'خلفية/NN'), ('', 'النظام/DTNN'), ('', 'بعيدا/JJ'), ('', 'عن/IN'), ('', 'التحكم/DTNN'), ('', 'المباشر/DTJJ'), ('', 'من/IN'), ('', 'المستحدم/DTNN'), ('', 'وغالبا/NN'), ('', 'ما/WP'), ('', 'يبدأ/VBP'), ('', 'عمله/NN'), ('', 'كعملية/JJ'), ('', 'خلفية/NN'), ('', 'مع/NN'), ('', 'بداية/NN'), ('', 'تشغيل/NN'), ('', 'النظام/DTNN')]

Text Correction

Thanks for Peter Norvig http://norvig.com/spell-correct.html

>>> from textblob_ar import TextBlob
>>> from textblob_ar.correction import TextCorrection
>>> text = 'الاذدهاز'
>>> TextCorrection().correct(text)
{'الاذهان', 'الازدهار', 'الادهان', 'الاندهاش'}
>>> TextCorrection().correct(text, top=True)
'الازدهاز'

Text Similarity

Based on gensim and Fasttext pretrained word2vec model

The procedure used in calculating similarity is calculating mean feature vector for each sentence. Then calculate the cosine distance between those two vectors.

>>> from textblob_ar import TextSimilarity
>>> sim = TextSimilarity()
# takes around 12 second (macbook pro 2017) to load the pretrained word2vec
>>> sent1 = u'الإرهابي الصالح هي رواية خيال سياسي للكاتبة دوريس ليسينج. ظهرت أول طبعة للرواية في سبتمبر من عام 1985 للناشرين جوناثان كيب في المملكة المتحدة وألفريد أ'
>>> sent2 = u'روايه الكاتبه دوريس ليسينج هي روايه خيال سياسي ظهرت في سبتمبر 1985 بعنوان الارهابي الصالح وتم نشرها عن طريق جوناثان كيب والفريد أ في انجلترا'
>>> sim.similarity(sent1, sent2)
0.9611366391181946

Requirements

• Python >= 3.3

Installation

• Development

for text similarity download fasttext arabic word2vec pretrained model from here

TODO

• Part Of Speech tagger
• Noun-phrases extraction
• Parser
• Classification support
• Grammer

License

MIT licensed. See the bundled LICENSE file for more details.

textblob-ar's Issues

issue in running, هل عندك علم في هذي المشكله ام لا

Traceback (most recent call last):
File "C:/Users/ahmad/PycharmProjects/gittingdata/سثؤخىي صشغ/textblobarabic.py", line 5, in
blobb = TextBlob("""هندسة البرمجيات هي دراسة تصميم وتنفيذ وتعديل البرمجيات بما يضمن توفر هذه البرمجيات بجودة عالية وتكلفة معقولة متاحة للجميع وقابلة للتطوير فيما بعد وسريعة للبناء. وهندسة البرمجيات تقوم على أسس ونظريات من الهندسة وعلوم الحاسب كمبدأ ال Functional Structure من الهندسة والذي يعتمد على مبدأ تصميم أجزاء صغيرة تتجانس في العمل مع بعضها لتشكل عمل الك""")
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\textblob_ar\blob.py", line 71, in init
_pos_tagger = pos_tagger if pos_tagger is not None else StanfordPartOfSpeechTagger()
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\textblob_ar\pos_tagger.py", line 12, in init
self._tagger = StanfordPOSTagger(modelPath, modelJar)
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\nltk\tag\stanford.py", line 160, in init
super(StanfordPOSTagger, self).init(*args, **kwargs)
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\nltk\tag\stanford.py", line 74, in init
self._JAR, path_to_jar, searchpath=(), url=_stanford_url, verbose=verbose
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\nltk\internals.py", line 854, in find_jar
name_pattern, path_to_jar, env_vars, searchpath, url, verbose, is_regex
File "C:\Users\ahmad\PycharmProjects\gittingdata\venv\lib\site-packages\nltk\internals.py", line 740, in find_jar_iter
'Could not find %s jar file at %s' % (name_pattern, path_to_jar)
LookupError: Could not find stanford-postagger.jar jar file at textblob_ar/data/model.jar

ModuleNotFoundError: No module named 'textblob_ar.pos_tagger'

Hi,
I am getting the error on this line of code..
from textblob_ar import TextBlob

module = self._system_import(name, *args, **kwargs)
ModuleNotFoundError: No module named 'textblob_ar.pos_tagger'

Datasets/Models Download Interface

could not install the Library

Thanks Adham for the work
I tried to install the library using

pip install textblob_ar

this was the output from jupyter notebook

Collecting textblob_ar
Note: you may need to restart the kernel to use updated packages.
ERROR: Could not find a version that satisfies the requirement textblob_ar (from versions: none)
ERROR: No matching distribution found for textblob_ar

I am using python 3.7.4

please help me resolve this issue

Thanks

Unit test

LookupError: Could not find stanford-postagger.jar jar file at textblob_ar/data/model.jar

Hello, when running my code I'm always getting this error:

'Could not find %s jar file at %s' % (name_pattern, path_to_jar)

LookupError: Could not find stanford-postagger.jar jar file at textblob_ar/data/model.jar

when using TextBlob I'm fine and not facing any problem. But it is appearing when using textblob_ar.

Fix travis-ci failing issue

[Suggestion] Add to twint as a feature

Hi,

Hope you are all well !

It would be awesome to add "textblob-ar" to twint.
Or more globally textblob

Use case:
Do something like https://twitter.com/CtrlSec with their opisis ?

Cheers,
X.

Docs

Build code documentation using readthedocs

Sentiment analysis problem

Hi,

Could you please suggest solution for the .sentiment function error
'HTTP Error 429: Too Many Requests'.
It was working fine but then whenever I run it, this error pops up. I was thinking that it must be the textblob-ar is using an API like Google and I need some cool off period, but I tried after leaving it for a whole day. Still the problem is the same.

Thank you

FileNotFoundError: [Errno 2] No such file or directory: 'data/bbc-arabic-wordlist.csv'

Pip deployment

Accuracy tests and benchmark