ieasybooks / tafrigh

تفريغ النصوص وإنشاء ملفات SRT و VTT باستخدام نماذج Whisper وتقنية wit.ai.

README

This README would normally document whatever steps are necessary to get the application up and running.

Things you may want to cover:

• Ruby version

• System dependencies

• Configuration

• Database creation

• Database initialization

• How to run the test suite

• Services (job queues, cache servers, search engines, etc.)

• Deployment instructions

• ...

tafrigh's Issues

تحسين ملف README.md

يمكن تحسين الملف من خلال تحسين اللغة، ذكر التقنيات التي يمكن استخدامها ومميزات وعيوب كل منها، وضع أمثلة أكثر، وغيرها.

إضافة أداة جانبية لعرض عينة من كل الملفات التي تم تحويلها

هذه الأداة يمكن استخدامها بشكل منفصل، على سبيل المثال tafrigh-sample أو تمريرها كاختيار لاداة تفريغ نفسها output_sample--.

تحويل الملفات المقطّعة باستخدام wit.ai بشكل متوازي

حاليا يتم تحويل الملفات المقطّعة بناء على السكتات باستخدام wit.ai API تسلسلي، يجب تحسين الشيفرة البرمجية وجعلها تعمل بشكل متوازي لتقليل مدة التحويل.

نشر تفريغ على PyPI

دعم المخرجات بصيغة json و csv/tsv

مقارنة مخرجات Whisper مع مخرجات wit.ai

يجب مقارنة 500 مثال بين Whisper و wit.ai ووضع النتائج في ملف README.md

التفريغ لا يعمل جيدا مع جهاز الماك

السلام عليكم ورحمة الله وبركاته
أردة استعمال البرنامج على جهازي macbok m1 من خلال wit api ولكن وجته فيه مشاكل على عكس نظام linux
فمثلا مقطع فيديو مدته 2:13دق عند تفريغه على جهاز linux لم يبقى إلا 36 ثانية وتحصلت على التص كاملا في حين عند تجربته على الماك بقي 13دق وعند تقطيه الفيديو إلي حزمات صغيرة واحدة فقط من حصلت لها التفريغ والباقي حصل فيهم مشاكل

WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 30.0 and ends at 45.0 didn't transcribed successfully.
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 0.0 and ends at 15.0 didn't transcribed successfully.
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 15.0 and ends at 30.0 didn't transcribed successfully.
 11%|███████                                                               | 1/9 [06:42<53:41, 402.73s/it
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 45.0 and ends at 60.0 didn't transcribed successfully.

 22%|█████████                                               | 2/9 [06:44<19:28, 166.88s/it
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 75.0 and ends at 90.0 didn't transcribed successfully.
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 90.0 and ends at 105.0 didn't transcribed successfully.
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 105.0 and ends at 120.0 didn't transcribed successfully.
WARNING:root:The segment from `output/bc8Lo0O4r4c.wav` file that starts at 60.0 and ends at 75.0 didn't transcribed successfully.
100%|██████████| 9/9 [12:59<00:00, 86.67s/it]
URL elements: 100%|█████████████████| 1/1 [13:03<00:00, 783.73s/it]
URLs or local paths: 100%|█████████████████| 1/1 [13:11<00:00, 791.15s/it]

ما المشكلة برأيكم؟

التفريغ بنموذج ويسبر لا يعمل منذ 05-01-2024

السلام عليكم ورحمة الله

بعد تثبيت لوازم البيئة، يظهر هذا التحذير:

ثم تبقى المعالجة جارية لكن لا تقدَّم أي نتائج (انتظرت أكثر من ثلث ساعة على تفريغ مقطع مدته 10 دقائق لكن بلا فائدة)

تعديل اختيار urls إلى اختيار urls_or_paths

يقبل تفريغ روابط المواد المرئية وقوائم التشغيل من موقع YouTube من خلال الاختيار urls، من خلال إضافة هذه الميزة سيتم تغيير الاختيار urls إلى urls_or_paths والذي سيسمح للمستخدم بتمرير مسارات لملفات أو مجلدات على حاسبه وسيتم تحويل المادة المرئية/المسموعة في حال كان المسار لملف واحد أو كل المواد المرئية/المسموعة داخل المجلد.

إضافة التصحيح التلقائي للأخطاء الإملائية

يجب إضافة تصحيح تلقائي للأخطاء الإملائية من خلال استخدام أحد المنتجات الموجودة بالفعل:

• صححلي
• Arabisc
• LanguageTool

من المهم أن يكون التصحيح دقيق إلى حد ما وسريع.

تمكين المستخدم من حفظ الملفات قبل دمج الأجزاء

يجب إضافة اختيار keep_unmerged_segments_files-- والذي سيسمح للمستخدم بحفظ الملفات قبل دمج الأجزاء الخاصة بها بناء على اختيار min_words_per_segment--.

دعم whisper jax للحصول على أوقات أقل للتفريغ

https://github.com/sanchit-gandhi/whisper-jax

إنشاء Google Colab Notebook لتسهيل استخدام تفريغ من قبل جميع المستخدمين

يجب أن تكون الـ Notebook سهلة جدا في الاستخدام وبسيطة.

استخدام مكتبة librosa بدلا من scipy لقراءة الملفات الصوتية

إضافة أداة جانبية لدمج الأجزاء التي تحتوي على عدد قليل من الكلمات

هذه الأداة ستكون مطابقة لاختيار min_words_per_segment-- الموجود حاليا في tafrigh. من الممكن أن يكون اسم الأداة tafrigh-compact.

تخطي الملفات الموجودة مسبقا في مجلد المخرجات

إذا كان ملف المادة موجود في مجلد المخرجات أو كان ملف التفريغ موجود، فيجب تخطي خطوة التحميل أو خطوة التفريغ لهذه المادة.

يجب إضافة اختيار force-redownload-- و force-retranscribe-- لإجبار تفريغ على إعادة تحميل وتفريغ الملفات الموجودة مسبقا.

دعم تفريغ الصوتيات من موقع SoundCloud

يمكن الاستعانة بهذه المكتبة لتحميل الصوتيات من الموقع:
https://github.com/flyingrub/scdl

تحسين التقطيع على السكتات

التقطيع على السكتات يستخدم مكتبة auditok حاليا، وأظن أنه يمكننا تحسين العملية بشكل كبير باستخدام تقنيات أخرى مثل silero.

تمكين المستخدمين من تحديد أكبر زمن للتقطيع

زمن التقطيع الأقصى حاليا هو 15 ثانية بناءً على السكتات، يجب تمكين المستخدمين من تحديد هذا الزمن.

مرجع:

tafrigh/tafrigh/audio_splitter.py

Line 18 in 4b579d4

max_dur: float = 15,