نموذج صقر بحجم 50 مليون لتوليد البيانات بالعربي يعمل علي CPU
blogging
til
nlp
arabic
llm
SLM
ماهو نموذج Sakr صقر المخصص لتوليد البيانات باللغة العربية ومدرب علي حوالي 66 مليون صفحة من fine-web dataset يعمل بسرعه فائقة ونتائج متوسطة. شرح تفصيلي.
ماهو صقر Sakr لمعالجة اللغة العربية ؟
- صقر هو نسخة عربية من نموذج supra-50m-base وهو يتكون من 50 مليون متغير مدرب من الصفر علي بيانات من الويب من داتا fine-web-v2 النسخة العربية وليس مترجمة للحفاظ علي جودة التوليد.
- يعتبر صقر أصغر نموذج لتوليد البيانات في اللغة العربية، مع الحفاظ علي أداء مقبول جدا.
البيانات التي تم تدريب عليها ؟
مرحلة التدريب الأوليه pretraining
- تم استخدام fineweb-v2 علي اللغة العربية فقط ولا يوجد دعم للغة الإنجيليزية بالكامل ولكن المصطحات بعضها مدعوم مثل كلمة AI وهكذا.
- اللهجات العربية التي تم تدريب الموديل عليها هي:
- “arb_Arab,ary_Arab,arz_Arab,apc_Arab,acm_Arab”
- البيانات تم أخذها من CommonCrawl من تاريخ 2013 ل2024
- المميز فيها انها مش مترجمة وتم تنظيفها وإزالة الجمل والصفحات المكررة.
مرحلة التدريب تحت الإشراف SFT لصقر
- تستخدم هذه المرحلة لتوجيه الإجابات من النموذج لتكون أقرب إلي إجابات البشر
- في هذه الخطوة نحتاج الي داتا تحتوي علي السؤال والإجابة التي نريد تعليم النموذج الخاص بينا توليد إجابة قريبه من نفس التوزيع الإحتمالي لها.
- قمت بجمع 3 بيانات وهما :
- 2A2I/Arabic-OpenHermes-2.5 (~970k, translated) -> full
- ClusterlabAi/InstAr-500k (~500k, native) -> full
- arbml/CIDAR (~10k, native, high-Q) -> upsampled ~8x
إختبارات سريعة ؟
Sakr-50M-Arabic نتائج أوليه Base version
Model:
sakr-50m-arabicDevice: cuda
Decoding:
max_new_tokens=120,do_sample=True,temperature=0.8,top_p=0.9,top_k=50,repetition_penalty=1.2
1. Prompt: مرحبا، اسمي
مرحبا، اسمي انريده وربك لهجة لبنانية. عمري 30 سنة، متزوجه من ٣سنين، وماما بتستاهل كل شي بحياتي ، وحابة شوف حالي بلبنان وشوف حالي كيف رح كون هون، وبعرف أنو اهلي منفصلين عن بعض ما بيحبوا حدا بهل بلد الا إذا الواحد ما يكون عايش معو أو بياخد من أهله او عم يشتغل لحاله على أرض الواقع . بدي أغير جو وأدرس أكتر بكتير وأحلم بحل أكبر مشكلة بشغلي بس لأني مابفكر غير إني اشتغل لأن الشغل عندكم كتير بيت
2. Prompt: عاصمة مصر هي
عاصمة مصر هي العاصمة الإدارية الجديدة.
ويعد التجمع من أشهر المدن في مصر، فهو يقع على مساحة 30 فدانًا و35 فداناً ويضم حوالي 15 ألف نسمة، وتطل على النيل مباشرة من نهر النيل إلى صحراء مصر التاريخية.
يضم التجمع حديقة كبيرة، تحتوي على عدد كبير جدًا من الزهور التي تجذب الزائر إليها، بالإضافة إلى مجموعة كبيرة ومتنوعة من النباتات والزهور والنباتات النادرة والتي تتميز بألوانها الفريدة والمميزة مثل: زهر البرتقال وحبوب الفاكهة وغيرها الكثير والكثير.
أهم المعالم السياحية في القاهرة :
- قصر ثقافة القصر العينى وشارع الأمير سلطان (2) شارع
3. Prompt: في يوم من الأيام
في يوم من الأيام هانت عليك
أوعى تدفني أوعك تنساني أنا مقدرش اتحمل الفراق يا أغلى حبيبه مش عارفه ايه
يا قلبي يامانسي عمري كله على طول العمر دا انا بحبك موت يا حبيبي
حبيبي اللي كان في بعدك حيل مشتاق ليك يا روحي
كلمات اغنية قلبي ما خانك مرتاح مكتوبة وكاملة 2021. كلمات اغنية لو كنت معاها.
بكرة بعدنا مع بعض ننساك.
بتقول لي يا روح الروح بتقول ايه.
العين دى بتسأل عن اللى جايبنى
4. Prompt: اللغة العربية هي
اللغة العربية هي اللغة الرسمية في العالم العربي التي تمزج بين اللغتين الناطقتين باللغة الإنجليزية واللغة الأم، وقد اعتمدت اللغة العربية الفصحى بشكل كبير على الترجمة التركية والعربية.
وتعد اللغة الأمازيغية لغةً خاصةٌ بالنسبة للعرب حيث أنها تأتي مع لغات أخرى مثل: اللغة الفرنسية والأمازيغية والإسبانية والأوراس، كما أن اللغات الأجنبية والفرنسية تعدّ من اللغات السامية، كما أنه تحتوي على مجموعة كبيرة ومتنوعة من المعاني والكلمات والقصص والنصوص المتنوعة الأخرى، كما ان اللغة العربية تعتمد منذ تأسيسها على اللهجة الجزائرية والتي تعود إلى عهد الاستعمار الفرنسي الحديث.
5. Prompt: الطقس اليوم
الطقس اليوم يُطلق على “النادي الأهلي” اسم النادي الذي تأسس في شهر أكتوبر من عام 1960، كما أن كرة القدم تلعب دوراً كبيراً في تطور الرياضة بشكل كبير، وهو ما أدى إلى تحقيق الكثير من الإنجازات والنجاحات التي تحققت بفضل جهود العديد من الأندية الرياضية.
ونقلت صحيفة العربي عن مصدر مطلع قوله إن النادي الاهلي بدأ الموسم الحالي في تطوير كرة القدم عبر الملاعب العالمية بعد قيام الاتحاد الدولي لكرة القدم «فيفا» بتقديم تقرير حول الدوري المصري قبل انطلاق البطولة الدولية المقرر إقامتها في مصر في يونيو المقبل والتي تبدأ يوم 26 نوفمبر القادم ويستمر حتى 5 ديسمبر 2022 مع وصول كأس العالم للأندية 2023 للمرة
6. Prompt: أحب أن
أحب أن أشاهده فى كل مرة.
للكاتبة المصرية شكران مرتجى التى تعتبر من أهم نجمات الأدب العربى، ولها العديد من الأعمال منها:
الصحافة والسينما.. فيلم "كلمنى" الذى تشارك به في بطولته إلى جانب أحمد عز، وأحمد رزق وأمير شاهين، وفيلم "النهاية".
وكانت آخر أعمال الفنان الكبير الراحل فاروق الفيشاوي، مسلسل (العنكبوت) بطولة النجم محمد إمام والفنان صلاح عبد الله والمخرج خالد يوسف والنجم خالد الصاوى .السلام عليكم ورحمه الله وبركاته ،،،،،
الى صاحبه سمو الام
sakr-50M-Arabic-SFT — Instruction Eval
Date: 2026-07-24 15:04:32
Model:
sakr-50m-arabic-sft-mix/checkpoint-143202Device: cuda
Decoding:
max_new_tokens=1200,do_sample=True,temperature=0.1,top_p=0.9,top_k=50,repetition_penalty=1.2
1. ما هي عاصمة مصر؟
عاصمة مصر القاهرة هي القاهرة.
2. اكتب جملة قصيرة عن أهمية القراءة
إن قراءة الكتب هي مفتاح لفهم العالم من حولنا، مما يجعل القراء يشعرون بالبهجة والسعادة.
3. لخّص فوائد ممارسة الرياضة في نقطتين
تُعد التمارين الرياضية طريقة رائعة لزيادة القوة البدنية والعقلية، وزيادة اللياقة البدنية، وتحسين الصحة العامة والرفاهية بشكل عام. فيما يلي بعض الفوائد الرئيسية لممارسة الرياضة:
1. زيادة قوة العضلات: يمكن أن تساعد تمارين التمدد المنتظمة على تحسين لياقة الجسم وتقليل خطر الإصابة بالأمراض المزمنة مثل أمراض القلب والسكري والسرطان وأمراض الكلى والكلى وبعض أنواع السرطان الأخرى.
2. تعزيز المرونة والتوازن: ثبت أن ممارسة النشاط البدني بانتظام يمكن أن يساعد الرياضيين على الحفاظ على مستويات ثابتة من الطاقة لديهم وتعزيز قدرتهم على التكيف مع المواقف الجديدة والبقاء نشطًا.
3. تقليل التوتر والقلق: أظهرت الدراسات أن ممارسة الرياضة تقلل من القلق والتوتر والاكتئاب لدى الرياضيين الذين يعانون من مشاكل صحية عقلية مختلفة. وهذا مهم أيضًا لصحة الدماغ والجهاز العصبي الصحي.
4. تحسين صحة العظام: ثبت أن ممارسة الرياضة تحسن صحة العظام ويمكنها المساعدة في تنظيم وظائف المخ المختلفة، بما في ذلك تقوية العظام وتقوية المفاصل.
5. تحسين النوم: ثبت أن ممارسة الأنشطة الهوائية بانتظام يمكن أن تعزز الاسترخاء وتقلل من التوتر والقلق.
6. تحسين المزاج: ثبت أن ممارسة الرياضة تزيد من اليقظة الذهنية والمزاج، مما قد يؤدي إلى تحسين التركيز والتركيز.
7. تحسين الحالة المزاجية: ثبت أن ممارسة الرياضة يمكن أن تفيد الصحة العقلية والصحة العاطفية للأفراد الذين يعانون من اضطرابات مزاجية أو اكتئاب.
8. تحسين الوظيفة الإدراكية: ثبت أن ممارسة الرياضة يمكن أن تحسن وظيفة الذاكرة والقدرة المعرفية، بالإضافة إلى قدرتها على التعلم والنمو الشخصي.
9. تحسين الدورة الدموية: ثبت أن ممارسة الرياضة يمكن أن تحسن قدرة التحمل والقوة والمرونة، مما يسمح للرياضيين بتحسين وظائفهم العصبية.
10. تحسين عملية الهضم: ثبت أن ممارسة الرياضة يمكن أن تحسن عملية الهضم وتعزز القدرة على هضم الطعام بكفاءة أكبر.
11. تحسين التوازن والتنسيق: ثبت أن ممارسة الرياضة يمكن أن تحسن توازن القوى بين العمل والحياة، مما يزيد من صعوبة التغلب على الشدائد وتحقيق أهداف قابلة للتحقيق.
12. تحسين جودة النوم: ثبت أن ممارسة الرياضة يمكن أن تحسن نوعية نوم الفرد ورفاهيته، مما يجعل من الصعب على الأفراد الحصول على قسط كافٍ من الراحة والاسترخاء أثناء فترات الراحة الطويلة.
13. تحسين الجهاز المناعي: ثبت أن ممارسة الرياضة يمكن أن تحسن جهاز المناعة وتساعد على مكافحة الالتهابات والأمراض المعدية.
14. تحسين الوظائف التنفيذية: ثبت أن ممارسة الرياضة يمكن أن تحسن الكفاءة الإدارية والتنظيم الوظيفي، فضلا عن توفير بيئة عمل داعمة ودعم للموظفين.
15. تحسين نظام المكافأة الغذائي: ثبت أن ممارسة الرياضة يمكن أن تحسن الأداء العام للجسم والعقل، مما يقلل من خطر الإصابة بأمراض مزمنة مثل مرض السكري وارتفاع ضغط الدم ومرض الزهايمر.
16. تحسين التنسيق الاجتماعي: ثبت أن ممارسة الرياضة يمكن أن توفر مستوى عالٍ من التفاهم والدعم العاطفي، حيث يمكن للطلاب التواصل مع الآخرين ومشاركة تجاربهم حول الحياة الواقعية.
17. تحسين المهارات الاجتماعية: ثبت أن ممارسة الرياضة يمكن أن تحسن مهارات الاتصال ومهارات حل المشكلات، مما يجعلها أكثر جاذبية لأولئك الذين يرغبون في ممارسة الرياضة.
18. تحسين الصحة النفسية: ثبت أن ممارسة الرياضة يمكن أن تحسن الرفاهية الجسدية والعاطفية، مما يعزز الشعور بالرفاهية والسعادة.
19- إدارة الوقت: ثبت أن ممارسة الرياضة يمكن أن تحسن الإنتاجية والكفاءة الإجمالية، مما يتيح لك البقاء نشطين ومتحمسين لاتخاذ قرارات مستنيرة بشأن ما يجب القيام به.
4. أعد صياغة الجملة التالية بأسلوب آخر: القراءة تفتح آفاق العقل
إن قراءة الكتب في متناول اليد يمكن أن تجعل من الصعب على القارئ فهمها، مما يجعل منه أداة مفيدة للقراءة.
5. اقترح ثلاثة أسماء لمقهى عربي
1. مقهى العرب الأصيل
2. مقهى الخليج العربي
3. مقهى الشرق الأوسط
4. مقهى الفجر الذهبي
5. مقهى الخليج العربي
6. اشرح ما هو الذكاء الاصطناعي بكلمات بسيطة
يعد الذكاء الاصطناعي (AI) تقنية قوية يمكن استخدامها لتطوير أنظمة الكمبيوتر التي يمكنها أداء المهام المعقدة، مثل معالجة اللغة الطبيعية وتحليل المشاعر والتعلم الآلي وحل المشكلات. في هذا النوع من الذكاء الاصطناعي، يتم استخدامه لإنشاء نماذج تنبؤية وتصميمات معقدة للغاية. بالإضافة إلى ذلك، فهو يسمح للآلات بإنشاء تطبيقات أكثر كفاءة وفعالية من حيث التكلفة وأكثر دقة.
المشاكل الحالية لصقر
- لا يوجد دعم للتشكيل
- البيانات التي تم التدريب ليها ليست كبيره مقارنة بالنماذج الأخري
- لا يوجد دعم لإستخدام الأدوات toolcalling
- لا يوجد دعم للغة الإنجيلزية.
أفكار مستقلبية
يوجد الكثير من الأفكار المستقبلية لصقر وأهمها حل المشاكل التي بالأعلي و :
- تغيير المعمارية الخاصه بالنموذج لتكون مبنية علي mamba2
- استخدام DPO لتحسين دقة النموذج
- عمل leaderboard خاصه بالنماذج الصغيره للغة العربية لمقارنة أفضل.
- هل يمكن زياده عدد vocabsize وتقليل عدد المتغيرات وهل سوف يساعد النموذج في التطور بشكل أفضل؟
هل تعلم كم إستغرق تدريب النموذج؟
استغرق حوالي 19 ساعة علي صديقي الجديد kobox وهو كرت شاشة 5090 astral مع معالج 9950amd!!
روابط للنموذج :