فتح الإمكانات الكاملة لنمذجة اللغة مع OLMo، ذروة مبادرات اللغة مفتوحة المصدر. يتميز OLMo بأخلاق فريدة تتمثل في الشفافية التامة، حيث يقوم بثورة في كيفية تفاعلنا مع بناء نماذج اللغة وفهمها وتطويرها عن طريق مشاركة كل شيء - نعم، كل جزء من المشروع - بدءًا من مجموعة بيانات الـ 3 تريليون Dolma dataset الخاصة به حتى الموارد الأساسية مثل كود التدريب، وأوزان النموذج، وكود الاستدلال، وسجلات مفصلة.
استكشف عالمًا حيث ليس فقط ممكنًا استنساخ عملية تدريب النموذج والاستكشاف في تفاصيل الأداء وتخصيص النموذج وفقًا لاحتياجاتك، بل إنه مشجع أيضًا. يفتح التزام OLMo للإطار البرمجي المفتوح بنسبة 100٪ الباب أمام فرص أبحاث لا مثيل لها، مما يتيح لك:
- الوصول إلى بيانات التدريب الشاملة المسبقة مع مجموعة بيانات Dolma AI2، التي توفر مجموعة مفتوحة غنية تغطي 500 مليون وثيقة مستمدة من منصات متنوعة. يتيح هذا الأساس لك استكشاف عمق عملية التعلم للنموذج وتكييفه وفقًا لمختلف الأهداف البحثية.
- استخدم أوزان النموذج الكاملة وكود التدريب لأربعة نماذج مختلفة، تم تدريب كل منها بما لا يقل عن 2 تريليون رمز. سواء كنت تهدف إلى استنساخ عملية التدريب أو ضبط أداء النموذج، يزودك OLMo بجميع الموارد التي تحتاجها.
- استفد من مجموعة أدوات تقييم شاملة تشمل أكثر من 500 نقطة فحص نموذج وكود تقييم من مشروع Catwalk. قم بتقييم نماذجك أو تعمق في تحليل OLMo بدقة.
تفاصيل معلمات النموذج والهندسة المعمارية:
استكشف مجموعة متنوعة من أحجام النماذج التي يمكن تخصيصها وفقًا لاحتياجات مشروعك، بدءًا من النموذج ذي المعلمات بمليار وحدة يتميز بـ 16 طبقة و 2048 وحدة مخفية في كل طبقة، وصولاً إلى النموذج ذي المعلمات الهائلة بـ 65 مليار معلمة، والذي يستمر في توسيع قدراته بوجود 80 طبقة و 8192 وحدة مخفية في كل طبقة. تعتمد نماذج OLMo على هندسة معمارية للمحوّل فقط دون التشفير، تضمّن الابتكارات مثل تطبيع الطبقة غير العددي ووظائف تنشيط SwiGLU لتحسين الأداء بشكل أكبر.
تقييم الأداء:
مقارنة بالنماذج الرائدة، يظهر النموذج OLMo 7B نتائج مقارنة في مهام التكوين وفهم القراءة ويظهر إمكانيات مشجّعة عبر مجموعة متنوعة من التطبيقات. من خلال أدوات AI2’s Paloma ونقاط الفحص المتاحة، استكشف تحليلات شاملة تربط قابلية تنبؤ النموذج بحجمه وعملية التدريب.
ابدأ رحلتك مع OLMo:
- استكشف المشروع: allenai.org/olmo
- حمّل النموذج: huggingface.co/allenai/OLMo-7B
- التواصل مع التقرير التقني: blog.allenai.org/olmo-open-language-model-87ccfc95f580
- تصفح ورقة البحث: arxiv.org/abs/2402.00838
- المساهمة والتعاون: github.com/allenai/olmo
يدفع OLMo للأمام ليس فقط في مجال نمذجة اللغة بل يصر أيضًا على نهج تعاوني وشفاف ومفتوح المصدر في الابتكار. ابدأ استكشافك اليوم وساهم في مجال البحوث اللغوية.
Official Website
A truly completely open source large model