OLMo 2: قفزة نوعية في نماذج اللغات المفتوحة المصدر
بوابة الذكاء الاصطناعي - وحدة المتابعة
تتوفر النماذج الجديدة في نسختين، إحداهما بـ 7 مليارات و الأخرى بـ 13 مليار بارامتر، وقد تم تدريبها على ما يصل إلى 5 تريليون رمز لغوي، مُحققةً أداءً يُضاهي أو يتجاوز نماذج مفتوحة المصدر مُماثلة، بل ويُنافس نماذج ضخمة مثل Llama 3.1 في معايير الاختبار الأكاديمية الإنجليزية.
وأوضحت Ai2 أن “منذ إطلاق النسخة الأولى من OLMo في فبراير 2024، شهدنا نمواً سريعاً في بيئة نماذج اللغات المفتوحة، وتقليصاً للفجوة في الأداء بين النماذج المفتوحة والخاصة”.
حقق فريق التطوير هذه التحسينات من خلال العديد من الابتكارات، بما في ذلك تدابير مُحسّنة لاستقرار التدريب، ونهج تدريب مُتدرّج، ومنهجيات ما بعد التدريب المتطورة المُستمدة من إطار عملهم Tülu 3. وتشمل التحسينات التقنية البارزة التحول من معيار التطبيع اللاإيجابي (nonparametric layer norm) إلى RMSNorm، وتطبيق التضمين الوضعي الدوراني (rotary positional embedding).
إنجازٌ نوعي في تدريب نموذج OLMo 2
اعتمدت عملية التدريب على نهج مُتطور من مرحلتين. استخدمت المرحلة الأولى مجموعة بيانات OLMo-Mix-1124 التي تضم حوالي 3.9 تريليون رمز لغوي، مُستمدة من DCLM و Dolma و Starcoder و Proof Pile II. أما المرحلة الثانية، فقد ضمت مزيجاً مُدروساً من بيانات الويب عالية الجودة ومحتوى مُحدد المجال من خلال مجموعة بيانات Dolmino-Mix-1124.
يُعد متغير OLMo 2-Instruct-13B، وهو النموذج الأكثر قدرة في السلسلة، مُميّزاً بشكل خاص. أظهر هذا النموذج أداءً متفوقاً مقارنةً بنماذج Qwen 2.5 14B instruct و Tülu 3 8B و Llama 3.1 8B instruct عبر معايير اختبار متنوعة.
وعززت Ai2 التزامها بالعلم المفتوح من خلال إصدار وثائق شاملة تتضمن الأوزان والبيانات والرموز ووصفات التدريب ونقاط تفتيش وسيطة ونماذج مُدرّبة على التعليمات. تُتيح هذه الشفافية التفتيش الكامل وإعادة إنتاج النتائج من قبل مجتمع الذكاء الاصطناعي الأوسع.
كما يُقدم الإصدار إطار تقييم يُسمى OLMES (نظام تقييم نماذج اللغات المفتوحة)، والذي يتألف من 20 معياراً مُصممة لتقييم القدرات الأساسية مثل استرجاع المعرفة والتفكير المنطقي والتفكير الرياضي.
يُرفع OLMo 2 من مستوى التطوير في مجال الذكاء الاصطناعي مفتوح المصدر، مما قد يُسرّع وتيرة الابتكار في هذا المجال مع الحفاظ على الشفافية وإمكانية الوصول.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي
