مايكروسوفت تكشف عن نموذج لغوي يحتوي على 2.7 مليار معلمة باسم “فاي-2”
منصة الذكاء الاصطناعي ـ متابعات:
تبرز النموذج اللغوي فاي-2 الذي يحتوي على 2.7 مليار معلمة من مايكروسوفت قدرات استثنائية في التفكير المنطقي وفهم اللغة، مما يضع معيارًا جديدًا للأداء بين النماذج اللغوية الأساسية التي تحتوي على أقل من 13 مليار معلمة.
يستند فاي-2 على نجاح سابقيه فاي-1 وفاي-1.5، ويتفوق على النماذج التي تصل حجمها إلى 25 مرة أكبر، وذلك بفضل الابتكارات في توسيع النموذج وتنسيق بيانات التدريب.
ويجعل الحجم المدمج لفاي-2 منه ملعبًا مثاليًا للباحثين، حيث يسهل استكشاف التفسير الميكانيكي وتحسينات السلامة والتجربة في ضبط الدقة عبر مهام مختلفة.
تتأسس إنجازات فاي-2 على جانبين أساسيين:
- جودة بيانات التدريب: تؤكد مايكروسوفت على الدور الحاسم لجودة بيانات التدريب في أداء النموذج. يستفيد فاي-2 من بيانات “جودة المنهج”، حيث يتم التركيز على مجموعات بيانات اصطناعية مصممة لنقل التفكير المنطقي المشترك والمعرفة العامة. يتم إضافة مجموعة التدريب ببيانات الويب المختارة بعناية وتم تصفيتها بناءً على القيمة التعليمية وجودة المحتوى.
- تقنيات التوسيع المبتكرة: تعتمد مايكروسوفت تقنيات مبتكرة لتوسيع فاي-2 عن سابقه فاي-1.5. يسهم نقل المعرفة من النموذج اللغوي الذي يحتوي على 1.3 مليار معلمة في تحقيق تقدم واضح في درجات الاختبار.
تقييم الأداء:
تم تقييم فاي-2 بشكل دقيق عبر مجموعة متنوعة من المقاييس، بما في ذلك Big Bench Hard والاستدلال بالمنطق السليم وفهم اللغة والرياضيات والبرمجة.
بمجرد وجود 2.7 مليار معلمة فقط، يتفوق فاي-2 على النماذج الأكبر حجمًا، بما في ذلك ميسترال ولاما-2، ويتفوق أو يتفوق على نموذج جيميني نانو 2 الذي أعلنت عنه جوجل أخيراً.
