Mistral AI و NVIDIA تكشفان عن نموذج NeMo بحجم 12 مليار معلمة

Mistral AI قد أعلنت عن NeMo، وهو نموذج بحجم 12 مليار معلمة تم إنشاؤه بالتعاون مع NVIDIA. يتمتع هذا النموذج الجديد بنافذة سياقية تصل إلى 128,000 رمز وتدعي أنه الأفضل في المجال من حيث الأداء في الاستدلال والمعرفة العامة ودقة البرمجة لفئته الحجمية.

أدّى التعاون بين Mistral AI و NVIDIA إلى إنشاء نموذج لا يقتصر فقط على دفع حدود الأداء، ولكن أيضًا يركز على سهولة الاستخدام. تم تصميم Mistral NeMo ليكون بديلاً سلسًا لأنظمة Mistral 7B الحالية، وذلك بفضل اعتماده على هندسة قياسية.

وفي خطوة لتشجيع التبني والبحث الأكاديمي الإضافي، قامت Mistral AI بنشر نسخ مدربة مسبقًا للنموذج الأساسي والمضبوط على التعليمات في إطار ترخيص Apache 2.0. من المرجح أن يستقطب هذا النهج المفتوح الباحثين والمؤسسات على حد سواء، مما قد يعجّل في دمج النموذج في مختلف التطبيقات.

أحد المزايا الرئيسية لـ Mistral NeMo هو وعيه بالتكميم أثناء التدريب، مما يتيح التقدير FP8 دون المساس بالأداء. قد تثبت هذه القدرة فائدة حاسمة للمنظمات التي تسعى إلى نشر نماذج اللغة الكبيرة بكفاءة.

قدمت Mistral AI مقارنات الأداء بين نموذج Mistral NeMo الأساسي وكل من Gemma 2 9B و Llama 3 8B، وهما نموذجان مفتوحا المصدر حديثًا.
“تم تصميم النموذج للتطبيقات العالمية متعددة اللغات. إنه مدرب على استدعاء الوظائف، ولديه نافذة سياقية كبيرة، وهو قوي بشكل خاص في الإنجليزية والفرنسية والألمانية والإسبانية والإيطالية والبرتغالية والصينية واليابانية والكورية والعربية والهندية،” كما شرح Mistral AI.

“هذه هي خطوة جديدة نحو إتاحة نماذج الذكاء الاصطناعي الرائدة في متناول الجميع بجميع اللغات التي تشكل الثقافة الإنسانية.”

يقدم Mistral NeMo Tekken، وهو مرمز جديد مستند إلى Tiktoken. تم تدريب Tekken على أكثر من 100 لغة، وهو يقدم كفاءة ضغط محسّنة لكل من النص اللغوي الطبيعي والرمز المصدري مقارنةً بمرمز SentencePiece المستخدم في نماذج Mistral السابقة. تفيد الشركة أن Tekken أكثر كفاءة بنحو 30% في ضغط الرمز المصدري وعدة لغات رئيسية، مع مكاسب أكبر بكثير للغة الكورية والعربية.

وتدعي Mistral AI أيضًا أن Tekken يتفوق على مرمز Llama 3 في ضغط النص لنحو 85% من جميع اللغات، مما قد يمنح Mistral NeMo ميزة في التطبيقات متعددة اللغات.

أصبحت أوزان النموذج متاحة الآن على HuggingFace لكل من الإصدارين الأساسي والمضبوط على التعليمات. يمكن للمطورين البدء في تجربة Mistral NeMo باستخدام أداة mistral-inference والتكييف معها باستخدام mistral-finetune. بالنسبة لمستخدمي منصة Mistral، يمكن الوصول إلى النموذج باسم open-mistral-nemo.

وتمشيًا مع التعاون مع NVIDIA، يتم تعبئة Mistral NeMo أيضًا كخدمة مصغرة للاستدلال NVIDIA NIM، والتي تتوفر من خلال ai.nvidia.com. قد يؤدي هذا التكامل إلى تبسيط نشر النموذج للمنظمات المستثمرة بالفعل في نظام NVIDIA الخاص بالذكاء الاصطناعي.

يمثل إطلاق Mistral NeMo خطوة كبيرة إلى الأمام في ديمقراطية نماذج الذكاء الاصطناعي المتقدمة. من خلال الجمع بين الأداء العالي والقدرات متعددة اللغات والتوافر المفتوح المصدر، تضع Mistral AI و NVIDIA هذا النموذج كأداة متعددة الاستخدامات لمجموعة واسعة من تطبيقات الذكاء الاصطناعي عبر مختلف الصناعات ومجالات البحث.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي