تعاون ذكي بين نماذج اللغات الكبيرة: تحسين الدقة والكفاءة

هل سبق لك أن واجهت سؤالاً لم تكن تعرف إجابته بشكل كامل؟ في مثل هذه الحالات، يكون الحل الأمثل هو استشارة صديق يملك معرفة أوسع في الموضوع.

تُطبق هذه الفكرة على نماذج اللغات الكبيرة (LLMs) لتحسين دقة إجاباتها. لكن كان من الصعب تعليم هذه النماذج متى يجب التعاون مع نموذج آخر للحصول على إجابة أكثر دقة.

قام باحثون في مختبر علوم الحاسوب والذكاء الاصطناعي (CSAIL) في معهد ماساتشوستس للتكنولوجيا (MIT) بتطوير خوارزمية جديدة تُسمى “Co-LLM” لتحقيق هذا الهدف.

تُمكن هذه الخوارزمية من اقتران نموذج لغة عام مع نموذج متخصص للعمل معاً. عندما يبدأ النموذج العام في صياغة إجابة، تقوم Co-LLM بمراجعة كل كلمة (أو علامة) في الإجابة لتحديد مكان طلب إجابة أكثر دقة من النموذج المتخصص.

تُؤدي هذه العملية إلى إجابات أكثر دقة لأسئلة مثل الأسئلة الطبية و مسائل الرياضيات والمنطق. كما تُساهم في زيادة كفاءة إنشاء الإجابات لأن النموذج المتخصص لا يُستخدم في كل خطوة.

تُستخدم تقنية التعلم الآلي في هذه الخوارزمية لتدريب “متغير التبديل” (switch variable) الذي يُحدد كفاءة كل كلمة في إجابات النموذجين. يعمل هذا المتغير مثل مدير مشروع يُحدد المناطق التي تُحتاج إلى استشارة أخصائي.

على سبيل المثال، إذا طلبت من Co-LLM ذكر بعض أنواع الدببة المنقرضة، فستقوم النموذجين بصياغة إجابات معاً. يبدأ النموذج العام في تجميع الإجابة، ويُدخل متغير التبديل علامات أفضل من النموذج المتخصص مثل إضافة سنة انقراض نوع الدب.

“مع Co-LLM، نُدرب النموذج العام على “الاتصال” بالنموذج المتخصص عندما يُحتاج إليه”، تقول شانون شين، طالبة دكتوراه في هندسة الكهرباء و علوم الحاسوب في MIT و عضو في CSAIL و المؤلفة الرئيسية لورقة بحثية جديدة حول هذا الأسلوب. “نستخدم بيانات محددة للمجال لتعليم النموذج العام عن خبرة النموذج المقابل في مجالات مثل المهام الطبية و أسئلة الرياضيات و المنطق. تُحدد هذه العملية تلقائياً أجزاء البيانات التي يُصعب على النموذج العام إنشاءها، ثم تُرشده لتبديل النموذج المتخصص المُدرب على بيانات من مجال مماثل. يوفر النموذج العام “هيكل” الإنشاء، وعندما يُطلب من النموذج المتخصص، فإنه يُشجع الخبراء على إنشاء العلامات المطلوبة. تُشير نتائجنا إلى أن نماذج اللغات الكبيرة تتعلم أنماط التعاون بشكل عضوي، مشابهة لطريقة تعرف البشر متى يُمكن طلب المساعدة من خبراء لملء الفراغات”.

مرونة و دقة في النتائج

تخيل أن تُطلب من نموذج لغة عام ذكر مكونات دواء مُحدد. قد يُجيب بشكل غير صحيح، مما يُلزم استشارة نموذج متخصص.

لإظهار مرونة Co-LLM، استخدم الباحثون بيانات مثل مجموعة BioASQ الطبية لإقران نموذج لغة عام مع نماذج متخصصة في مجالات مختلفة، مثل نموذج Meditron المُدرب على بيانات طبية غير مُصنفة. أمكن هذه الخوارزمية من المساعدة في الإجابة على الاستفسارات التي يُمكن أن يُقدمها خبراء طبيون، مثل ذكر آليات حدوث مرض مُحدد.

على سبيل المثال، إذا طلبت من نموذج لغة بسيط ذكر مكونات دواء مُحدد، فقد يُجيب بشكل غير صحيح. مع إضافة خبرة نموذج متخصص في البيانات الطبية، ستحصل على إجابة أكثر دقة. تُنبه Co-LLM المستخدمين أيضاً إلى مواقع التحقق من الإجابات.

مثال آخر على تحسين أداء Co-LLM: عندما طُلب منها حل مسألة رياضية مثل “a3 · a2 if a=5″، حصل النموذج العام على إجابة غير صحيحة وهي 125. عندما دربت Co-LLM النموذج على التعاون مع نموذج رياضيات كبير يُسمى Llemma، توصلوا معاً إلى الحل الصحيح وهو 3,125.

أعطت Co-LLM إجابات أكثر دقة من نماذج اللغات البسيطة المُحسنة و النماذج المتخصصة غير المُحسنة التي تُستخدم بشكل مستقل. تُمكن Co-LLM من توجيه نموذجين مُدربين بشكل مختلف للعمل معاً، بينما تُحتاج تقنيات التعاون الفعالة الأخرى في نماذج اللغات الكبيرة، مثل “Proxy Tuning”، إلى تدريب جميع نماذجها المكونة بشكل متشابه. بالإضافة إلى ذلك، تُطلب من هذه الطريقة استخدام كل نموذج في وقت واحد لإنتاج الإجابة، بينما تُنشط خوارزمية MIT النموذج المتخصص فقط لعلامات مُحددة، مما يُؤدي إلى إنشاء أكثر كفاءة.

متى يُطلب من الخبراء

تُسلط خوارزمية باحثي MIT الضوء على أن تقليد العمل الجماعي البشري بشكل أقرب يُمكن أن يُزيد من دقة التعاون بين نماذج اللغات الكبيرة. لرفع دقة معلوماتها بشكل أفضل، قد يستفيد الفريق من تصحيح الأخطاء الذاتي البشري: يُفكرون في نهج تأجيل أكثر صلابة يُمكن أن يتراجع عندما لا يُقدم النموذج المتخصص إجابة صحيحة. ستُمكن هذه التحديثات Co-LLM من تصحيح المسار حتى تُمكن الخوارزمية من تقديم إجابة مُرضية.

يرغب الفريق أيضاً في تحديث النموذج المتخصص (من خلال تدريب النموذج العام فقط) عندما تتوفر معلومات جديدة، مما يُحافظ على دقة الإجابات قدر الإمكان. سيُمكن ذلك Co-LLM من اقتران أحدث المعلومات مع قوة الاستدلال القوية. في النهاية، يُمكن أن تُساعد الخوارزمية في معالجة وثائق الشركات، باستخدام أحدث المعلومات التي تُقدمها لتحديثها بناءً على ذلك. يُمكن أن تُدرب Co-LLM أيضاً نماذج صغيرة و خاصة للعمل مع نموذج لغة كبير لتحسين الوثائق التي يُجب أن تُبقى ضمن الخادم.

“تُقدم Co-LLM نهجاً مثيراً للإهتمام للتعلم من اختيار واحد من بين نموذجين لتحسين الكفاءة و الأداء”، يقول كولين رافيل، أستاذ مساعد في جامعة تورنتو و مدير بحث مساعد في معهد Vector، الذي لم يُشارك في البحث. “بما أن قرارات التوجيه تُتخذ على مستوى العلامات، تُقدم Co-LLM طريقة دقيقة لتأجيل خطوات الإنشاء الصعبة إلى نموذج أقوى. تُوفر الجمع الفريد بين التوجيه على مستوى العلامات و النموذج مرونة كبيرة تفتقر إليها الطرق المماثلة. تُساهم Co-LLM في خط عمل هام يهدف إلى تطوير أنظمة بيئية من نماذج متخصصة للتفوق على أنظمة الذكاء الاصطناعي الموحدة و ذات التكلفة العالية”.

كتبت شين الورقة مع أربعة أعضاء آخرين في CSAIL: طالب الدكتوراه هانتر لانغ ’17، MEng ’18؛ باحث ما بعد الدكتوراه السابق و باحث في الذكاء الاصطناعي و التعلم الآلي في Apple بايلين وانغ؛ أستاذ مساعد في هندسة الكهرباء و علوم الحاسوب في MIT يون كيم، و أستاذ و عضو في عيادة جيميل ديفيد سونتاغ دكتوراه ’10، اللذان هما جزء من مختبر MIT-IBM Watson AI. تم دعم بحثهم، جزئياً، من قبل المؤسسة الوطنية للعلوم، منحة العلوم و الهندسة الدفاعية الوطنية (NDSEG)، مختبر MIT-IBM Watson AI، و Amazon. تم عرض عملهم في الاجتماع السنوي لرابطة اللغويات الحاسوبية.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي