تقييم موثوقية نماذج الذكاء الاصطناعي متعددة الأغراض قبل نشرها

تُعد النماذج الأساسية نماذج تعلّم عميق ضخمة تم تدريبها مسبقًا على كمية هائلة من البيانات العامة غير الموسومة. ويمكن تطبيقها على مجموعة متنوعة من المهام، مثل إنشاء الصور أو الإجابة على أسئلة العملاء.

لكن هذه النماذج بجسب MIT، تشكل العمود الفقري لأدوات الذكاء الاصطناعي القوية مثل ChatGPT و DALL-E، يمكن أن تقدم معلومات غير صحيحة أو مضللة. وفي المواقف الحرجة للسلامة، مثل اقتراب المشاة من سيارة ذاتية القيادة، يمكن أن يكون لهذه الأخطاء عواقب وخيمة.

وللمساعدة في منع مثل هذه الأخطاء، طور باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) ومختبر MIT-IBM Watson AI Lab تقنية لتقدير موثوقية النماذج الأساسية قبل نشرها لمهمة معينة.

يحققون ذلك من خلال النظر في مجموعة من النماذج الأساسية التي تختلف قليلاً عن بعضها البعض. ثم يستخدمون خوارزميتهم لتقييم اتساق التمثيلات التي يتعلمها كل نموذج حول نقطة بيانات اختبار واحدة. وإذا كانت التمثيلات متسقة، فهذا يعني أن النموذج موثوق.

عند مقارنة تقنيتهم بطرق المقارنة المتقدمة، كانت أفضل في تحديد موثوقية النماذج الأساسية في مجموعة متنوعة من مهام التصنيف التابعة.

يمكن لشخص ما استخدام هذه التقنية لتحديد ما إذا كان ينبغي تطبيق نموذج في إعداد معين، دون الحاجة إلى اختباره على مجموعة بيانات واقعية. وقد يكون هذا مفيدًا بشكل خاص عندما لا تكون مجموعات البيانات قابلة للوصول إليها بسبب مخاوف الخصوصية، كما هو الحال في مجال الرعاية الصحية. بالإضافة إلى ذلك، يمكن استخدام التقنية لترتيب النماذج بناءً على درجات الموثوقية، مما يتيح للمستخدم اختيار الأفضل لمهمته.

يقول المؤلف المشارك نافيد عزيزان، الأستاذ المساعد في قسم الهندسة الميكانيكية في معهد ماساتشوستس للتكنولوجيا ومعهد البيانات والأنظمة والمجتمع (IDSS)، وعضو مختبر أنظمة المعلومات وقراراتها (LIDS): “يمكن لجميع النماذج أن تكون خاطئة، ولكن النماذج التي تعرف متى تكون خاطئة تكون أكثر فائدة. إن مشكلة تحديد عدم اليقين أو الموثوقية أكثر صعوبة بالنسبة لهذه النماذج الأساسية لأن تمثيلاتها المجردة يصعب مقارنتها. تسمح طريقتنا بتحديد مدى موثوقية نموذج التمثيل لأي بيانات إدخال معينة.”

وانضم إليه في ورقة حول العمل المؤلف الرئيسي يونج جين بارك، وهو طالب دراسات عليا في LIDS ؛ هاو وانغ، باحث علمي في مختبر MIT-IBM Watson AI Lab ؛ وشيرفين أردشير، باحث أول في Netflix. سيتم تقديم الورقة في مؤتمر حول عدم اليقين في الذكاء الاصطناعي.

قياس التوافق

يتم تدريب نماذج التعلم الآلي التقليدية لأداء مهمة محددة. عادةً ما تقدم هذه النماذج تنبؤًا ملموسًا بناءً على إدخال. على سبيل المثال، قد يخبرك النموذج ما إذا كانت صورة معينة تحتوي على قطة أو كلب. في هذه الحالة، يمكن أن يكون تقييم الموثوقية مسألة النظر إلى التنبؤ النهائي لمعرفة ما إذا كان النموذج صحيحًا.

لكن النماذج الأساسية مختلفة. يتم تدريب النموذج مسبقًا باستخدام بيانات عامة، في بيئة لا يعرف فيها منشئوها جميع المهام التابعة التي سيتم تطبيقها عليه. يقوم المستخدمون بتكييفه مع مهامهم المحددة بعد تدريبه بالفعل.

وعلى عكس نماذج التعلم الآلي التقليدية، لا تقدم النماذج الأساسية مخرجات ملموسة مثل تسميات “قطة” أو “كلب”. بدلاً من ذلك، فإنها تولد تمثيلًا تجريديًا استنادًا إلى نقطة بيانات إدخال.