تحسين عملية التحقق من استجابات نماذج الذكاء الاصطناعي

ونتيجةً لهذه المشكلة، غالباً ما يتم التحقق من استجابات نماذج اللغات الكبيرة من قِبل مُراجعين بشريين، خاصةً عند استخدام هذه النماذج في مجالات حساسة كالرعاية الصحية أو المالية. لكن عمليات التحقق التقليدية تتطلب من هؤلاء المراجعين قراءة وثائق طويلة يستشهد بها النموذج، وهي مهمة شاقة ومعرضة للأخطاء، وقد تُثني بعض المستخدمين عن استخدام نماذج الذكاء الاصطناعي التوليدية.

ولمساعدة المُراجعين البشريين، ابتكر باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) نظاماً سهلاً الاستخدام يُمكّنهم من التحقق من استجابات نماذج اللغات الكبيرة بسرعة أكبر. هذا النظام، الذي يُسمى SymGen، يُنتج استجابات مع إشارات مرجعية دقيقة تشير إلى مكان محدد في وثيقة المصدر، مثل خلية معينة في قاعدة بيانات.

يمكن للمستخدمين تمرير مؤشر الماوس فوق الأجزاء المميزة من النص ليرون البيانات التي استخدمها النموذج لإنشاء تلك الكلمة أو العبارة المحددة. في الوقت نفسه، تُظهر الأجزاء غير المميزة للمستخدمين العبارات التي تحتاج إلى مزيد من التدقيق والتحقق.

يقول شانون شين، طالب دراسات عليا في الهندسة الكهربائية وعلوم الحاسوب، والباحث الرئيسي المشارك في ورقة بحثية حول SymGen: “نمنح الناس القدرة على التركيز بشكل انتقائي على أجزاء النص التي يجب أن يكونوا أكثر قلقاً بشأنها. في النهاية، يمكن لـ SymGen أن يمنح الناس ثقة أكبر في استجابات النموذج لأنهم يمكنهم بسهولة إلقاء نظرة فاحصة للتأكد من التحقق من المعلومات”.

وأظهرت دراسة أجراها شين وزملاؤه أن SymGen زاد سرعة عملية التحقق بنسبة 20% تقريباً مقارنةً بالطرق اليدوية. ومن خلال جعل عملية التحقق أسرع وأسهل، يمكن لـ SymGen أن يساعد في تحديد الأخطاء في نماذج اللغات الكبيرة المستخدمة في العديد من المواقف الواقعية، بدءاً من إنشاء الملاحظات السريرية وحتى تلخيص تقارير السوق المالية.

انضم إلى شين في هذه الورقة البحثية الباحث الرئيسي المشارك زميله طالب الدراسات العليا في الهندسة الكهربائية وعلوم الحاسوب لوكاس توروبا هينيغن؛ وطالب الدراسات العليا في الهندسة الكهربائية وعلوم الحاسوب أنيرودها “آني” نروسيمها؛ وبرنهارد غاب، رئيس مبادرة البيانات الجيدة؛ والباحثين الرئيسيين ديفيد سونتاغ، أستاذ الهندسة الكهربائية وعلوم الحاسوب، وعضو في عيادة جيميل في معهد ماساتشوستس للتكنولوجيا، وقائد مجموعة تعلم الآلة السريرية في مختبر علوم الكمبيوتر والذكاء الاصطناعي (CSAIL)؛ ويون كيم، أستاذ مساعد في الهندسة الكهربائية وعلوم الحاسوب وعضو في CSAIL. وقد تم تقديم هذا البحث مؤخراً في مؤتمر نماذج اللغات.

الاستشهادات الرمزية

ولمساعدة في عملية التحقق، تم تصميم العديد من نماذج اللغات الكبيرة لإنتاج إشارات مرجعية تشير إلى وثائق خارجية، إلى جانب استجاباتها اللغوية، حتى يتمكن المستخدمون من التحقق منها. ومع ذلك، يقول شين إن هذه أنظمة التحقق عادة ما يتم تصميمها كفكرة لاحقة، دون مراعاة الجهد الذي يبذله الناس للبحث في العديد من الإشارات المرجعية.

يقول شين: “يهدف الذكاء الاصطناعي التوليدي إلى تقليل وقت المستخدم لإكمال مهمة. إذا كنت بحاجة إلى قضاء ساعات في قراءة كل هذه الوثائق للتحقق من أن النموذج يقول شيئاً منطقياً، فإنه يكون أقل فائدة في الممارسة العملية”.

اقترب الباحثون من مشكلة التحقق من منظور البشر الذين سيقومون بهذا العمل.

يقوم مستخدم SymGen أولاً بتزويد نموذج اللغات الكبيرة ببيانات يمكنه الرجوع إليها في استجابته، مثل جدول يحتوي على إحصائيات من مباراة كرة سلة. ثم، بدلاً من مطالبة النموذج مباشرةً بإكمال مهمة، مثل إنشاء ملخص للمباراة من تلك البيانات، يقوم الباحثون بخطوة وسيطة. إنهم يحثون النموذج على إنشاء استجابته بشكل رمزي.

مع هذا الطلب، في كل مرة يريد النموذج الاستشهاد بكلمات في استجابته، يجب عليه كتابة اسم الخلية المحدد من جدول البيانات الذي يحتوي على المعلومات التي يشير إليها. على سبيل المثال، إذا أراد النموذج الاستشهاد بعبارة “بورتلاند تريل بليزرز” في استجابته، فسيقوم باستبدال هذا النص باسم الخلية في جدول البيانات الذي يحتوي على هذه الكلمات.

يقول توروبا هينيغن: “بسبب هذه الخطوة الوسيطة التي تحتوي على النص بتنسيق رمزي، أصبح بإمكاننا الحصول على إشارات مرجعية دقيقة للغاية. يمكننا القول، لكل جزء من النص في المخرجات، هذا هو المكان بالضبط في البيانات الذي يتوافق معه”.

ثم يقوم SymGen بحل كل إشارة مرجعية باستخدام أداة قائمة على القواعد تُنسخ النص المقابل من جدول البيانات إلى استجابة النموذج.

يضيف شين: “بهذه الطريقة، نعرف أنها نسخة حرفية، لذلك نعرف أنه لن تكون هناك أية أخطاء في جزء النص الذي يتوافق مع متغير البيانات الفعلي”.

تبسيط عملية التحقق

يمكن للنموذج إنشاء استجابات رمزية بسبب طريقة تدريبه. يتم تغذية نماذج اللغات الكبيرة بكميات هائلة من البيانات من الإنترنت، ويتم تسجيل بعض البيانات بتنسيق “علامة مكان” حيث تحل الرموز محل القيم الفعلية.

عندما يحث SymGen النموذج على إنشاء استجابة رمزية، فإنه يستخدم بنية مماثلة.

يضيف شين: “نقوم بتصميم الطلب بطريقة محددة للاستفادة من قدرات نموذج اللغات الكبيرة”.

خلال دراسة المستخدم، قال معظم المشاركين إن SymGen جعل من السهل التحقق من النص الذي تم إنشاؤه بواسطة نماذج اللغات الكبيرة. تمكنوا من التحقق من استجابات النموذج بسرعة أكبر بنسبة 20% تقريباً مما لو استخدموا الطرق القياسية.

ومع ذلك، فإن SymGen محدود بجودة بيانات المصدر. قد يستشهد نموذج اللغات الكبيرة بمتغير غير صحيح، وقد لا يدرك المُحقق البشري ذلك.

بالإضافة إلى ذلك، يجب أن يكون لدى المستخدم بيانات مصدر بتنسيق مُنظم، مثل جدول، لتغذية SymGen. في الوقت الحالي، يعمل النظام فقط مع البيانات الجدولية.

في المستقبل، يعمل الباحثون على تحسين SymGen حتى يتمكن من التعامل مع النصوص التعسفية وأشكال البيانات الأخرى. بفضل هذه القدرة، يمكن أن يساعد في التحقق من أجزاء من ملخصات الوثائق القانونية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، على سبيل المثال. كما يخططون لاختبار SymGen مع الأطباء لدراسة كيفية تحديد الأخطاء في الملخصات السريرية التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي