الذكاء الاصطناعي قد يؤدي إلى نتائج متناقضة في مراقبة المنازل

كشفت دراسة جديدة أجراها باحثون من معهد ماساتشوستس للتكنولوجيا وجامعة ولاية بنسلفانيا أن استخدام نماذج اللغات الكبيرة في مراقبة المنازل قد يؤدي إلى توصيات خاطئة بتقديم بلاغات للشرطة حتى في حالة عدم وجود نشاط إجرامي في مقاطع الفيديو.

ووجد الباحثون أن النماذج التي درسها كانت غير متسقة في تحديد مقاطع الفيديو التي تتطلب تدخل الشرطة. على سبيل المثال، قد ترفع نموذج معين علمًا أحمر على مقطع فيديو يُظهر سرقة سيارة، لكنه لا يفعل ذلك مع مقطع آخر يُظهر نشاطًا مشابهًا. غالبًا ما تختلف النماذج فيما بينها حول ما إذا كان يجب الاتصال بالشرطة أم لا لنفس الفيديو.

علاوة على ذلك، وجد الباحثون أن بعض النماذج كانت أقل عرضة لتحديد مقاطع الفيديو لتدخل الشرطة في الأحياء التي يقطنها غالبية السكان من البيض، مع التحكم في العوامل الأخرى. يشير هذا إلى أن النماذج تُظهر تحيزات متأصلة تتأثر بالخصائص الديموغرافية للحي، كما يقول الباحثون.

تشير هذه النتائج إلى أن النماذج غير متسقة في كيفية تطبيقها للقواعد الاجتماعية على مقاطع الفيديو التي تُظهر أنشطة متشابهة. هذه الظاهرة، التي يطلق عليها الباحثون “عدم اتساق القواعد”، تجعل من الصعب التنبؤ بكيفية تصرف النماذج في سياقات مختلفة.

يقول المؤلف المشارك الرئيسي أشيا ويلسون، أستاذ تطوير مهنة ليستر براذرز في قسم الهندسة الكهربائية وعلوم الكمبيوتر وباحث رئيسي في مختبر أنظمة المعلومات والقرارات (LIDS): “إن نهج ‘التحرك بسرعة، وكسر الأشياء’ لنشر نماذج الذكاء الاصطناعي التوليدية في كل مكان، وخاصة في الإعدادات ذات المخاطر العالية، يستحق مزيدًا من التفكير لأن ذلك قد يكون ضارًا للغاية”.

علاوة على ذلك، نظرًا لأن الباحثين لا يمكنهم الوصول إلى بيانات التدريب أو آليات عمل هذه النماذج المملوكة، لا يمكنهم تحديد السبب الجذري لعدم اتساق القواعد.

في حين أن نماذج اللغات الكبيرة (LLMs) قد لا يتم نشرها حاليًا في إعدادات المراقبة الحقيقية، إلا أنها تُستخدم لاتخاذ قرارات قياسية في إعدادات أخرى ذات مخاطر عالية، مثل الرعاية الصحية وإقراض الرهن العقاري والتعيين. يقول ويلسون إنه من المحتمل أن تُظهر النماذج نفس عدم الاتساق في هذه الحالات.

يقول المؤلف الرئيسي شوميك جين، وهو طالب دراسات عليا في معهد البيانات والأنظمة والمجتمع (IDSS): “هناك اعتقاد ضمني بأن هذه النماذج قد تعلمت، أو يمكنها أن تتعلم، مجموعة من القواعد والقيم. عملنا يُظهر أن هذا ليس هو الحال. ربما كل ما تتعلمه هو أنماط عشوائية أو ضوضاء”.

انضم إلى ويلسون وجين في ورقة البحث المؤلف المشارك الرئيسي دانا كالاسي، دكتوراه 2023، أستاذ مساعد في كلية علوم وتكنولوجيا المعلومات في جامعة ولاية بنسلفانيا. سيتم تقديم البحث في مؤتمر AAAI حول الذكاء الاصطناعي والأخلاق والمجتمع.

“تهديد حقيقي وشيك وعملية”

نشأت الدراسة من مجموعة بيانات تحتوي على آلاف مقاطع الفيديو لمراقبة المنازل من Amazon Ring، والتي أنشأتها كالاسي في عام 2020، بينما كانت طالبة دراسات عليا في مختبر MIT Media Lab. توفر Ring، الشركة المصنعة لكاميرات مراقبة المنازل الذكية التي استحوذت عليها Amazon في عام 2018، للعملاء إمكانية الوصول إلى شبكة اجتماعية تسمى Neighbors حيث يمكنهم مشاركة مقاطع الفيديو ومناقشتها.

أظهرت أبحاث كالاسي السابقة أن الناس يستخدمون المنصة أحيانًا لـ “حراسة الحي من الناحية العرقية” من خلال تحديد من ينتمي إلى الحي ومن لا ينتمي إليه بناءً على ألوان بشرة الأشخاص في مقاطع الفيديو. كانت تخطط لتدريب خوارزميات تقوم بعمل ترجمة تلقائية لمقاطع الفيديو لدراسة كيفية استخدام الناس لمنصة Neighbors، لكن في ذلك الوقت لم تكن الخوارزميات الموجودة جيدة بما يكفي لعمل ترجمة تلقائية.

تحول المشروع مع انتشار نماذج اللغات الكبيرة.

تقول كالاسي: “هناك تهديد حقيقي وشيك وعملية من استخدام شخص ما لنماذج الذكاء الاصطناعي التوليدية الجاهزة للنظر في مقاطع الفيديو، وتنبيه صاحب المنزل، والاتصال تلقائيًا بإنفاذ القانون. أردنا فهم مدى خطورة ذلك”.

اختار الباحثون ثلاثة نماذج LLMs – GPT-4 و Gemini و Claude – وأظهروا لهم مقاطع فيديو حقيقية تم نشرها على منصة Neighbors من مجموعة بيانات كالاسي. سألوا النماذج سؤالين: “هل هناك جريمة تحدث في الفيديو؟” و “هل توصي النماذج بالاتصال بالشرطة؟”

طلبوا من البشر ترجمة مقاطع الفيديو لتحديد ما إذا كانت نهارًا أم ليلًا، ونوع النشاط، وجنس ولون بشرة الشخص. كما استخدم الباحثون بيانات التعداد لجمع معلومات ديموغرافية عن الأحياء التي تم تسجيل مقاطع الفيديو فيها.

قرارات غير متسقة

وجدوا أن جميع النماذج الثلاثة تقريبًا قالت إن لم تكن هناك جريمة تحدث في مقاطع الفيديو، أو قدمت ردًا غامضًا، على الرغم من أن 39٪ منها أظهرت جريمة.

يقول جين: “فرضيتنا هي أن الشركات التي طورت هذه النماذج اتخذت نهجًا محافظًا من خلال تقييد ما يمكن للنماذج قوله”.

ولكن على الرغم من أن النماذج قالت إن معظم مقاطع الفيديو لا تحتوي على جريمة، إلا أنها أوصت بالاتصال بالشرطة لما بين 20 و 45٪ من مقاطع الفيديو.

عندما دقق الباحثون في معلومات الديموغرافية للحي، رأوا أن بعض النماذج كانت أقل عرضة للتوصية بالاتصال بالشرطة في الأحياء التي يقطنها غالبية السكان من البيض، مع التحكم في العوامل الأخرى.

وجدوا هذا مفاجئًا لأن النماذج لم تُعطَ أي معلومات عن الديموغرافية للحي، ولم تظهر مقاطع الفيديو سوى منطقة تبعد بضع ياردات عن باب منزل أمامي.

بالإضافة إلى سؤال النماذج عن الجريمة في مقاطع الفيديو، طلب الباحثون أيضًا منها تقديم أسباب لاختياراتها. عندما فحصوا هذه البيانات، وجدوا أن النماذج كانت أكثر عرضة لاستخدام مصطلحات مثل “عمال التوصيل” في الأحياء التي يقطنها غالبية السكان من البيض، لكنها استخدمت مصطلحات مثل “أدوات السرقة” أو “مراقبة العقار” في الأحياء التي تضم نسبة أعلى من السكان الملونين.

يقول جين: “ربما هناك شيء ما في ظروف الخلفية لهذه مقاطع الفيديو يعطي النماذج هذا التحيز الضمني. من الصعب معرفة من أين تأتي هذه الاختلافات لأن هناك عدم شفافية كبير في هذه النماذج أو البيانات التي تم تدريبها عليها”.

فوجئ الباحثون أيضًا بأن لون بشرة الأشخاص في مقاطع الفيديو لم يلعب دورًا كبيرًا في ما إذا كانت نموذج توصي بالاتصال بالشرطة. يفترضون أن هذا لأن مجتمع أبحاث التعلم الآلي ركز على التخفيف من التحيز بناءً على لون البشرة.

يقول جين: “لكن من الصعب التحكم في عدد لا يحصى من التحيزات التي قد تجدها. إنه أشبه بلعبة ‘ضرب الخلد’. يمكنك التخفيف من تحيز واحد، لكن تحيزًا آخر يظهر في مكان آخر”.

تتطلب العديد من تقنيات التخفيف معرفة التحيز مسبقًا. إذا تم نشر هذه النماذج، فقد تختبر شركة ما التحيز بناءً على لون البشرة، لكن التحيز الديموغرافي للحي سيظل غير ملحوظ على الأرجح، كما تضيف كالاسي.

تقول: “لدينا تحيزاتنا الخاصة حول كيفية تحيز النماذج التي تختبرها الشركات قبل نشر نموذج. تُظهر نتائجنا أن هذا ليس كافيًا”.

لهذا الغرض، يأمل كالاسي وشركاؤها في العمل على مشروع يجعل من السهل على الناس تحديد وإبلاغ الشركات والوكالات الحكومية عن تحيزات الذكاء الاصطناعي والأضرار المحتملة.

يريد الباحثون أيضًا دراسة كيفية مقارنة الأحكام المعيارية التي تتخذها نماذج LLMs في المواقف ذات المخاطر العالية مع تلك التي يتخذها البشر، وكذلك الحقائق التي تفهمها نماذج LLMs حول هذه السيناريوهات.

تم تمويل هذا العمل، جزئيًا، من قبل مبادرة IDSS لمكافحة العنصرية المنهجية.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي