قصور أداء جيميني في تحليل البيانات أكبر من ما ادعته جوجل

أحد نقاط البيع الرئيسة لنماذج الذكاء الاصطناعي الرائدة من جوجل، جيميني 1.5 برو وجيميني 1.5 فلاش، هو قدرتها على معالجة وتحليل كميات هائلة من البيانات. وقد ادعت جوجل مرارًا وتكرارًا في البيانات الصحفية والعروض التقديمية أن هذه النماذج قادرة على إنجاز مهام كان من المستحيل القيام بها سابقًا، وذلك بفضل “السياق الطويل” الذي تتميز به، مثل تلخيص المستندات المكونة من مئات الصفحات أو البحث عبر مشاهد في مقاطع فيديو.

لكن أبحاثًا جديدة تشير إلى أن هذه النماذج ليست، في الواقع، جيدة للغاية في هذه المهام. فقد أجرى باحثان دراستين منفصلتين لاستقصاء مدى قدرة نماذج جيميني من جوجل والنماذج الأخرى على فهم كميات هائلة من البيانات – مثل أعمال “الحرب والسلام” التي تتسم بطول النص. وقد توصلت كلتا الدراستين إلى أن جيميني 1.5 برو وجيميني 1.5 فلاش يواجهان صعوبة في الإجابة بشكل صحيح على الأسئلة المتعلقة بمجموعات البيانات الكبيرة؛ ففي سلسلة من الاختبارات المرتكزة على المستندات، أجابت هذه النماذج بالإجابة الصحيحة في 40% إلى 50% من الحالات فقط.

وكما صرحت مارزينا كاربينسكا، الباحثة المشاركة في إحدى هاتين الدراستين والتي تعمل كباحثة ما بعد الدكتوراه في جامعة ماساتشوستس أمهرست: “على الرغم من أن نماذج مثل جيميني 1.5 برو قادرة على معالجة سياقات طويلة بتقنيًا، إلا أننا لاحظنا العديد من الحالات التي تشير إلى أن هذه النماذج لا تفهم بالفعل محتوى السياق”.

يُعد نافذة السياق الخاصة بجيميني عاملاً مؤثرًا في هذا القصور. فنافذة السياق، أو نطاق السياق، تشير إلى البيانات الداخلية (مثل النص) التي يأخذها النموذج في الاعتبار قبل توليد الإخراج (مثل نص إضافي). ويمكن أن تكون سؤال بسيط – “من فاز بانتخابات الرئاسة الأمريكية عام 2020؟” – سياقًا، كما يمكن أن تكون نص مشروع فيلم أو مقطع صوتي. وكلما زادت نوافذ السياق، زادت أيضًا حجم المستندات التي تُدرج فيها.

وتستطيع أحدث إصدارات جيميني استيعاب ما يصل إلى 2 مليون رمز كسياق. (والرموز هي أجزاء مقسمة من البيانات الخام، مثل المقاطع “فان” و”تاس” و”تيك” في كلمة “fantastic”.) وهذا ما يعادل حوالي 1.4 مليون كلمة، أو ساعتين من الفيديو، أو 22 ساعة من الصوت – وهو أكبر سياق لأي نموذج متاح تجاريًا.

وبالرغم من هذه المميزات، فقد أظهرت الدراسات أن نماذج جيميني تواجه صعوبات في الإجابة بشكل صحيح على الأسئلة المتعلقة بهذه البيانات الضخمة.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي