شات جي بي تي وتحديات تعزيز التعلم من ردود الفعل البشرية

منصة الذكاء الاصطناعي ـ متابعات

في أعقاب النجاح الملحوظ لنماذج مثل “شات جي بي تي” و”جي تي-4″، يتم تسليط الضوء على تعزيز التعلم من ردود الفعل البشرية (RLHF)، وهي التقنية التي تمكن هذه النماذج اللغوية الكبيرة (LM) من التفاعل بشكل أفضل مع تعليمات الإنسان، والنوايا، والقيم.

ومع ذلك، وسط الإثارة، كان هناك القليل من النقاش حول القيود المفروضة على RLHF. ورقة بحثية جديدة من قبل باحثين من مختلف المؤسسات الأكاديمية تتعمق في تحديات RLHF وتقدم حلولًا محتملة للتخفيف من هذه القيود والمساعدة في إنشاء أنظمة ذكاء اصطناعي أكثر قوة وموثوقية.

يعتبر RLHF طريقة تستخدم التوجيه البشري لتحسين أداء النماذج المدربة مسبقًا. وتتكون من ثلاثة عمليات مترابطة: جمع الملاحظات، ونمذجة المكافآت، وتحسين السياسة.

يتم جمع ردود الفعل من خلال تقييمات بشرية لمخرجات النماذج المدربة. ثم يُستخدم هذا التعليق لتدريب نموذج المكافأة من خلال التعلم الخاضع للإشراف. يهدف نموذج المكافأة إلى محاكاة تفضيلات البشر. وفي وقت لاحق، يُستخدم عملية تحسين السياسة في حلقة تعلم التعزيز لتحسين أداء النموذج المدرب وإنتاج مخرجات تتلقى تقييمات إيجابية من نموذج المكافأة. يتم تنفيذ هذه الخطوات بشكل متكرر أو متزامن.

لقد برزت هذه الطريقة كاستراتيجية أساسية لتحقيق أنظمة إدارة ذكاء اصطناعي آمنة وموافقة للأهداف البشرية. وتستخدمها مختبرات منظمة العفو الدولية في تطبيقات التجارة والمصدر المفتوح مثل “شات جي بي تي” و”اللاما 2″.

وكما لاحظ المؤلفون في الورقة البحثية ال، هناك تحديات رئيسية تواجه تعزيز التعلم من ردود الفعل البشرية. من بين هذه التحديات:

تحقيق التوازن بين الاستفادة من ردود الفعل البشرية وحماية خصوصية المستخدمين: قد يكون من الصعب العثور على التوازن المثالي بين استخدام ردود الفعل البشرية لتحسين النماذج وحماية خصوصية المستخدمين. يجب أن تتم معالجة هذه التحديات بعناية لضمان استخدام آمن ومسؤول لردود الفعل البشرية.

تحديد وتحقيق أهداف التعلم بشكل فعال: يجب تحديد أهداف التعلم المناسبة لنماذج التعزيز وتوجيه عملية التدريب وفقًا لهذه الأهداف. يتطلب ذلك فهمًا دقيقًا لنية وقيم المستخدمين وضمان أن النماذج تتعلم بطريقة تتفق مع تلك الأهداف.

تفهم التعقيد وغموض تعليمات الإنسان: قد تحتوي تعليمات الإنسان على تعقيدات وغموض يجب على النماذج التعلم منها. يجب تطوير تقنيات تمكن النماذج من فهم التعليمات المبهمة والتعامل مع التعقيدات المختلفة التي قد تواجهها.

تقليل الانحياز والتحيز الناجم عن ردود الفعل البشرية: قد يتعرض نموذج التعزيز للانحياز والتحيز نتيجة للتعليقات البشرية غير المتوازنة أو المنحازة. يجب تطوير آليات لتقليل هذا التحيز وضمان تقديم ردود فعل متوازنة وموضوعية.

تحدي تعزيز التعلم في المجالات ذات البيانات القليلة: في بعض المجالات، قد يكون هناك قلة في البيانات المتاحة لتعزيز التعلم. يجب تطوير تقنيات تمكن النماذج من الاستفادة القصوى من البيانات المحدودة والتعلم بفعالية رغم ذلك.

هذه بعض التحديات التي يواجهها تعزيز التعلم من ردود الفعل البشرية. من المهم مواصلة البحث والتطوير في هذا المجال لتحقيق تقدم أكبر في تعزيز قدرات النماذج اللغوية الكبيرة.

المصدر: bdtechtalks

هذا المحتوى بمعرفة وحدة الذكاء الاصطناعي