كشفت دراسة من جامعة إنسبراك النمسا عن عيوب ChatGPT في فهم الروابط الزمنية
جاكرتا - طور فريق من الباحثين من جامعة إنسبراك في النمسا طريقة لتحديد مدى جودة أنظمة الذكاء الاصطناعي (الذكاء الاصطناعي) التي يمكن أن تفهم "الصحة المؤقتة" ، وهي معلمة يمكن أن يكون لها تأثير كبير على استخدام منتجات الذكاء الاصطناعي التوليدية مثل ChatGPT في قطاع التكنولوجيا المالية.
تشير الصلاحية المؤقتة إلى مدى صلة بيان معين ببيانات أخرى مع مرور الوقت. في الأساس ، يشير هذا إلى القيمة الزمنية للبيان المرفق.
سيتم إعطاء الذكاء الاصطناعي الذي يتم تقييمه بناء على قدرته على التنبؤ بالصلاحية المؤقتة سلسلة من البيانات ويطلب منه اختيار الأقرب ذي الصلة على مدار الساعة.
في ورقة بحثية ما قبل الطباعة نشرت مؤخرا بعنوان "تنبؤ التغيير الزمني للصحة" ، استخدم جورج وينزل وآدم جاتوت أمثلة على بيان يقال فيه إن شخصا ما يقرأ كتابا في الحافلة.
على سبيل المثال، البيان السياحي الأكثر صحة هو "لم يتبق لي سوى عدد قليل من الصفحات، ثم انتهيت". ولأن البيان المستهدف يشير إلى أن ركاب الحافلة يقرأون الكتاب حاليا، فإن البيانين الآخرين يعتبران غير ذوي صلة.
أنشأ الباحثون بيانات تحمل علامة من أمثلة التدريب ، والتي استخدموها لبناء مهام مقارنة لنماذج اللغة الكبيرة (LLM). اختاروا ChatGPT كنموذج أساسي للاختبار بسبب شعبيته بين المستخدمين ووجدوا أن أدائهم كان أقل من المعايير مقارنة بالنماذج الأقل شيوعا.
"يتم تضمين CHATGPT في نموذج منخفض الأداء ، والذي يتسق مع الأبحاث الأخرى حول فهم TCS. قد يكون النقص ناجما عن نهج التعلم بالضربة القليلة ونقص المعرفة حول الخصائص المحددة للبيانات".
وهذا يشير إلى أن الحالة التي تلعب فيها الصلاحية المؤقتة دورا في تحديد الاستخدام أو الدقة، مثل إنتاج المقالات الإخبارية أو تقييم الأسواق المالية، من المرجح أن يتم التعامل معها بشكل أفضل من خلال نماذج الذكاء الاصطناعي المستهدفة من الخدمات الأكثر شيوعا مثل ChatGPT.
وأشار الباحثون أيضا إلى أن التجارب التي تنبأ بتغيرات في القيمة المؤقتة خلال دورة تدريب LLM لديها القدرة على توليد درجات أعلى في مهمة مقارنة التغيير المؤقت.
في حين أن الورقة لا تناقش على وجه التحديد الآثار التي تتجاوز التجربة نفسها ، فإن أحد القيود الحالية لأنظمة الذكاء الاصطناعي التوليدية هو عدم القدرة على التمييز بين الأحداث السابقة والحاضر في سلك الأدبيات.
إن تدريس هذه الأنظمة لكيفية تحديد البيانات الأكثر صلة في جميع أنحاء الفلك، مع عامل الصلاحية ليكون حاسما، يمكن أن يحدث ثورة في قدرة النماذج الذكاء الاصطناعي على إجراء تنبؤات قوية في الوقت الفعلي في قطاعات واسعة النطاق مثل أسواق التشفير والأسهم.