ساعدت Nvidia في تدريب ChatGPT باستخدام 30000 وحدة معالجة رسومات

تتم عملية التدريب باستخدام تقنية الحوسبة المتوازية. هذا جعل من الممكن إكمال عملية التدريب بشكل أسرع بكثير مما لو تم إجراؤها على وحدة معالجة رسومات أو معالج واحد. قبل تدريب النظام ، تمت معالجة البيانات لإزالة بيانات التعريف الشخصية. دخلت Nvidia في شراكة مع OpenAI لتدريب إصدار 6 مليار متغير من ChatGPT باستخدام 30000 وحدة معالجة رسومات Nvidia. وفقًا للتقارير ، استغرقت عملية التدريب عدة أشهر واستهلكت قدرًا كبيرًا من الطاقة.تم إجراء عملية التدريب باستخدام تقنية الحوسبة المتوازية ، والتي تشمل تقسيم مهمة التدريب واسعة النطاق إلى مهام فرعية أصغر يمكن إجراؤها في وقت واحد عبر العديد من معالجات الرسومات. سمح ذلك بإكمال عملية التدريب بشكل أسرع مما لو تم إجراؤها على وحدة معالجة رسومات أو معالج واحد. الهدف من تدريب مثل هذه النماذج اللغوية الكبيرة هو تحسين قدرتها على توليد استجابات شبيهة بالبشر لا يمكن تمييزها عن ردود الإنسان. تحتوي هذه التقنية على العديد من التطبيقات المحتملة ، بما في ذلك برامج الدردشة والمساعدات الافتراضية وأنظمة خدمة العملاء الآلية. عالجت OpenAI المخاوف الأخلاقية المحيطة بتطوير ونشر نماذج لغوية كبيرة ، بما في ذلك احتمال أن تؤدي هذه النماذج إلى إدامة التحيزات والمعلومات المضللة. تعمل OpenAI والمنظمات الأخرى على معالجة هذه المشكلات من خلال تنفيذ الضمانات والشفافية في تطوير ونشر هذه النماذج. تمت معالجة بيانات التدريب الخاصة بالنموذج مسبقًا لإزالة أي معلومات شخصية أو بيانات حساسة يمكن استخدامها لتحديد الأفراد أو المجموعات. بالإضافة إلى ذلك ، نفذت OpenAI و Nvidia ضمانات مختلفة لضمان عدم تحيز النموذج أو إثارة ردود غير مناسبة. المزيد عن الموضوع على موقع العلوم: