Akansha Yadav explains reward hacking in reinforcement learning, where agents find loopholes in the reward function instead of solving the task. She introduces RewardPy, a tool that monitors reward function calls to catch suspicious patterns like spamming outputs or exploiting bugs that make learning curves look good while the agent does nothing useful.
सुपरवाइज और अं सुपरवाइज के साथ काम करना आता होगा। मैं तुम्हे बताती हूँ रीनफोसमेंट के बारे में देख रीनफोसमेंट लर्निंग क्या होता है यहाँ पर हम मॉडल को रिवार्ड पेनल्टी देते है। रिवॉर्ड पेनल्टी के बीच में सबसे बड़ा ट्रैप आता है जो रीनफोसमेंटलर्निंग में आता है और उसका 1 प्रैक्टिकल फेलियर भी है जिसको हम कहते है रिवॉर्ड हैकिंग, रिवॉर्ड हैकिंग, क्या होता है सिंपल भाषा में समझो मान लो तुमने एजेंट को 1 काम दिया 1 टास्क दिया करने के लिए और उसे तुमने 1 रिवार्ड फंक्शन भी डिफाइन किया है। प्रॉब्लम तब आती है जब न ऐक्चवली में मॉडल आपका काम नहीं कर रहा होता है सॉल्व करने की बजाय वो उस रिवार्ड फंक्शन को क्रैक करने की कोशिश करता है। मतलब की उस रिवार्ड फंक्शन के लू फूल्स को ढूंढने की कोशिश करता है और वो ढूंढ भी लेता है और उन्हें एक्सप्लॉइट करके मैक्सिमाइज कर लेता है अपने रिवार्ड को क्योंकि मॉडल का काम है जितने ज्यादा रिवार्ड्स मिलेंगे उतना अच्छा मॉडल है। यह हमने मान लिया है। बट इस केस में क्या हो रहा है मॉडल कुछ सॉल्व तो कर ही नहीं रहा है मॉडल सिर्फ और सिर्फ लू होल ढूंढ के अपना रिवार्ड जो है मैक्सिमाइज करना है यही मेन प्रॉब्लम है यहाँ पर मॉडल क्या कर सकता है, एजेंट क्या कर सकता है। ये एजेंट अपने ही यूनिट टेस्ट को ओवरराइट कर देता है जिसकी वजह से क्या होता है सारे के सारे टेस्ट पास हो जाते है और उसको रिवॉर्ड मिल जाता है। आउटपुट फॉर्मेट का जो 1 टोकन होता है वो बार बार स्पैम करता है क्यूंकि उससे रिवार्ड्स मिल रहा है। ऐसी काफी सारी चीजें आपका एजेंट करता है जिसकी वजह से उसको शार्ट कट मिल जाता है रिवार्ड पाने का और जब आप 1 कर्व प्लॉट करते रिवार्ड कर्व ब्लाड करते हो तब आपको लगता है कि ठीक है सब कुछ पॉजिटिवली परफेक्टली जा रहा है, सबकुछ ऊपर ग्रो कर रहा है और वो 1 दम परफेक्ट है मतलब ट्रेनिंग ग्राफ्ट में अगर हम देखें तो ऐब्सोलूटली परफेक्ट हमें ट्रेनिंग ग्राफ्ट दिखता है। बट ये सब कुछ सच नहीं है ये 1 डेंजरस प्राप्त होता है और आपको रिवॉर्ड गर्व को बहुत अच्छे से एनालाइज करना आना चाहिए इसके लिए लाइक विच रिवार्ड पाय। रिवॉर्ड पाई की मदद से आप ये सारी की सारी चीजों को ऑटोमेट कर सकते हो और देख सकते हो कि क्या ऐक्चवली में आपका रीनफोसमेंट लर्निंग प्रोजेक्ट को सॉल्व भी कर रहा है, टास्क को सॉल्व भी कर रहा है या नहीं कर रहा है। यह सिर्फ और सिर्फ ब्लू पोल ढूंढने में लगा क्योंकी रिवॉर्ड पाई ने 1 डी बगिंग टूल है जो आपके रिवार्ड फंक्शन को रैप कर देता है। जैसे ही रिवार्ड फंक्शन कॉल होता है रिवार्ड्स पाय ऑटोमेटिकली मॉनिटर करता है और रिवॉर्ड फंक्शन कितनी बार कॉल हुई है। रिवॉर्ड डिस्ट्रिब्यूशन स्टैटिस्टिकल नोमलीस्डनरिवॉर्ड, स्पाइक, स्पीशिज बिहेवियर रिवार्ड हैकिंग के सिग्नेचर्स ये सब कुछ ट्रैक करता है और शाय ही आपको लाइफ मेट्रिक्स भी देता है। so this is a very important like riryyoumostceket। आउट जिसका लिंक मैंने ब्रॉडकास्ट चैनल पर डाल दिया है। रिअल टाइम टर्मिनल डैशबोर्ड आपको मिलता है जहाँ पर आप रीनफोर्समेंट लर्निंग के हर 1 मैट्रिक्स को एनालाइज कर सक।
