Day-3 ML inside Out
A Hindi lecture on Pandas for data analysis covering Series and DataFrames, groupby operations, and data cleaning. Learn to spot outliers using IQR, Z-score, box plots, and machine learning methods like Isolation Forest and DBSCAN. The talk walks through the full workflow from raw data to clean datasets ready for analysis.
Chapters
र है। तो चलिए आज हम बात करेंगे पांडाज लाइब्रेरी के बारे में जो बहुत इम्पोर्टेंट है। जब हम मशीन लर्निंग की बात कर हैं। यहां आर्टिफिशियल इंटेलीजेंस की बात करते हैं तो दोनों ही जगहों पर जो है हमारी पांडाज लाइबेरी बहुत हेल्पफुल होती है। पांडाज और नम बाई के बारे में आज हम बात करेंगे दोनों के कौन कौन से फंक्शंस हैं जो आपकी हेल्प कर सकते हैं किसी कोर्ट को लिखने के लिए w one wow हे चलिए शुरू करते हैं। पांडाज लाइब्रेरी से पांडाज लाइब्रेरी को यूज क्यों किया जाता है किस से तरीके की लाइब्रेरी है यह पांडाज बेसिकली 1 पाइथन की डेटा एनालिसिस के लिए लाइब्रेरी है। ये डेटा एनालिसिस की टिकेट है। जब आपको कोई डेटा के साथ काम करना है तो पांडाज के बिना नहीं किया जा सकता है। पांडाज के ऊपर 1 और लाइब्रेरी क्रिएट की गई है जिसका नाम है पांडाज ए आई जो थोड़ा एआई इंटिग्रेशन वाला है। बाकी पांडाज के अगर बारे में बात करें। यह बहुत ही ज्यादा फास्ट लाइब्रेरी है ये साथ ही फ्लेक्सिबल भी है क्योंकि बहुत सारे इनवर्ड फंक्शन आपको इसमें मिल जाते हैं। तीसरा इसमें एक्सप्रेसिव डेटा स्ट्रक्चर्स है 2 मेजर डेटा स्ट्रक्चर्स का इस्तेमाल होता है पांडाज में जिसके बारे में अब हम बात करेंगे और ये पांडाज को डिजाइन किया गया है रिलेशनल डेटा के साथ वर्क करने के लिए। अब लास्ट क्लास में हमने बात करी कि रिलेशनल क्या होता है। रिलेशनल का मतलब है जहां पर रोज और कॉलिंग की बात होती है जहां पर लेबल्ड डेटा में आप कह सकते है। लेबल्ड डेटा के साथ आप पांडाज में ईजी ली काम कर सकते हो। क्यूंकि लेबल डेटा के साथ काम करना ईजी भी है? प्लस यह इंट्यूटिव भी है। तो पांडाज इस रीजन की वजह से बहुत ज्यादा पॉपुलर है। इसके अलावा पांडाज बेसिकली पांडाज का काम है कि फंडामेंटल बिल्डिंग ब्लॉक बना दे। वो आपके किसी भी प्रोजेक्ट के लिए आप रियल वर्ल्ड डेटा के साथ काम करते हो जो एनालिसिस करते हो और मैन्युपुलेशन करते हो। डेटा के डेटा का मैनुपुलेशन का मतलब कि आप डेटा में कोई भी चेंजेस करते हो, कोई भी अपडेट्स करते हो वो आप पांडाज की मदद से इजीली कर सकते हो। पांडाज में डेटा मैन्युप्लेशन और एनालिसिस के लिए भी यह ट्रेनी लाइफ ह। अब इसमें ये जो लाइब्रेरी है यह ओपन सोर्स है ओपन सोर्स का सिम्पल सा मतलब कि आप इसमें डायरेक्टली इंस्टॉल करके स्टार्ट कर सकते हो। क्या कमांड लिखना है आपको इंस्टॉल करने के लिए पिप इंस्टॉल पाण्डा। अब ये चाहे आप एनाकान्डा यूज कर रहे हो, चाहे आप यूज कर रहे हो, जुपिटर नोट बुक या गूगल गुलाब, जो भी इनवाल्मेंट आप यूज करना चाहते हो। फील फ्री, टू, यूज सिम्पल सी जो कमांड आपको लिखनी है वो है कि पिप इंस्टॉल पांडाज और यह आपको इंस्टॉल करके दे देगा। अब मेन फीचर्स क्या है पांडा की। सबसे पहला मेन फीचर है कि ये मिसिंग डेटा के साथ काम करना बहुत ईजी बना देता है। मिसिंग डेटा क्या होते हैं डेटा स्ट्रक्चर्स में। अब मिसिंग डेटा का मतलब है कि हो सकता है कि आपके टेबल में एन ए एन करके कुछ वैल्यूज हो, एन ए हो या एन ए टी हो। फ्लोटिंग प्वाइंट नंबर भी हो सकते हैं, नॉन फ्लोटिंग पॉइंट नंबर्स भी हो सकते हैं। तो किसी भी तरीके का मिसिंग डेटा है आपके पास आपके डेटा में तो आप ईजीली हैंडल कर सकते हो। वित द हेल्प ऑफ पांडाज लाइबरेरी दूसरा आप साइज को भी चेंज कर सकते हो। मतलब कि अगर आपके पास 10 कॉलम है तो आप उसको 8 भी बना सकते हो, आप उसको पंद्रह भी बना सकते हो। मतलब आप इंसर्ट भी कर सकते हो, डिलीट भी कर सकते ह हो, मल्टीपल डिफ्रेंट सोर्सेस को मर्ज भी कर सकते हो। तो साइज को भी आप चेंज कर सकते हो। अब कुछ केसेस में क्या होता है कि जैसे हम डेटा इसमें डालते हैं। लाइब्रेरी में मतलब लाइब्रेरी से हम डेटा यूज करते हैं तो ये डायरेक्टली क्या करता है, डेटा का अलाइनमेंट भी कर देता है, डेटा का अलाइनमेंट भी कर देता है। मतलब कि जिस तरीके का आपका डेटा है वन डी डेटा है तो वो ऐसा सीरीज ले लेगा टू डी डेटा है अगर आपके पास तो वो ऐजा डेटा फ्रेम ले लेगा। अब डेटा फ्रेम और डेटा सीरीज लेने के बाद वो क्या करता है वो ऑनलाइन कर देता है ऑटोमेटिकली अकॉर्डिंग टू जो भी आपने इम्पोर्ट करने की कोशिश करे। अब पांडाज के बाद 1 और बहुत अच्छा और पॉवरफुल फंक्शन होता है जिसको कहते हैं ग्रुप बाय फंक्शन। ग्रुप बाय फंक्शन बहुत इम्पोर्टेंट फंक्शन होता है क्योंकि यह क्या करता है यह बहुत सारे ऑपरेशन करने में आपकी मदद करता है। जैसे आपको 2 ग्रुप को ऐड करना है, 2 डेटा को एड करना कर सकते है, आपको डेटा को ट्रांसफॉर्म करना है कर सकते हो। आपको स्प्लिट अप्लाई का ऑनलाइन ऑपरेशन करना है आप वो भी कर सकते हो। तो पांडा स के बहुत सारे ऐसे फंक्शंस हैं जो बहुत यूजफुल है। उसके बाद आप ईजी ली इसको किसी अदर लाइब्रेरी के साथ भी यूज कर सकते है। फॉर एग्जांपल आपको न पाई यूज करना है आप कर सकते हो। फाण्डासकाअनदर फीचर यह भी है कि आप इसमें जो है लेबल बेस्ट स्लाइसिंग कर सकते है। जैसे हम जनरल स्ट्रिंग में वर्क करते हैं वैसे ही आप इसमें भी वर्क कर सक। आप इसमें फ्लैट फाइल के साथ वर्क कर सकते हो और एग्जामपल आपके पास सी एस पी है या फिर टॉप ैपरेटेडफाइलसाइटसल फाइल से डेटा बेसिस है आप किसी भी फॉर्मेट में डेटा लोड कर सकते हो, सेव कर सकते हो। टाइम सीरीज डेटा के साथ काम करना है तब भी आप इसमें इसको इस्तेमाल कर सकते हो। अब बात करते है कुछ ऐसे फंक्शन्स के बारे में जो आपकी मदद करते हैं पांडाज में काम करने के लिए पहले हम पांडाज के रॉ फंक्शंस पर वर्क करेंगे और देखेंगे कि पांडाज लाइब्रेरी एग्जैक्ट ली कैसे वर्क करती है। तो सिम्पल जो मैंने आपको कोर्ट बताया है फिर इंस्टॉल पांडाज इस लाइन को लिखकर आप अपनी लाइब्रेरी को फुल ली इंस्टॉल कर लोगे। उसके बाद क्या काम है। उसके बाद फंक्शनस को क्रिएट करना। अब पांडाज में 2 तरीके के डेटा बेसिस होते हैं। क्या होता है। 2 तरीके के डेटा स्ट्रक्चर्स होते हैं। सबसे पहला डेटा स्ट्रक्चर कौन सा होता है। सबसे पहला डेटा स्ट्रक्चर होता है सीरीज डेटा स्ट्रक्चर, सीरीज डेटा स्ट्रक्चर और दूसरा होता है डेटा फ्रिंग। अब सीरीज डेटा स्ट्रक्चर क्या होता है और कैसे क्रिएट होता है सीरीज बेसिकली। 1 वन डी डेटा स्ट्रक्चर होता है। किस तरीके का डेटा स्ट्रक्चर होता है। वन डाइमेंशनल मतलब 1 सिंगल लाइन में जब कोई डेटा दिया गया है वो आपका सीरीज डेटा स्ट्रक्चर होगा। यह सीरीज डेटा टाइप होगा। सीरीज डेटा डाई को क्रिएट करना भी बहुत बीजी है क्योंकि पांडाज के पास ऑलरेडी इस चीज के लिए भी फंक्शन होता है। अब वो फंक्शन क्या है पांडाज में जैसे मैंने पांडाज की लाइब्रेरी को इनस्टॉल कर लिया है। इंस्टॉल करने के बाद हम क्या करते हैं। इंस्टॉलेशन के बाद हम इम्पोर्ट करते हैं। तो राइट इम्पोर्ट पांडाज। आज जैसे ही हम पांडाज को इम्पोर्ट करेंगे उसके बाद हम 1 लिस्ट क्रिएट करेंगे लेट से मैं 1 लिस्ट बना रही हूँ। ट्वेंटी फाइव, टी मतलब मैंने कुछ वैल्यूज रानी है। 1 वैरिएबल के अन्दर मैंने इसको स्टोर कर ली है। उसके बाद मैं इसको प्रिंट करती हूँ। तो अभी ये नॉर्मल ऐज लिस्ट क्रिएट हुए। अगर मैं इसका डेटा टाइप अभी जाकर चेक करूंगी तो ये क्या करेगा। ऐसा लिस्ट शो करेगा। बट अभी इसी चीज को मतलब मैं ए वैरिएबल को जो मैंने यहाँ क्रिएट किया है इसको मैं दूसरे सीरीज में कनवर्ट करती हूं तो मैं क्या लिखूंगी माय सीरीज इज इक्वल टू पी डी विच इस लाइब्रेरी ने सीरीज। अब अगर मैं इसका डेटा टाइम चेक करूंगी तो क्या ये वक करेगा। हां फाण्डाजका कोर्स सीरीज में यह कनवर्ट हो चुका है। पाणडाजकीकोर्स सीरीज में यह कनवर्ट हो चुका है। सीरीज और जो हमारा डेटा स्ट्रक्चर है वो दोनों सेम तरीके के तरीके से ही वर्क करते हैं। फॉर एग्जाम्पल अगर मैं 1 टेबल की बात करूँ। 1 रोज और कॉलम के डेटा की बात करूं। जहां पर रोज हैं और कॉलम हैं। तो उस डेटा में अगर मैं सिंगल कॉलम पर अपनी नजर डालूंगी तो उसको मैं क्या कहूंगी। जनरल भाषा में, उसको मैं पांडाज की भाषा में कहूंगी सीरीज। बट जब मैं दोनों को साथ में देख रही हूं तो मैं उसको क्या कहूंगी डेटा फ्रेम समझ मे आया रोज, कॉलम सिंगल कॉलम को अगर मैं देख रही तो वो सीरीज हो जाएगा। अगर मैं दोनों को कंबाइंड करके देख रही हूं तो वो मेरा डेटा फ्रेम हो जाएगा। ये बहुत बेसिक सी चीजें हैं जो आपको पता होनी चाहिए। बट मोस्टली जो बच्चे स्ट्रगल करते हैं वो है डेटा की क्लीनिंग में। अब डेटा की क्लीनिंग के क्या स्टेप्स होते है। क्या डेटा क्लीनिंग में कंसिडर करना चाहिए और क्या नहीं कंसिडर करना चाहिए। 1 बैड डेटा होता है। बैड डेटा कौन सा होता है। बैड डेटा वो होता है जिसमें या तो एम पी सेल है या तो उसमें डेटा जो है वो रोंग फार्मेट में है। मतलब कि डेटा का, लिखने का तरीका ही गलत है। दैट इज, रॉन्ग फॉर्मेट या फिर आपका डेटा भी गलत हो सकता है। तो वो भी 1 सिनारियो हो गया। उसके बाद मान लो आपके डेटा में डुप्ली कैसी है? डुप्ली कैसी मतलब? बहुत सारे डुप्लीकेट डेटा आपको दिखाई दे रहे हैं। अपने डेटा में। तो ये कुछ बैड डेटा के फीचर्स हैं। और डेटा क्लिनिंग का मतलब है कि इन्ही सबको हटाना, इन्ही सब को हटाना। तो जनरल भाषा में हम उसको बोल सकते हैं कि ये फॉर जो है गलतियां हैं डेटा में, जिसको हमें हटानी है। बट डेटा में हटाने के लिए आपको और भी चीजें पता होनी चाहिए। जैसे आउटलायर। अब आउटलायर के रेस्पेक्ट में 2 चीजें सामने आती हैं कि आउटलायर होता क्या है? आउटलायर को डिटेक्ट कैसे करते हैं और आउटलायर को रिजॉल्व कैसे करते? सबसे पहले समझते हैं आउटलायर होता क्या है? आउटलायर वो वैल्यूज होती है जो हमें जो है, आउट ऑफ डेटा मिलती है। मतलब आउट ऑफ रेंज मिलती है। आउट आफ कौन सी रेंज जो? जैसे मान लीजिए अगर आपने आपका कोई डेटा है जिसमें वैल्यूज जो है, जीरो टू हंड्रेड के बीच में है। अब जीरो टू हंड्रेड के बीच में। जब तक वैल्यूज हैं तब तक। तो भैया वो कैसी वैल्यूज हैं, वो नॉर्मल वैल्यूज है, कैसी वैल्यूज हैं, नॉर्मल वैल्यूज हैं, बट नॉर्मल वैल्यू के बाद अगर मान लो जीरो के बाद आपको 1 वैल्यू मिल जाए। डेढ़ सौ मतलब वन फिफ्टी की। तो हम क्या करते हैं? वन फिफ्टी का होगा। वन फिफ्टी आउटलायर होता है। क्योंकि वो आउट ऑफ रेंज वैल्यू है। तो क्या हमेशा आउटलायर्स होते हैं, बेकार होते हैं। ऐसा नहीं है। आउटलायर्स को डिटेक्ट करने का भी तरीका होता है। आउटलायर कब इम्पोर्टेंट होते हैं, कब नहीं होते हैं, ये भी आपको पता होना चाहिए। तो सबसे पहले आउटलायर की डेफिनेशन समझ में है। जो भी वैल्यू आउट ऑफ रेंज आपको नजर आ रही है। जो भी वैल्यू आउट ऑफ रेंज हैं, जो सिग्निफिकेंट डेटा मतलब, जो आपकी ऑब्जर्वेशन है, उसके आधार पर अगर कोई आपको एबनॉर्मल सी, डिस्टेंस पे, कोई वैल्यू नजर आ रही है तो वो आपका आउटलायर है। अब वो अब नॉर्मल डिस्टेंस पे। जो वैल्यू है, वो हमेशा जरूरी नहीं है कि वो बेकार ही है, आपको उसको रिमूव भी करना है। ऐसा नहीं है। ये डिपेंड करता है कि किस टाइप के सिनारियो पे आप वर्क कर रहे। अब आउटलायर आते क्यों है? आउटलायर होते ही क्यों है? होता क्या है? जब हम डेटा मल्टीपल सोर्सेज से लेते हैं। आउटलायर बहुत सारे रीजन की वजह से हो सकते हैं। सबसे पहला आउटलायर का रीजन तो यह है कि जिस भी बंदे ने आपको डेटा एंट्री करके दी है, उसने एरर क्रिएट किया है। मतलब वो 1 तरीके का यूएन रर है, यूएन मिस्टेक है। मानवेली टाइपिंग में भी एरर आ सकता है। वो भी आउटलायर के ना सकत बड़े बड़े मॉडल्स में आउटलायर की वजह से मॉडल खराब हो जाते हैं। मशीन लर्निंग मॉडल में आउटलायर्स बहुत बड़ा रोल प्ले करते हैं तो डेटा एंट्री 1 सबसे बड़ा रीजन है ह्यूमन मिस्टेक टाइपिंग जैसे आजकल डेटा कलेक्शन बहुत ज्यादा कराया जा रहा है। ऑडियो का, ट्रांस्क्रिप्शन का तो ये ह्यूमन मिस्टेक का 1 पहला सोर्स हो सकता है कि कोई व्यक्ति जो काम कर रहा है वो ध्यान से काम नहीं कर। ता है तो डेटा एंट्री का जा दूसरा मान लो किसी मशीन के थ्रू आर लिया जा रहा है तो मेजरमेंट में भी तो हर रह सकता है। कोई फॉल्ट इक्यूपमेंट हो सकता है जिसकी कैलिब्रेशन ही नहीं हुई कभी उससे डेटा लिया जा रहा है तो वहां पर मेजरमेंट टेरर आ सकता है। मेजरमेंट टेरर भी 1 आउटलायर का रीजन होता है। तीसरा नैचुरल भी वैरिएशन आ सकता है जो जेनवैन होता है बट रेयर ऑब्जर्वेशन आपके लिए क्रिएट करता है सिम्पल में कि नैचुरल जो वैल्यूज आपके आ रही है विजेंदर जो वैल्यू आरी उसके अपार्ट उसके अलावा अगर कोई वैल्यूज आपको मिल जाए तो वो नेचुरल वैलुएशन होना 1 होता है। इंटेंशनल एनोमलिज एनोमलिज मतलब डुप्लीकेसी समझा इंटेंशनल एनोमलिज का मतलब क्या है। अन्य यूजुअल पाटन देखने को मिल सकता है। जैसे कि क्रेडिट कार्ड का 1 ट्रांजेक्शन डेटा है या फिर साइबर अटैक का है तो आउटलायर्स उसमें देखने को मिल सकते हैं। कुछ एरर्स जो होते हैं, कुछ एरर होते है, कुछ जेनवनभी हो सकते हैं। आउटलायर्स तो डिपेंड करता है। अब टाइप्स भी होते हैं आउटलायर के आउटलायर के कौन कौन से टाइप्स होते हैं। आउटलायर में ली आपको 3 टाइप में नजर आएगा। सबसे पहला होता है ग्लोबल आउटलायर, उसके बाद क्या आता है कॉन्टेक्स चल देन वी हैव कलेक्टिव। अब ग्लोबल क्या होता है। बहुत ही एक्स्ट्रीम वाली मान लो 1 बच्चा है स्टूडेंट्स का डेटा है स्टूडेंट के डेटा में मान लो 1 बच्चा है जिसने हंड्रेड परसेंट स्कोर किया है 1 बच्चा है जिसने हंड्रेड परसेंट स्कोर किया है। बाकी सारे बच्चे जो है उन्होंने वहां लो फिफ्टी से सेवेंटी की वेज में स्कोर किया है। तो 1 इंडिविजुअल प्वॉइंट है जो एक्स्ट्रीम रिलेटिव पर है इंटायर डेटा के इंटायर डेटा के कंपेरिजन में बहुत ही एक्स्ट्रीम पर है जिसको हम ग्लोबल वॉइंट या ग्लोबल आउटलायर कर सकते हैं। उसके बाद आता है कॉन्टेक्ट आउटलायर वो वैल्यू जो एबनॉमल दिखती है मतलब कि अगर हम टेम्प्रेचर मान लो थर्टी डिग्री टेम्प्रेचर है दिल्ली का तो दिल्ली में थर्टी डिग्री टेम्प्रेचर इस नॉमेलइनसमन बट। अगर हमें यह थर्टी डिग्री विंटर्स में दिख जाएगा मान लो हमारे पास टेम्प्रेचर का डेटा है थर्टी डिग्री हमारे पास नॉर्मली। अगर हम अपने आप से पूछें तो समर्स में वो हमारा जो डाटा है वो नॉमल लगेगा हमें बट स्पेसिफिक सिचुएशन क्या है समर्स की बात हो रही है बट वही चीज अगर मैं विंटर में देखूं मतलब कि कॉन्टेक्स्टअल उसमे देखूं कि कॉन्टेक्स्ट क्या है मैं इस वैल्यू को किस कॉन्टेक्स्ट में कंपेयर कर रही हूं तो वो भी 1 आउटलायर का केस बन जाता है। जैसे विंटर में थर्टी डिग्री टेम्प्रेचर मुझे लग रहा है। कोई गड़बड़ है या तो मेजरमेंट में दिक्कत है या कहीं दिक्कत है तो विंटर के केसिस में यह नहीं आती केबल होगा। उसके बाद आता है कलेक्टिव कलेक्टिव आउटलाइटस जहां पे ग्रुप ऑफ डेटा पॉइंट्स जो हैं वो हमें मिल जाए। अनयूजलपार्टीम जनरली किसमें होता है स्टॉप प्राइसिंग में स्टॉप प्राइजिंग डेटा सेट्स में जहां पर भी मनी रिलेटेड चीजें हो रही थीं वहां पर कलेक्टिव आउटलायर्स मिल सकते हैं। क्योंकि जो फ्रॉड केसेज होते हैं वो 78 लोग मिलकर कर रहे हैं। कभी कभी 80 से 90 लोग भी 1 साथ मिलकर कर रहे है। तो वो कॉंटेक्ट ल आउटलायर हो सकता है सौरी कनेक्टिव आउटलायर हो सकता है। अब इसको रिजॉल्व करना क्यों जरुरी है क्यों इसको खराब कहा जाता है? मिथ है। वैसे तो यह हर 1 जगह नहीं होता है बट जहाँ पर भी होता है वो ये क्यों हम इसे कहते हैं कि नहीं यार आउटलायर की वजह से यह दिक्कत है या ये एनालिसिस आउट क्लायर की वजह से खराब हो रहा है। क्योंकि सबसे पहला रीजन है इसका, यह रिजल्ट को क्यू कर देता है, क्या करता है रिजल्ट को स क्यूं कर देता है, स्क्यू क्या होता है मान लो आपकी वैल्यूज है और आपने कहीं पर भी अपने डेटा में मीन कैलकुलेट कर लिया और मीन क्या होता है मीन तो भैया एवरेज होता है एवरेज कैलकुलेट करने के लिए हम क्या करते हैं, सारी वैल्यू को लेते हैं। अब सारी वैल्यू को लेंगे तो उसमें हमारा मीन जो है वो गलत वैल्यू देगा, हाइली डिसॉर्टेड वैल्यूज हमें मिलेगी। क्योंकि हमने मीन कैलकुलेट किया अगर हम स्टैंडर्ड डिवीजन भी करेंगे न तब भी हमें यही होगा मतलब कि हमारा जो कनक्लूजन है वो हमेशा हर सिनारियो में मिसरीडिंग ही होगा। तो यह हमारे रिजल्ट को स्क्यू कर देता है। 1 तरफ मतलब कि उसका बेटे तो ज्यादा हो गया 1 तरीके से। अगर मेरे पास वैल्यू फिफ्टी से सेवेंटी की रेंज में है और कोई वैल्यू हंड्रेड की रेंज में हो गई तो उसकी वजह से तो मेरा मीडियन ही बदल जाएगा, मेरा मीन ही बदल जाएगा। जिसकी वजह से क्या होता है हमारा रिजल्ट स्क्यू हो जाता है। दूसरा रीजन है कि हमारे मॉडल को गलत इन्फ्रेंसेज देता है। मशीन लर्निंग मॉडल में पैटन डिटेक्शन बहुत जरूरी है। कुछ मॉडल्स हमने कल डिस्कस करे थे, अनसुपवाइजलर्निंग में वो क्या करते हैं, वो सीखते हैं पैटन से, वो डेटा का पैटन समझते हैं। ठीक है यह वैल्यू के बीच मे इतना त्याग है। यह मीडियन है। ये मेन मैथमेटिकल को सब कुछ अप्लाई करके पैटन सीखने की कोशिश करते हैं। बट होता क्या है कहीं कहीं जब भी ये आउटलायर्स हमारे डेटा में होते है तो भाई हंड्रेड जैसी, वैल्यू तो ऑव्यस बात है, ज्यादा बेटे चलेगी ही ले। जैसे कि कोई 1 ऐसा स्कैम जो ऑलरेडी चल रहा है मार्केट में अगर उसके बहुत सारे क्रिएटर हो जाए और वो प्रूफ दिखाने लग जाएं तो वो बहुत ज्यादा बढ़ेगा ही बढ़ेगा मिस लीडिंग होगी ही होगी तो ओवर फिट की 1 स्टेज आ जाती है। एक्स्ट्रीम वैल्यू पे और मॉडल वहां फिट होने लग जाता है जिसकी वजह से हमारा मॉडल मिसलीड करता है। इसको हम मॉडल मिस, लीडिंग और ओवर फिटिंग की स्टेज कहते हैं। उसके बाद है कि आपको जो भी इनसाइट प्रोवाइड करनी है उसके लिए आप जो है आउटलायर का सहारा नहीं ले सकते। जैसे कि मान लो 1 ऐसा सिनारियो है, ये 1 ऐसा सिनारियो बता रह हूँ आप लोगो को जहाँ पर जो आउटलायर है वो वैलुएबलभीहो सकता है जनरली यह बैंकिंग सेक्टर में बताए मोस्ट वैल्युएबल डेटा पॉइंट्स भी बन सकते हैं। मान लो 1 मेडिकल रिसर्च भी है मान लो 1 फ्रॉड डिटेक्शन हुआ है या फिर मान लो 1 बैंकिंग सेक्टर का कोई भी सिनारियो वहां पर हमें बहुत ही ज्यादा कोशिश होना पड़ता है। आउटलायर्स के लिए आउटलायर को रिमूव करना भी जरूरी होता है। आउटलायर को देखना परखना भी जरूरी होता है। अब आउटलायर को देखने पर रखने के भी काफी सारे मेथड्स होते हैं। अब आउटलायर को डिटेक्ट कैसे करते हैं। आउटलायर को डिटेक्ट करने का सबसे पहला मेथड होता है आई आर वर इस आई क्यू आर, आई क्यू आर मींस, इंटर क्वार्टाइल रेंज। अब इंटर क्वार्टाइल रेंज क्या होता है, इंटर क्वार्टाइल रेंज हमें इन्फॉर्मेशन देती है। अबाउट योर डेटा कि क्या आपका डेटा स्क्यूड है या नहीं है। आपका डेटा किस रेंज में है। उस डेटा की रेंज को जानने के लिए हम आई क्यू आर मैथर्ड का यूज करते हैं। इंटर क्वार्टाइल रेंज मैथड का यूज करते हैं। ये स्क्यूड डेटा पे जनरली किया जाता है। ये क्वार्टाइल्स का यूज करता है आपको इन्फॉर्मेशन देने के लिए और इसको जनरेट कैसे कर सकते हैं। इसको जनरेट करने के लिए हम बॉक्स ब्लाट्स वगैरह का यूज कर सकते हैं। दूसरा हमारा मेथड है जी स्कोर, जी स्कोर क्या होता है, जी स्कोर वर्क करता है, स्टैंडर्ड डेव्यूशन किस पर वर्क करता है, स्टैंडर्ड डेव्यूजन पर वर्क करता है और ये यूज करता है जनरली। जब हमारा डेटा नॉर्मली डिस्ट्रीब्यूटेड होता है तब हम जी स्कोर यूज करत। ठीक है नॉर्मली जब यह डिस्ट्रीब्यूटेड होता है तब हम इसको यूज करते हैं। ये पहला मेथड होगा आयकर दूसरा जी स्कोर। तीसरा जो मेथड होता है जो मैंने आपको लास्ट भी क्लास में बताया था कि डेटा विज्वलाइजेशन का मेथड मतलब कि आप कुछ ग्राफ्स क्रिएट करेंगे और इसको पता लगाएंगे स्कैटर प्लॉट क्रिएट कर सकते हो। आप मोस्ट फ्रीक्वेंटली जो यूज होता है वो होता है बॉक्स प्लॉट, स्कैटर प्लॉट, बॉक्स प्लॉट या फिर आप यूज कर सकते हो। हिस्टोग्राम इन्ही दिनों से आप पता लगा सकते हो कि आपका आउटलायर कैसा है, कहाँ है, क्यों है बॉक्स प्लॉट। तो ऑटोमेटिक आपको दिखा देगा डॉटेड फॉर्मेट में कि ये हैं आउटलायर्स आपके बॉक्स प्लॉट कुछ इस तरीके से दिखता है। और ये विस्कर के बाद जो भी प्वाइंट्स आइए मतलब ये लाइन्स के बाद जो भी प्वाइंट्स आगे वो सब आउटलायर्स कंसीडर होते हैं। उसके बाद स्कैटअपलॉट आता है। ये तब बहुत यूसफुल होता है जब आपको जानना होता है कि 1 पर्टिकुलर डायरेक्शन में अगर मैं देखूं तो मल्टी वैरिएंट आउटलायर्स कितने हैं। अगर आपको हिस्टोग्राम यूज करना है तब होता है जब हम गैप्स को रिवील करने वाले हैं हम चाहते हैं कि हमारे डिस्ट्रीब्यूशन के बयान भी हमें कुछ चीजें मिलें तो हम विज्वलाइजेशन का यूज करते हैं। कुछ मैथड्स मशीन लर्निंग में भी होते हैं। आउटलायर डिटेक्शन के मान लो हमारे पास हाई डायमेंशनल डेटा है, हाई डायमेंशनल डेटा है मतलब थ्री डी फोर, डी टाइप ऑफ डेटा है या फिर गैलो कॉम्पलेक्स डेटा है, है इन सिम्पल डांस। आप इसको कॉम्पलेक्स डेटा भी कह सकते हो। इन केसेज में आप 2 चीजें यूज कर सकते हो। आउटलायर डिटेक्ट करने के लिए डी बी स्वं या फिर आइसोलेशन फॉरेस्ट। इन दोनों मैथर्ड का यूज करके भी आप आउटलायर्स निकाल सकते हो। आइसोलेशन फॉलर फॉरेस्ट क्या है बेसिकली यह आइसोलेट कर देता है डुप्लीकेट वैल्यूशन कैसे करता है कि रैंडमली डेटा को छोटा करता जाता है, छोटा करता जाता है और आउटलायर्स ईजली पता लगने लग जाता है। शार्टेज डिस्टेंस पे ये ट्री क्रिएट करता है। शॉर्टेस्ट पार्ट निकालता है, ट्री बनाता है और उसी में डेटा को छोटा करता जाता है और आइसोलेट करता है एनोमलिज। यह आइसोलेशन फॉरेस्ट है। किसी दिन हम इसपर डीप में बात करेंगे उसके बाद है डीवी स्कैन, डीबी स्कैन क्या है डी बी स्कैन वर्क करता है डेंसिटी पे, डी बी स्कैन किस पर वर्क करता है। डी बी स्कैन की फुलफॉर्म। यही है डेंसिटी बेस्ड क्लस्टरिंग, डेंसिटी ब्लेस्ड कस क्लस्टरिंग एल गोरिथम। ये क्या करता है लो डेंसिटी रीजन निकालता है मतलब कि यह आउटलायर्स और नोएसिस को माइनस वन से दिखाने लग जाता है। अगर आपको कोई भी आउटलायर्स रिमूव करना है तो उसके भी मेथड है। सबसे पहला तो देखो पहला मेथड तो यही कि आउटलायर को रिमूव करना कोई बड़ी बात नहीं है आउटलायर 1 डेटा ही है। अब डेटा को कैसे जैसे रिमूव करते हैं उसी तरीके से हम आउटलायर रिमूव कर देंगे। क्लीन करना है क्लीन क्लीन का जो रिमूव के जो मैथड होते हैं वो लगा सकते हो। पहला मैथड, दूसरा रिप्लेसिंग आप इसको किसी भी अदर वैल्यू से रिप्लेस कर सकते हो। जनरली हम डेटा को लूज नहीं करना चाहते हम नहीं चाहते हमारी कोई भी इम्पॉर्टेंट वैल्यू जो है हमारे डेटा से जाए तो हम क्या करते हैं उसको रिप्लेस कर देते हैं। जनरली मीडियन के केसेज में हम आउटलायर के केसेस मीडियन यूज करते हैं मीन की इसमें नहीं ज्यादा जरूरत होती। मीडियन को हम यूज करते हैं और बहुत सारे पाण्डा के फंक्शंस हैं जिसमें आप यूज कर सकते हैं और नपाई के फंक्शन हैं जैसे नपाई का एन पी वेयर का फंक्शन है। उसके बाद हमारे पास 1 और फंक्शन डॉट मास्क जो आप यूज कर सकते हैं। उसके बाद तीसरा मेथड है कैपिंग करना तीसरा मेथड क्या है कैपिंग दी आउटलाइन कैपिंग का मतलब या फिर विनसराइजेविनसराइज सेशन। ये भी क्या सकता है कैपिंग द लिमिटिंग एक्स्ट्रीम वॉल्यूस। अब क्या होता है। कैप करना मतलब क्या होता है। जब हम 1 बॉक्स ब्लॉट क्रिएट करते है। लेट मी शो यू हैव बॉक्स ब्लॉट लुक्स लाइक। जैसे आप कभी बॉक्स प्लॉट देखोगे तो बॉक्स प्लॉट में ये आउट टर फेंसेस होते है इंटरकारटालरेन जनरेट होते हैं इंटरकॉरटाइल रेंज पर आउटलायर्स होते हैं और अब इन्हें क्या करता है कार्नर कार्नर में फंस कर दिया जाता है मतलब कार्नर कार्नर में क्लिप कर दिया जाता है इसी को हम कैपिंग कहते हैं। जो अपर बाउंड की वैल्यूज हैं उनको हम अपर बाउंड पर डाल देते हैं जो लोअर बाउंड की वैल्यू होती है वो लोअर बाउंड पर डाल देते है तो 3 ही मैथर्ड होते है हम बस इसमें क्या करते हैं कैपिंग वाले में एक्स्ट्रीम रेन जिस को थोड़ा सा क्लोज लेके आ जाते है और उसको बॉर्डर पे रख देते हैं। मतलब कि अगर मेरा मेजर डेटा फिफ्टी से ए टी के बीच में है तो मैं फिफ्टी और ए टी पर उन वैल्यू सको ला के रख दूंगी इंस्ट्यूट ऑफ की वो वैल्यू जो है कभी ट्वेल्व पर या हंड्रेड पर रही है बट उनको मैं क्लोज लाकर उसपर प्लेसिंग दे दूंगी इसी को हम कहते हैं कैपिंग और मेंसराइजेशन आउटलायर का इम्पॉर्टन्ट कौन्सेप्ट है तो यहीं से कल कंटिन्यू करेंगे।
