Akansha Yadav breaks down Andrej Karpathy's LLM masterclass, covering how tokens are encoded, why GPUs enable parallel training, and the GPT-2 paper that launched modern language models with 1.5 billion parameters. She points to NanoGPT code, tutorials, and cloud GPU services for hands-on learning.
मतलब टोकन जनरेट हो जाते हैं बेट बाइट्स, एनकोडिंग सब कुछ परफॉर्म कर दी जाती है तब हम करते हैं न्यूरल नेटवर्क की ट्रेनिग। देखो न्यूरल नेटवर्क की ट्रेनिंग कंप्यूटिशनली हाई होती है देखिये सीपीओ और जीपीओ में डिफ्रेंस होता है सी पी ओ सेंट्रल प्रोसेसिंग जो यूनिट है वो चीजों को सीक्वेंशलीलीनियरिं प्रोसेस करती थी मतलब 1 के बाद 1 बट जी पी की जरूरत पड़ती है हमें एल एल एम वगैरह की ट्रेनिंग के लिए जो बहुत एक्सपेंसिव भी होते हैं इसको आप रेंट आउट भी कर सकते हो एक्सपेंसिव इसलिए होता है और जी पी ओ की खासियत ये है कि वो पैरेलली चीजों को करता है मतलब काफी सारी प्रोसेसिंग आप 1 साथ कर सकते हो अगर आपको एल एल एम अच्छे से समझना है तो इस वेबसाइट पर चले जाना बी बी वाय सी आर ओ एफटी ने एल एल एम इसमें आपको समझ में आएगा कि नानो, जीपीटी जैसे मॉडल को क्रिएट करने के लिए क्याक्या पार्ट्स यूज होते हैं सीक्वेंस ऑफ टोकन्स को ही हम कॉन्टेक्स्ट इनपुट वेट भी कहते हैं रा मतलब कि 1 टाइम पर हमने इनपुट में क्या दिया आई आई अगर मान लो मैं आई एस एन इनपुट दिया और वो आउटपुट में आम बोलता है दैट इज नेक्स्ट वर्ड को प्रेडिक्ट करना ये असिस्टेंट नहीं है बट यह 1 बेस मॉडल है बेस मॉडल का काम सिर्फ और सिर्फ प्रेडिक्शन का होता है जितने ज्यादा इनपुट दूंगी उसके बेसिस पर मैं देखूंगी कि नेक्ट वर्ड प्रेडिक्ट होता है या नहीं। अब एल एल एम की लहर कब से शुरू हुई थी देखो 4 जी पी टी टू जो टू थाउन नाइनटीन में आया था ओपन आई ए आई से उसके लिए आप इस पेपर पर चले जाना अन सुपरवाइज मल्टी टास्क लर्नर लैंग्वेज मॉडल इसमें आपको काफी सारी चीजें सीखने को मिलेगी बिकाज यहीं से ट्रांसफार्मर न्यूरल नेटवर्क्स की 1 बिगनिंग हुई थी जो वन पाइंट सिक्स बिलियन पैरामीटर पर ट्रेन किया गया था और इसका मैक्सिमम कॉन्टेक्स लैंड जो था वन थाउजेंड एंड ट्वेंटी फोर टोकंस था अब इसमें इसको जो ट्रेन किया गया था वो हंड्रेड बिलियन टोकन से किया गया था अभी शायद ट्रेलियन और में भी उससे ज्यादा होगा क इस न्यूरल नेटवर्क में आपको काफी सारी पेपर में काफी सारी चीजें सीखने को मिलेगी अगर आप इस गेटअप रेपो पर भी जाओगे तो इन्होंने जो एक्सपेरिमेंट किया है जिनकी वीडियो के बारे में हमलोग बात कर रहे हैं इन्होंने जो एक्सपेरिमेंट किया है वो भी आपको दिख जाएगा इन्होंने जीपीयू रेंट करके जो है एक्सपेरिमेंट किया था क्लाउड पर जो एनवीडिया के नोट्स आते हैं एच हंड्रेड उस पर विच लिमडा क्लाउड बेस रेंटिंग आपको अगर ट्रेन करना है कभी तो आप उसका इस्तेमाल कर सकते हो इस पूरी।
