A Hindi walkthrough of Karpathy's LLM masterclass explaining base models versus assistants. GPT-2 had 1.6 billion parameters and trained on 100 billion tokens; today's models work in the trillion-token range. Base models do only next-token prediction, with no conversational layer built in.
दैट इज नेक्स्ट वर्ड को प्रेडिक्ट करना ये असिस्टेंट नहीं है बट यह 1 बेस मॉडल है बेस मॉडल का काम सिर्फ और सिर्फ प्रेडिक्शन का होता है जितने ज्यादा इनपुट दूंगी उसके बेसिस पर मैं देखूंगी कि नेक्ट वर्ड प्रेडिक्ट होता है या नहीं। अब एल एल एम की लहर कब से शुरू हुई थी देखो 4 जी पी टी टू जो टू थाउजन्ड नाइनटीन में आया था ओपन आई ए आई से उसके लिए आप इस पेपर पर चले जाना अन सुपरवाइज मल्टी टास्क लर्नर लैंग्वेज मॉडल इसमें आपको काफी सारी चीजें सीखने को मिलेगी बिकाज यहीं से ट्रांसफार्मर न्यूरल नेटवर्क्स की 1 बिगनिंग हुई थी जो वन पाइंट सिक्स बिलियन पैरामीटर्स पर ट्रेन किया गया था और इसका मैक्सिमम कॉन्टेक्स लैंड जो था वन थाउजेंड एंड ट्वेंटी फोर टोकंस था अब इसमें इसको जो ट्रेन किया गया थ हंड्रेड बिलियन टोकन से किया गया था अभी शायद ट्रेलियन और में भी उससे ज्यादा होगा तो इस न्यूरल नेटवर्क में आपको काफी सारी पेपर में काफी सारी चीजें सीखने को मिलेगी अगर आप इस गेटअप रेपो पर भी जाओगे तो इन्होंने जो एक्सपेरिमेंट किया है जिनकी वीडियो के बारे में हमलोग बात कर रहे हैं इन्होंने जो एक्सपेरिमेंट किया है वो भी आपको दिख जाएगा इन्होंने जी पी यू रेंट करके जो है एक्सपेरिमेंट किया था क्लाउड पर जो एनवीडिया के नोट्स आते हैं एच हंड्रेड उसपर विच लिमडा क्लाउड बेस रेंटिंग आपको अगर ट्रेन करना है कभी तो आप उसका इस्तेमाल कर सकते हो इस पूरी की पूरी वीडियो में आपको एल एल एम के बारे में पेपर्स के बारे में, लिंक्स के बारे में एलएलएम को इंडप्तकैसे सीखना है इसके बारे में अब अब आपको काफी सारे एलएल मॉडल्स दिखते हैं राइट आप कलर्ड चार्ट जीपीटी की बातें नहीं कर रही है वो हैं असिस्टेंट है जो कलर्ड चार्ट जीपीटी जैसे मॉडल् स वो सारे असिस्टेंट है मैं बात कर ही हूँ बेस मॉडल के बारे में इस वीडियो में भी आपको बेस मॉडल के बारे में एक्सप्लेन किया गया है कि बेस मॉडल्स होते क्या हैं। बेस मॉडल सिर्फ और सिर्फ टोकन सिमुलेटर्स की तरह होते हैं जो नेक्स टोकन प्रेडिक्ट करते हैं नेक्स्ट वर्ड प्रेडिक्ट करके देते हैं। लामा थ्री का हर्ड ऑफ मॉडल अगर आप पेपर पर जाओगे तो उसमें आप अच्छे से समझ सकते हो कि बेस मॉडल्स क्या होता है। अगर आपको बेस मॉडल से इंटरैक्ट करना है कि वो कैसे एक्सपीरियंस देते हैं तो हाइपर बॉलिवुड एक्सवाई जी वेबसाइट पर चले जाना वहां पर आपको प्रेडिक्शन के बेसिस पर वो आपको हेल्लो हाई जैसे जवाब नहीं देगा वो आपको सिर्फ और सिर्फ नेक्स्ट वर्ड जनरेट करके देगा और बेस बेस मॉडल को अच्छे तरीके से यूज करने।
