In this Hindi‑language video, Akansha Yadav walks viewers through Andrej Karpathy’s three‑hour masterclass on large language models (LLMs). She emphasizes that solid foundational knowledge is essential before using models like ChatGPT. The talk outlines the entire data‑centric workflow that powers modern LLMs: starting from raw web data harvested by Common Crawl, moving to the curated 44 TB base dataset (≈15 trillion tokens) hosted on Hugging Face, and then detailing the multi‑stage pre‑training pipeline. The pipeline includes URL filtering (removing adult or low‑quality sites), text extraction (stripping HTML, CSS, and other markup), language filtering, profanity and custom filters, and finally personal‑identifiable‑information (PII) removal. Akansha explains each step’s purpose, how it cleans the massive corpus, and why these steps matter for building reliable, safe LLMs. The video is positioned as a concise alternative for viewers who cannot invest three hours in the original masterclass.
Chapters
अपने ए आई की पढाई शुरू करते है तो इनको आप जानते ही होंगे इन्होंने 3 घंटे की 1 साल पहले 1 वीडियो डाली थी अगर आप में से काफी सारे लोगों ने उसको नहीं देखा है तो मेरी ये वीडियोज देख लेना आपको सब समझ में आ जाएगा शायद ये पार्ट्स में होगा बट आई विल ट्राय में बेस्ट टू एक्सप्लेन इच एन एवरीथिंग जो इस 3 घंटे की वीडियो में समझाया हुआ है और आप 3 घंटे इन्वेस्ट नहीं करना चाहते है न यूज 10 देखो इसमें बात करी गई है चार्ट जीपीटी जैसे एलएलएम के बारे में कि कैसे आप एलएलएम को समझ सकते हो एलएलएम को समझना मैं हमेशा कहती हूं फाउंडेशनल नॉलेज बहुत जरूरी है देखो इस पूरे वीडियो में ये रिकॉर्ड किया गया कि 4 जी पी टी के बिहाइंड क्या है बिहाइंड द सीन क्या क्या चीजें वर्क करती है चार्ट जीपीटी बना कैसे है और आपको कुछ ऐसे की टर्म्स के बारे में पता होना चाहिए ताकि आप मॉडल्स को अच्छे से यूज कर सको और फर्दर जो भी मॉडल आए हैं उससे आपकी ग्राउंडेड नॉलेज अच्छी हो देखो मॉडल को क्रिएट करने के लिए सबसे पहली चीज जो हमें चाहिए वो है डेटा अब डेटा कहां से आएगा डेटा का सबसे पहला सोर्स था इंटरनेट सर्वे वगैरह तो बहुत लंबा प्रोसीजर हो जाता है इसी लिए इंटरनेट का सोर्स लिया जाता है और इंटरनेट के सोर्स के लिए आप हॉगिंग फेस पर फाइन वेबपेज पर जाओगे तो आपको कुछ इस तरीके का वेबपेज मिलेगा जहां पर आपको काफी सारी चीजें जानने को मिलेगी देखो इन्होंने फोर्टी फोर टेरा बाई डिस्क स्पेस का जो 1 बेसिकली डेटा है वो लिया है जो फिफ्टीन ट्रिलियन टोकंस अप्रॉक्सिमेटली जनरेट करता है राइट अब प्री ट्रेनिंग प्री ट्रेनिंग स्टेज में सबसे पहले होता है यू आर एल फिल्टरिंग, यू आर एल फिल्टरिंग का मतलब भी हम जानेंगे टेक्स एक्स्ट्रेक्शन लैंग्वेज फिल्टरिंग, ग्रॉफर फिल्टरिंग, मेन हास फिल्टरिंग, सी फोर, फिल्टर्स, कस्टम फिल्टर्स और पी आई आई रीमूवल देखो काफी सारी चीजे होती है जैसे कि यू आर एल फिल्टरिंग की अगर मैं बात करूं पहले तो रॉ डेटा लिया गया था कॉमन क्रोल वेबसाइट से ये क्या करते हैं सारी वेबसाइट्स को क्रॉल कर करके जो भी अच्छे वेबपेजेज होते है उसमे जो भी यूआरएल होते हैं वो सब एक्सट्रैक्ट करके 1 जगह रखते हैं यह उनका काम है कॉमन क्रोल वालों का यू आर एल फिल्टरिंग का मतलब है जो एडल्ट साइट्स थीं उनकी जरूरत नहीं थी इसलिए उसको हटा देना है टैक्स एक्सट्रेक्शन का मतलब है जब हम वेबसाइट पर कोई टैक्स देखते हैं तो उसमें एचटीएमएल टैग्स होते हैं सीएसए स्कोर होते हैं जिसकी हमें जरूरत नही है हमें सिर्फ और सिर्फ टैक्स चाहिए उसके लिए हम टैक्स ले लेते हैं उसके बाद काफी सारे फिल्टर्स यूज होते हैं ताकि हम डेटा को और अच्छे से क्लीन कर सके उसको क्लीन करने के बाद हम पी आई आई रिमूवल करते हैं मतलब कि पर्सनल।
