In this Hindi‑language segment, the speaker explains the crucial role of tokenization in large language models (LLMs). Raw text cannot be directly processed by neural networks, so it must be converted into a one‑dimensional numerical form. The process involves turning characters into bytes (0‑255 values) and then applying Byte‑Pair Encoding (BPE) to compress the data into a smaller set of tokens. The speaker emphasizes that smaller, more numeric data enables more efficient learning. A practical demonstration is shown using an online tokenizer website where raw text from any web page can be pasted to obtain the corresponding token sequence, illustrating how spaces, case sensitivity, and punctuation affect token counts. The overall goal highlighted is data shrinkage: the more compact the representation, the better the neural network can learn.
Chapters
है वो भी हम एल एल एम को नहीं देना चाहते उसको भी हटा देते हैं। उसके बाद स्टेप आता है जैसे हमारे पास डेटा आता है जो बहुत ज्यादा इम्पोर्टेंट है वो है टोकनाइजेशन। टोकनाइजेशन का मतलब कि वर्ड्स और टैक्स को कनवर्ट करना। टोकंस में देखो। इसको परफॉर्म करना इम्पॉर्टेंट है। न्यूरल नेटवर्क्स के लिए बिकॉज न्यूरल नेटवर्क समझ नहीं सकता है। तो इन्होंने अपने विडियो में क्या कहा कि उन्होंने सारा का सारा डेटा प्रोसेस करने के लिए बिकाज ऑबवियसली कंप्यूटर पर लोड काफी ज्यादा आ जाएगा। सीपी पे प्रोसेसिंग होगी नहीं जी पी ओ बहुत महंगे आते हैं। इसलिए टोकनाइजेशन परफॉर्म करने के लिए उन्होंने टू हंड्रेड पेजेस का टैक्स लिया है। रॉ टैक्स लिया है और उसको 1 वेबसाइट पर जाकर टोकन में कनवर्ट करके प्रैक्टिकली शो केस किया है कि कैसे टोकनाइजेशन वर्क करता है देखो वर्ड समझ नहीं सकते है। इसलिए हमें वन डाइमेंशनल डेटा चाहिए। मतलब टैक्स को कनवर्ट करना बेट्स में बेट्स मतलब एट बेडसाइड जिसमें जीरो जन वन का कॉम्बिनेशन होता है। दैन बाइट बिट 2 बाइट उन्होंने कन्वर्जन किया जिसमें की टू, फिफ्टी, सिक्स, पॉसिबल, कॉम्बिनेशंस हमें देखने को मिलते हैं। इसको इस तरीके से समझो जैसे हमारे व्हाट्सएप पर इमोजीज होते हैं। टू फिफ्टी सिक्स यूनिक इमोजीज का मतलब है बाइट्स। तो ब्रेड को बाइट्स में कनवर्ट करने के बाद हम टोकन जनरेट करते हैं। इसको प्रॉपर्ली करने के लिए हम बाइट पेयर एन कोडिंग मैथर्ड का यूज करते हैं। हमारा टार्गेट बहुत सिम्पल सा है कि हमें डेटा को श्रिंक करना है। एजमसएसपॉसिबलहमें डेटा को श्रिंक करना है। जितना ज्यादा छोटा डेटा होगा। जितना ज्यादा न्यूमेरिकल डाटा होगा उतना अच्छा न्यूरल सीख पाएगा। अब जो एक्सपेरिमेंट जहां पर आपको प्रैक्टिकली शो केस किया गया है वो ये वेबसाइट है विच टिक टोकनाइजरडॉवर्सलaप। इस पर जाकर अगर आप ये बेस मॉडल समझोगे तो क्लिक करोगे मतलब सेलेक्ट करोगे तो उसपर जाकर आप टोकनाइजेशन जनरेट कर सकते हो। मतलब कि रॉ टैक्स को उठाना किसी भी वेबपेज से उस वेबसाइट पर डालना और उसको एक्जीक्यूट करना मतलब वो आपको टोकंस देगा। कुछ नंबर्स जनरेट करके देगा। सीक्वेंस ऑफ सिंबल्स देगा। टोकनाइजेशन में काफी चीजें इम्पोर्टेंट होती है। स्पेसिस के भी न्यू टोकन्स बन सकते हैं। केस सेंसिटिव होता है इसको इस तरीके से समझा जैसे मान, लो, फॉर्टी, थाउजेंड बेड्स हैं तो उसका अप्रोग्सिमेटली टू टोकन जनरेट होंगे। जैसे ही टोकनाइजेशन क्रिएट हो जाती है मतलब टोकन ज।
