Akansha Yadav explains how tokenisation converts text into pieces that LLMs can read. A single word often becomes multiple tokens depending on spaces and punctuation. Different strategies like BPE and WordPiece affect vocab size, memory usage, and API costs.
टोकनाइजेशन क्या होता है। एल एल एम में देखो टोकनाइजेशन का सिंपल सा मतलब है। कोई भी टैक्स, कोई भी डेटा आपके पास आता है और उसको स्मॉल पीसेस मतलब टोकन्स में कनवर्ट करना मॉडल आपका वर्ड नहीं पढ़ सकता है, टैक्स नहीं पढ़ सकता है, सेंटेंसेस नहीं पढ़ सकता है। मॉडल सिर्फ और सिर्फ टोकन्स पढ़ सकता है। टोकन के बाद उसको कनवर्ट किया जाता है नंबर्स में एंड देन एम बेडिंग में। इसको 1 एग्जांपल से समझते हैं मान लो। मैंने। 1 सेंटेंस लिखा है कोडिंग दीदी, इज अ गर्ल। उसके बाद मैंने 1 एक्स्क्लामेशन साइन लगाया है कोडिंग दीदी, मैंने विदाउट स्पेस लिखा है। अब जब मैंने कोडिंग दीदी लिखा है तो क्या यह 1 वर्ड 1 टोकन जनरेट करके देगा। जी नहीं, ध्यान देने वाली बात इसमें 3 है कि स्पेसिस मैटर करते हैं कोडिंग दीदी। 2 टोकन जनरेट करके देखा उसके बाद एक्सक्लेमेशन का 1 टोकन जनरेट हुआ तो ये सारे टोकन होगा। 1 सेंटेंस के 3 चीजें नोटिस करो स्पेस मैटर कर रहा है। वर्ड वियर तरीके से भी ब्रेक हो सकता है। और टोकन हमेशा फुल वर्ड नहीं होता है। 2 वर्ड बना सकता है। टोकनाइजेशन हमारी मदद करता है टैक्स को मैनेजेबल बनाने में, अननोन वर्ड को हैंडल करने में और मेमरी यूजेज को ऑप्टिमाइज करने में और जनरलाइजेशन एनेबल करने में। टोकनाइजेशन कई तरीके से करा जा सकता है। सबसे पहले वर्ल्ड टोकनाइजेशन जहाँ पर वर्ड से स्प्लेटकरतेहैंहम डेटा को देन कैरेक्टर एन देन सव वर्ड ऑगेनाइजेशन। पहले बात करते हैं वर्ड गनाइजेशन जहाँ पर हम वर्ड से करते है। बट इस केस में क्या होता है। बहुत बड़ी वो कैबलेरी होती है। अननोन वर्ड हैंडल नहीं होता है। टाइप पोज को नहीं हैंडल करा जा सकता। इसके बाद आता है कैरेक्टर टोकनाइजेशन जहाँ पर हम स्प्लिट करते हैं कैरेक्टर के बेसिस पर। यहाँ पर अननोन वर्ड तो नहीं होता है लेकिन लॉन्ग सीक्वेंस हो जाता। मीनिंग समझना मुश्किल है सब वर्ड बहुत इम्पोर्टेंट है जैसे मान लो न हैप्पीनेस लिखा तो इसके 3 टोकन बन गए। यहाँ पर अननोन वर्ड भी हैंडल कर सकते हैं। वे कैबलरीभीआपकी मैनेजेबल रहेगी और मॉर्डन जो एलेलमहतेइनसबमें सब वर्ड ओकेनाइजेशन को ही यूज किया जाता है। अब बात करते है कुछ अलगोरिथम की। पॉपुलर एलगोरिथम में 4 एलगोरिथम में फर्स्ट है बी पी वर्ड पीस, सेंटेंस पीस एंड यूनिक ग्राम। सबसे पहले है बी पी जहाँ पर हम कैरेक्टर से शुरू करते हैं मोस्ट स्वीक वर्ड्स को मर्ज करते हैं। अली जी पी डी जैसे जी पी, टी टू में यही यूज होता था वर्ड पीस जो है वर्ड में यूज होता है जहाँ पर हम मोस्ट यूजफुल सब वर्ड को प्रिजर्व करते है। मतलब प्लेइंग में प्ले बहुत इम्परटेंट है तो ये प्रोबाबिलिटी के उस पर वर्क करता है। दैन सेंटेंस पीस जैसे लामा जैसे मॉडल में ता है जहाँ पर पूरे के पूरे टैक्स को ऐज रॉस ट्रीम ही ट्रीट किया जाता है। देन यूनिग्रामयूनिग्राम क्या करता है मोस्ट प्रोबाबलटोकनसेट लेता है और ये ज्यादा फ्लेक्सिबल होता है कंपैर टू बी पी। अब समझते है टोकनाइजेशन के बाद क्या होता है देखो पहले टैक्स आता है, टोकन जनरेट होता है। दैन टोकन आईडी जनरेट होती है। न बेडिंग मतलब वेक्टर्स कनवर्ट होते है मॉडल को दिया जाता है। मान लो हेल्लो 1 वर्ड है जिसके 2 टोकन बने, 2 टोकन आईडी और 1 वेक्टर जनरेट करने के बाद मॉडल को दिया गया टोकनाइजेशन हर कुछ अफेक्ट करता है। मतलब कि मॉडल वर्ड्स को तो नहीं देख सकता, टोकन देख सकता है। हजार वर्ड का मतलब हजार टोकन नहीं है। ए पी आई एस जो चार्ज होता है वो टोकन के बेसिस पर करता है। बैडटओकेनाइजेशन मतलब ये एक्यूरेसी भी खराब करेगा, मीनिंग भी और अंडरस्टैंडिंग जनरेशन के लिए अच्छी टोकनाइजेशन होनी चाह।
