Akansha Yadav explains how large language models work by breaking down tokenization, word embeddings, and the transformer architecture. LLMs process text token-by-token, not whole sentences. Self-attention lets the model weight which words matter most, so it knows "dog bites man" differs from "man bites dog".
जितना ईजिली ये स्प्रे काम करता है वैसे ही एल एल एम काम करके दे देता है। बट वो अंदर से कैसे काम करता है ये समझते है। मतलब कि एलएलएम व कैसे करता ह। ल एलएम को समझने से पहले यह समझो कि कोई भी मॉडल फुल सेंटेंसेस को रीड भी नहीं कर सकता, न ही उसको अंडरस्टैंड कर सकता है। लाइक ह्यूमन तो मानो मैंने इनपुट में दिया आई एम ह्यूमन। इसके साथ हम पूरी प्रोसेसिंग नहीं करा सकते है। मतलब मॉडल को पूरा डेटा देंगे तो वो कुछ भी नहीं समझेगा। निल बटा सन्नाटा। इसके लिए स्टेट हम क्या करते हैं। वार्ड बाय वर्ड जाते हैं जिसको टेक्निकली हम टोकन बाई टोकन भी कहते हैं। टोकन मतलब नंबर मतलब हमें नंबर जनरेट करने होते है। हर 1 वर्ड के लिए आई एम ह्यूमन। इन तीनों के लिए अलग अलग टोकन जनरेट हुए जिसको नंबर्स किया जा सकता है। मतलब की टोकनाइजेशन में सिम्पली हम टेक्स्ट को नंबर में कनवर्ट कर देते हैं। जो कुछ इस तरीके से दिखता है। तो ये होता है पूरा टोकनाइजेशन का प्रोसेस। इसको करने के बाद भी जो नंबर जनरेट हुए हैं स्टिल मॉडल के लिए मीनिंग लेस ही रहते हैं। इस केस में क्या करते हैं। हम 1 टोकन को उठाते हैं। उसको वैक्टर में जनरेट करते हैं। मतलब कि वैक्टर में कनवर्शन होता है, वैक्टर क्या होता है। लिस्ट ऑफ नंबर्स होता है जिसके लिए हम वर्ड एम्बेडिंग का यूज करते हैं। इन दोनो वर्ल्ड के बीच में क्या रिलेशनशिप है यही जानने के लिए हम वर्ड एम्बेडिंग यूज करते हैं। अगर हमें रिलेशनशिप नहीं पता होगा तो मॉडल भी कंफ्यूज ही रहेगा। फॉर एग्जांपल मान लो मैंने लिखा है। कैट कैट एनिमल और डॉक से रिलेटेड है। बट नौट कार, वैसे ही फोटो सेंटर से प्लांट और सनलाइट से रिलेटेड है। बट नॉट, समथिंग, लाइक, iphon, वैसे, ही, टीचर, इस, क्लोज, टू, स्कूल, बट, नॉट, इंजन। ये हमारा काम वर्ल्ड एंबेडिंग करके देता है। यही कोर आइडिया वर्ड एम्बेडिंग से आता है। आप देखो मॉडल में या फिर किसी भी लैंग्वेज में ऑर्डर बहुत ज्यादा मैटर करता है। चाहे इंग्लिश है, हिंदी है, जापनीस है, स्पैनिश है। जनरल लैंग्वेजेज जो हम बोलते है उसमें ऑर्डर मैटर करता है। जिसके लिए मॉडल यूज करता है। पोजिशनल एनकोडिंग, पोजिशनल एनकोडिंग मतलब एग्जामपल डॉक बाइट्स मैन और मेन बाइट डॉक मतलब दोनों एकोवलेंड नहीं है। कुत्ते ने इंसान को काटा यह इंसान ने कुत्ते को काटा टोटली डिफ्रेंट चीजें। इस चीज के लिए हम पोजिशनल इनकोडिंग यूज करते हैं। इसके बाद बात आती है मेन दिमाग की। मतलब कि रियल ब्रेन जो काम करेगा जो इस इनपुट को प्रोसेस करेगा। मतलब डेटा तो रेडी है। बट आर्किटेक्चर की जरुरत है। इस आर्किटेक्चर में हंड्रेड प्लस क्लेयर्स हो सकती है। 11 लेयर के थ्रू ये इनपुट भेजा जाता है और अंडरस्टैंडिंग को रिफाइन किया जाता है। अब बात आती है ए आई के रेवोल्यूशन की जहाँ पर सेल्फ अटेंशन आता है ए आई में हाइप आई ही इस पेपर की वजह से थी सेल्फ अटेंशन के कांसेप्ट की वजह से जिसका पेपर रिलीज हुआ था। अब मान लो मैंने सारी प्रोसेसिंग कर ली, वर्डएमबेडिंगभी कर ली, रिलेशनशिप भी समझ ली। बट अटेंशन क्या करता है ये बताता है की कौन सा वर्ल्ड मैटर करता है इस पुरे सेंटेंस में, इस पुरे प्राम्ट में कौन सा वर्ल्ड मैटर करता है। फॉर एग्जाम्पल मैंने लिखा कप्लेन फोटो सेंटेंस सिम्पली तो मॉडल क्या करेगा मेन वर्ल्ड पे स्पॉटलाइट डालेगा विच फोटो सेंटेंस उसको प्रोसेस करेगा। उसके बाद मॉडल क्वेश्चन पूछने की कोशिश करेगा की एक्सप्लेन मेरे से कैसे जुड़ा हुआ है या सिम्पली मेरे से कैसे जुड़ा हुआ ह।
