A context window is the total tokens an AI model can process at once. A token is a sub-word unit, so three words might become three to five tokens. An 8k token model reads about 6,000 words; a 32k model reads about 24,000 words. Larger windows let the model handle longer passages in one go.
Chapters
बहुत सारी जगह है नाम सुना और कांटेक्ट सटूडेंट। उसी के बारे में आज हम बात करेंगे कांटेक्ट विंडो होता क्या है देखो कांटेक्ट विंडो का सिंपल सा मतलब है कि 1 बार में मॉडल क्या जनरेट करता है या क्या देखता है कितनी इन्फॉर्मेशन मॉडल 1 बार में देख सकता है। जैसे मैं आपसे पूछूं कि आप इस पूरे बोर्ड के इनफॉर्मेशन को क्या 1 बार में देख कर प्रोसेस कर सकते हो तो वो आपकी कांटेक्ट विंडो होगी। वही चीज कांटेक्ट विंडो को आई के कम में यूज किया जाता है। 1 बार में मॉडल का जनरेट किया वो मेरी 1 बार में मॉडल की देखी गई मेंबरी के बारे में कितने इनफार्मेशन को देख सकता है, कितने इंफॉर्मेशन को प्रोसेस कर सकता है। अब पाल्टिक्स विंडो को मेजर करने के लिए हम टोकन का यूज करते है। टोकन बड़ा सेंटेंस मिलता है उसको हम ब्रेक करके छोटे छोटे वर्ड्स में कनवर्ट कर देते है उसी को हम टोकन कह देते हैं। अब इसका मतलब ये नहीं कि 1 वर्ड का 1 टोकन होगा। अब मान लो क्सप्ले जैसे मैंने बोला एक्सले 3 वर्ड है इन 3 वर्ड्स के कितने टोकन 3 से 5 टोकन हो सकते हैं। 1 वार्ड के मल्टीपल टोकन जनरेट करे जा सकते हैं। तो इसी लिए हम कहते हैं कि थ्री फोर्थ जो है वार्ड को 1 टोकन माना जा सकता है। रफी अब मॉडल के बारे में बोला कोई मॉडल है जिसमे एट थाउजेंड कंटेक्ट विंडो है इसका मतलब रफी अराउंड सिक्स थाउजन्ड वार्ड्स को प्रोसेस कर सकता है। सिक्स थाउजंड वर्ड्स को वो 1 बार में देख सकता है, समझ सकता हर इस्तेमाल है थर्टी टू थाउजेंड वैक्स विंडो के मतलब थर्टी टू ऑन ट्वेंटी, फोर थाउजंड वर्ड्स को प्रोसेस कर सकता है। वैसे भी जितनी ज्यादा बड़ी कॉनटेक्ट विंडो है उससे थोड़ा कम ही रहता है। हमारा नंबर ऑफ वर्ड्स का एवरेज किसी चीज को हम कांटेक्ट विंडो भी कहते है। जैसे हम 1 बार में 1 बुक का पेश नही पढ़ सकते है वैसे ही लिमिटेड इनफॉर्मेशन हम लोग पढ़ सकते है। वही सेम चीज तैयारी के साथ होती है जिसको हम इन सिम्पल कान्टेक्ट विंडो कहते हैं।