Akansha Yadav explains why early ChatGPT was slow and how KV caching fixed it. Instead of recomputing attention for every new token, the model stores key and value vectors once and reuses them, cutting redundant work. This lets tokens stream to your screen as they're generated instead of waiting for the full answer.
वैसे तो चार्ट जीपीटी में बहुत सारे इवॉल्यूशन है पर मैं आपको बताती हूँ कि क्या क्या चीजें बदली हैं। देखो चार्ट जीपीटी पहले बहुत स्लो काम करता था। अब जैसे ही अपडेटेड वर्जन आ रहे है वो और फास्टर होता जा रहा है। बेसिक फ्लो तो आज भी वही है कि आप इनपुट देते हो। मॉडल काम करता है, नेक्स्ट प्रेडिक्शन होती है और आउटपुट जनरेट होता है। बट आपको सिर्फ इतना नहीं जानना है। पहले ही समझो ये स्लो क्यों था। देखो सबसे पहला ही स्टेप ज्यादा कंप्यूटेशन लेता था मतलब वाम फेस में, उसको कांटेक्ट समझने में ही इतनी ज्यादा कॉम्पिटिशन की जरूरत पड़ती थी। मतलब की जैसे ही डेटा आता था वो उसके कांटेक्ट को समझने में लग जाता था। इस चीज को सॉल्व करने के लिए हम यूज़ कर पाये के वी कैसे मतलब कि की और वैल्यू का कैसे ट्रांसफार्मर। मॉडल्स को अगर हम ध्यान से देखे तो वो टेंशन मकैनिज्म पर काम करता है। मतलब की हर नए टोकन के लिए मॉडल जनरेट करता है की और वैल्यू पर नॉर्मली। जब नया टोकन उसके पास आता है तो री कंप्यूट करने लग जाता है। मतलब जीरो से फिर से शुरू करते है कॉन्टैक्ट समझने के लिए कि इसका पिछले वर्ड से क्या लेना देना है। विद केवी कैसे ये हुआ कि जो भी वैल्यूज हमने की और वैल्यू में स्टोर की थी हम उनको रीयूज कर सकते थे। इसका मतलब कि री कमप्यूटेशन नहीं करनी पड़ेगी। मतलब कि दोबारा से सब कुछ कैलकुलेट करने की जरुरत नहीं है। इसकी वजह से 4 जीपीटी फास्टर हो गए। क्यों? क्योंकि अब हमे सिर्फ और सिर्फ नए टोकन को ही प्रोसेस करने की जरुरत है। कांस्टेंट टाइम में ही हम अपने काम को पूरा कर सकते हैं। बेटर नेक्स्ट टोकन प्रेडिक्शन मतलब मतलब कि अब मॉडल के पास ज्यादा कॉन्टेक्स्ट है, क्लियर अंडरस्टैंडिंग और क्लियर अंडरस्टैंडिंग से क्या होता है। हमारे पास कॉन्फिडेंस ज्यादा होता है। वहीं मॉडल के साथ भी होता है जिसकी वजह से वो फास्ट जनरेशन कर सकता है। अब जी पी पर ये मॉडल्स काम करते हैं मतलब कि ये पैरललिज्मपेकाम करते हैं। जितने भी ऑपरेशन होते हैं सब पैरलल में होते हैं। वो जी पी का नेक्स्ट के वी पर जनरेट करना सब कुछ पैरलल में। जिसकी वजह से स्ट्रीमिंग और ज्यादा फास्ट हो जाती है। जिसमे की आपको पूरा अंसर 1 बार में नहीं दिया जाता। व वार्ड टोकन, बाय टोकन। जैसे मॉडल जनरेट करता है वैसे ही आपकी स्क्रीन के उपर आता है। मतलब कि अब 5 चीजें होती है। पहले वाम फेस केवी कैशे देन, बेटर प्रेडिक्शन और जीपीयू पैललिज्म की वजह से स्ट्रीमिंग आउटपुट भी आपको मिलते है।
