AI में मातृभाषा का उपयोग: क्यों बढ़ता है खर्च?

भाषाई असमानता का खुलासा

नई दिल्ली, 24 जून 2026 (सूत्र)। ओपनएआई, गूगल और एंथ्रोपिक जैसी प्रमुख तकनीकी कंपनियों ने भले ही अपने नए एआई मॉडल्स को सभी भाषाओं के लिए समान बताने का दावा किया हो, लेकिन वास्तविकता कुछ और ही है। यदि आप चैटजीपीटी या क्लाउड जैसे एआई चैटबॉट्स से अपनी मातृभाषा जैसे हिंदी, अरबी या चीनी में संवाद करते हैं, तो आपको आर्थिक नुकसान उठाना पड़ सकता है। हालिया शोध ने इस मुद्दे को उजागर किया है।

विशेषज्ञों ने इस अतिरिक्त वित्तीय बोझ को 'लैंग्वेज टैक्स' का नाम दिया है, जो गैर-अंग्रेजी भाषी उपयोगकर्ताओं पर भारी पड़ता है। दरअसल, यह समस्या टोकन जनरेशन से जुड़ी है। टोकन वे बुनियादी तकनीकी इकाइयाँ हैं जिनकी मदद से एआई सिस्टम किसी भी टेक्स्ट को पढ़ता और समझता है। जब आप हिंदी में निर्देश देते हैं, तो कंप्यूटर उसे अंग्रेजी की तुलना में कई अधिक टुकड़ों में तोड़ता है, जिससे टोकन की संख्या बढ़ जाती है।

कुछ समय पहले ओपनएआई के रिसर्चर अहान कोमात्सुज़ाकी ने एक प्रयोग के माध्यम से इस समस्या को उजागर किया। उन्होंने एआई रिसर्चर रिच सटन के प्रसिद्ध लेख 'द बिटर लेसन' का कई भाषाओं में अनुवाद किया और डेटा का विश्लेषण किया। परिणाम चौंकाने वाले थे।

इस विश्लेषण के आंकड़ों के अनुसार, ओपनएआई के आधिकारिक टोकेनाइज़र पर हिंदी टेक्स्ट पढ़ने के लिए अंग्रेजी की तुलना में 1.37 गुना अधिक टोकन की आवश्यकता होती है। वहीं, एंथ्रोपिक के क्लाउड टोकेनाइज़र पर हिंदी टेक्स्ट प्रोसेस करने के लिए 3.24 गुना अधिक टोकन खर्च होते हैं।

इसी तरह, अन्य भाषाओं के लिए भी स्थिति चिंताजनक है। क्लाउड एआई पर अरबी के लिए 2.86 गुना और चीनी के लिए 1.71 गुना अधिक टोकन की खपत होती है। चूंकि एआई कंपनियों का बिलिंग सिस्टम टोकन की संख्या पर आधारित है, इसलिए हिंदी और अन्य क्षेत्रीय भाषाओं में काम करने वाले डेवलपर्स और उपयोगकर्ताओं को अनजाने में भारी भुगतान करना पड़ता है। इस भेदभावपूर्ण कोडिंग के कारण गैर-अंग्रेजी भाषी उपयोगकर्ता पीछे रह जाते हैं।