टेक्स्ट में छिपे हुए अक्षर: ये कहाँ छिपते हैं और इन्हें कैसे हटाएं

छिपे हुए अक्षर ऐसे अदृश्य Unicode कोड पॉइंट होते हैं, जैसे ज़ीरो-विड्थ स्पेस, नॉन-ब्रेकिंग स्पेस और दिशा बताने वाले चिह्न। ये देखने में साधारण स्पेस जैसे लगते हैं या बिल्कुल नहीं दिखते, इसलिए टेक्स्ट सामान्य दिखता है, पर खोज, कोड और फ़ॉर्म की जाँच उसे अलग टेक्स्ट मानती है। इन्हें कोड पॉइंट देखकर पहचाना जाता है, और उन खास अक्षरों को मिटाकर या बदलकर हटाया जाता है।

छिपे हुए अक्षर हटाएंमेरे टेक्स्ट में अदृश्य गंदगीमुफ़्त में करें

ये कहाँ से आते हैं

ज़्यादातर छिपे हुए अक्षर टाइप करने से नहीं, कॉपी करने से आते हैं:

• वेब पेज। साइटें नॉन-ब्रेकिंग स्पेस (U+00A0) का इस्तेमाल करती हैं ताकि दो शब्द एक लाइन के अंत में अलग न हों, और ज़ीरो-विड्थ स्पेस (U+200B) का इस्तेमाल करती हैं ताकि बताया जा सके कि लंबा शब्द कहाँ टूट सकता है। कोई अनुच्छेद कॉपी करने पर ये भी साथ चले आते हैं।
• वर्ड प्रोसेसर। हाइफ़नेशन के लिए सॉफ़्ट हाइफ़न (U+00AD) डाले जाते हैं। जब तक लाइन उस जगह पर न टूटे, ये दिखते नहीं। कुछ एडिटर कुछ जगहों पर अपने-आप नॉन-ब्रेकिंग स्पेस भी डाल देते हैं।
• चैट ऐप और ईमेल। चैट या ईमेल से कॉपी किए गए संदेशों में ज़ीरो-विड्थ जॉइनर और दिशा चिह्न आ सकते हैं, खासकर जब टेक्स्ट में कई भाषाएँ मिली हों।
• मिश्रित दिशा वाला टेक्स्ट। अरबी, हिब्रू और मिश्रित टेक्स्ट में बाएँ-से-दाएँ चिह्न (U+200E), दाएँ-से-बाएँ चिह्न (U+200F) और एंबेडिंग व ओवरराइड अक्षर (U+202A से U+202E) इस्तेमाल होते हैं। ये बताते हैं कि लाइन कैसे दिखेगी, न कि उसमें क्या लिखा है।
• बाइट ऑर्डर मार्क। फ़ाइल की शुरुआत में बाइट ऑर्डर मार्क (BOM, U+FEFF) होता है, जिसे कुछ एडिटर पहचान के तौर पर लिखते हैं। यह अदृश्य होता है, लेकिन जब फ़ाइल सादे टेक्स्ट की तरह पढ़ी जाती है, तो यह पहला असली अक्षर बन जाता है।
• AI चैट विंडो। कुछ AI चैट इंटरफ़ेस से कॉपी किए गए टेक्स्ट में भी ये अक्षर हो सकते हैं। इसकी संभावित वजह यह है कि टेक्स्ट कैसे रेंडर और कॉपी हुआ, इसलिए इन्हें किसी के इरादे का संकेत न मानें।

ये समस्या क्यों बनते हैं

हर छिपा हुआ अक्षर एक असली कोड पॉइंट है, इसलिए पेज एक जैसा दिखने पर भी टेक्स्ट बदल जाता है:

• खोज फ़ेल हो जाती है। किसी शब्द के बीच का ज़ीरो-विड्थ स्पेस मिलान तोड़ देता है, इसलिए उस शब्द की खोज कुछ नहीं ढूँढती।
• कोड टूट जाता है। सोर्स फ़ाइल में नॉन-ब्रेकिंग स्पेस कई भाषाओं में सिंटैक्स एरर होता है, और यह एरर अक्सर ऐसी लाइन दिखाता है जो बिल्कुल सही लगती है। कोड में पेस्ट से होने वाली एक और आम समस्या के बारे में घुमावदार कोटेशन गाइड में पढ़ें।
• फ़ॉर्म इनपुट ठुकरा देता है। @ के बाद ज़ीरो-विड्थ स्पेस वाला ईमेल पता सही दिखता है, पर जाँच में फ़ेल हो जाता है।
• गिनती बदल जाती है। टूल के हिसाब से अक्षर-गिनती में ये अक्षर शामिल हो सकते हैं या नहीं, इसलिए एक ही टेक्स्ट के दो अलग योग आ सकते हैं। सफ़ाई से पहले और बाद में शब्द काउंटर से टेक्स्ट गिनकर फ़र्क देखें।

एक छोटा उदाहरण लें। शब्द "invoice" में सात अक्षर हैं। इसके बीच ज़ीरो-विड्थ स्पेस हो, तो वही शब्द आठ कोड पॉइंट लंबा होगा, और स्क्रीन पर बिल्कुल एक जैसा दिखेगा। "invoice" की खोज दूसरे रूप को नहीं पकड़ेगी।

इन्हें कैसे देखें

टेक्स्ट को सिर्फ़ देखने से कुछ पता नहीं चलता, इसलिए इनमें से कोई तरीका अपनाएं:

1. टेक्स्ट को ऐसे टूल में पेस्ट करें जो कोड पॉइंट की सूची दिखाता है, जैसे छिपे हुए अक्षर हटाएं। यह कुछ भी बदलने से पहले बताता है कि क्या मिला है।
2. कोड एडिटर में वह सेटिंग चालू करें जो व्हाइटस्पेस या खास अक्षर दिखाती है। तब नॉन-ब्रेकिंग स्पेस साधारण स्पेस से अलग चिह्न की तरह दिखेंगे।
3. किसी प्रोग्रामिंग भाषा में संदिग्ध स्ट्रिंग के कोड पॉइंट प्रिंट करें। उदाहरण के लिए Python में [hex(ord(c)) for c in text] हर अक्षर की सूची देता है, जिसमें नॉन-ब्रेकिंग स्पेस 0xa0 और ज़ीरो-विड्थ स्पेस 0x200b के रूप में दिखता है।

इन्हें कैसे हटाएं

हटाने का काम सटीक होना चाहिए। हर गैर-ASCII अक्षर मिटा देने से एक्सेंट, कोटेशन चिह्न और दूसरी भाषाओं के अक्षर भी खत्म हो जाएँगे। इसकी बजाय:

• नॉन-ब्रेकिंग स्पेस को साधारण स्पेस से बदलें, क्योंकि ये लगभग हमेशा स्पेस के रूप में ही लिखे जाते हैं।
• ज़ीरो-विड्थ स्पेस, सॉफ़्ट हाइफ़न, बाइट ऑर्डर मार्क और इधर-उधर पड़े दिशा चिह्न मिटाएं।
• एक्सेंट वाले अक्षर, घुमावदार कोटेशन और असली विराम चिह्न रहने दें।

पेस्ट किया टेक्स्ट ठीक करें उस टेक्स्ट के लिए बना है जो कहीं और से आया हो। अगर कॉपी किए गए टेक्स्ट में लाइन ब्रेक या अजीब स्पेसिंग भी टूटी हो, तो इसका इस्तेमाल करें।

fixmint से कैसे करें

1. टेक्स्ट को आपका टेक्स्ट में पेस्ट करें।
2. मिले अक्षरों की सूची पढ़ें। हर अक्षर का नाम दिखेगा, जैसे ज़ीरो-विड्थ स्पेस के लिए ZWSP, और साथ में यह कि उसके साथ क्या होगा, यह भी चिह्नित होगा।
3. इमोजी के भीतर जॉइनर रखें वाला विकल्प चालू रहने दें, ताकि इमोजी सीक्वेंस एक ही चिह्न के रूप में दिखते रहें।
4. घुमावदार कोटेशन, en/em डैश और … को सादे ASCII में बदलें विकल्प सिर्फ़ कोड या डेटा के लिए चालू करें, फिर कॉपी करें या .txt डाउनलोड करें का इस्तेमाल करें।

खास स्थितियाँ

• इमोजी सीक्वेंस जानबूझकर ज़ीरो-विड्थ जॉइनर इस्तेमाल करते हैं। इन्हें हटाने से एक इमोजी कई चिह्नों में बँट जाता है।
• नॉन-ब्रेकिंग स्पेस कुछ टाइपोग्राफ़ी में सही होता है, जैसे किसी संख्या और उसकी इकाई के बीच, और कुछ फ़्रेंच विराम चिह्नों में। इसे तभी बदलें जब आप जानते हों कि यह गलती से आया है।
• टेक्स्ट साफ़ होने के बाद उसकी तुलना टेक्स्ट तुलना से मूल टेक्स्ट के साथ करें, ताकि ठीक-ठीक दिखे कि क्या बदला।

त्वरित जवाब

क्या छिपे हुए अक्षर इस बात का संकेत हैं कि टेक्स्ट AI ने लिखा है?

नहीं। ये वेब पेज, वर्ड प्रोसेसर, चैट ऐप और सामान्य कॉपी-पेस्ट से आते हैं। इनकी मौजूदगी से यह पता नहीं चलता कि टेक्स्ट किसने या किससे लिखा।

क्या हर गैर-ASCII अक्षर हटा देने से समस्या ठीक हो जाएगी?

नहीं। ऐसा करने से एक्सेंट, कोटेशन और दूसरी भाषाओं के अक्षर भी हट जाएँगे। इसकी बजाय सिर्फ़ वे खास अदृश्य कोड पॉइंट हटाएं।

मैं कैसे जानूं कि किसी स्ट्रिंग में छिपे हुए अक्षर हैं?

उसकी लंबाई की तुलना उन अक्षरों की संख्या से करें जो आप देख सकते हैं, या उसे कोड पॉइंट दिखाने वाले टूल में पेस्ट करें। अगर गिनती अलग निकले, तो अंदर कुछ अदृश्य है।