Rejtett karakterek a szövegben: hol bújnak el és hogyan távolítsd el őket

A rejtett karakterek láthatatlan Unicode-kódpontok, például nulla szélességű szóközök, törés nélküli szóközök és irányjelzők. Úgy néznek ki, mint egy közönséges szóköz vagy mint semmi, ezért a szöveg rendben látszik, miközben a keresés, a kód és az űrlapok ellenőrzése más szövegként kezeli. Úgy találod meg őket, hogy megvizsgálod a kódpontokat, és úgy távolítod el, hogy kitörlöd vagy lecseréled ezeket a konkrét karaktereket.

Rejtett karakterek eltávolításaLáthatatlan szemét a szövegembenPróbáld ki ingyen

Honnan kerülnek elő?

A legtöbb rejtett karakter másolással kerül a szövegbe, nem gépeléssel:

• Weboldalak. Az oldalak törés nélküli szóközöket (U+00A0) használnak, hogy két szó ne törjön el a sor végén, és nulla szélességű szóközöket (U+200B), hogy jelöljék, hol törhet egy hosszú szó. Egy bekezdés másolásakor ezek is átkerülnek.
• Szövegszerkesztők. A puha kötőjeleket (U+00AD) az elválasztáshoz szúrják be. Láthatatlanok, hacsak a sor nem törik rajtuk. Néhány szerkesztő bizonyos helyeken automatikusan is beszúr törés nélküli szóközöket.
• Csevegőalkalmazások és e-mail. Csevegésből vagy e-mail-programból másolt üzenetek nulla szélességű illesztőket és irányjelzőket hordozhatnak, különösen ha a szöveg több nyelvet kever.
• Vegyes irányú szöveg. Az arab, a héber és a vegyes szövegek olyan irányjelzőket használnak, mint a balról jobbra jelölő (U+200E), a jobbról balra jelölő (U+200F), valamint a beágyazó és felülíró karakterek (U+202A–U+202E). Ezek azt szabályozzák, hogyan jelenik meg a sor, nem azt, hogy mit mond.
• Bájtsorrend-jelzők. A fájl elején álló bájtsorrend-jelző (BOM, U+FEFF) egy azonosító, amelyet egyes szerkesztők írnak ki. Láthatatlan, de valódi első karakterré válik, amikor a fájlt egyszerű szövegként olvassák be.
• AI-csevegőfelületek. Néhány AI-csevegőfelületről másolt szöveg is tartalmazhat ilyen karaktereket. Valószínűleg abból adódnak, ahogyan a szöveget megjelenítették és másolták, ezért ne tekintsd szándék jelének.

Miért okoznak gondot?

Minden rejtett karakter valódi kódpont, így akkor is megváltoztatja a szöveget, ha az oldal ugyanúgy néz ki:

• A keresés nem talál. Egy szó belsejében lévő nulla szélességű szóköz megtöri az egyezést, így a szó keresése nem ad találatot.
• A kód elromlik. A forrásfájlban lévő törés nélküli szóköz sok nyelvben szintaktikai hiba, a hibaüzenet pedig gyakran olyan sorra mutat, amely tökéletesnek látszik. A görbe idézőjelekről szóló útmutató a kódban előforduló másik gyakori beillesztési problémát tárgyalja.
• Az űrlap-ellenőrzés elutasítja a bevitelt. Egy e-mail-cím, amelyben a @ után nulla szélességű szóköz áll, érvényesnek látszik, de átesik az ellenőrzésen.
• Eltérnek a számlálások. A karakterszámlálók az eszköztől függően beleszámítják vagy kihagyják ezeket, így ugyanaz a szöveg két különböző összeget kaphat. Számold meg a szöveget a tisztítás előtt és után a szószámlálóval, hogy lásd a különbséget.

Íme egy kis példa. Az „invoice” szó hét betűből áll. Ha a belsejében nulla szélességű szóköz van, ugyanaz a szó nyolc kódpontból áll, és a képernyőn pontosan ugyanúgy néz ki. Az „invoice” keresése a második változatot nem találja meg.

Hogyan láthatod őket?

A szöveg puszta nézegetése nem segít, ezért használd az alábbiak egyikét:

1. Illeszd be a szöveget egy olyan eszközbe, amely kilistázza a kódpontokat, például a rejtett karakterek eltávolítása eszközbe, amely még a változtatás előtt jelzi, mit talált.
2. Kódszerkesztőben kapcsold be a beállítást, amely a szóközöket vagy a speciális karaktereket megjeleníti. A törés nélküli szóközök ekkor más jelként jelennek meg, mint a közönséges szóközök.
3. Programozási nyelvben írd ki a gyanús szöveg kódpontjait. Pythonban például a [hex(ord(c)) for c in text] minden karaktert felsorol, így a törés nélküli szóköz 0xa0, a nulla szélességű szóköz pedig 0x200b alakban jelenik meg.

Hogyan távolítsd el őket?

Az eltávolításnak célzottnak kell lennie. Ha minden nem ASCII karaktert törölnél, az ékezeteket, idézőjeleket és más nyelvek betűit is elvesznéd. Ehelyett:

• A törés nélküli szóközöket cseréld normál szóközre, mert szinte mindig szóközt jelentenek.
• Töröld a nulla szélességű szóközöket, a puha kötőjeleket, a bájtsorrend-jelzőket és a véletlenül maradt irányjelzőket.
• Tartsd meg az ékezetes betűket, a görbe idézőjeleket és a valódi írásjeleket.

A szöveg javítása beillesztés után eszköz máshonnan származó szövegekhez készült, ezért használd akkor, ha a másolt szövegben a sortörések is el vannak rontva, vagy furcsa a térközök.

Hogyan csináld meg a fixminttel?

1. Illeszd be a szöveget a Te szövegedbe mezőbe.
2. Olvasd el a talált elemek listáját. Minden karakter nevet kap, például ZWSP a nulla szélességű szóközre, és jelzi, mi történik vele.
3. Hagyd bepipálva a Kötőjelek megtartása emodzsikon belül opciót, hogy az emodzsisorozatok továbbra is egy jelként jelenjenek meg.
4. Csak kódnál vagy adatnál pipáld be a Görbe idézőjelek, en- és em-kötőjelek és a … átalakítása egyszerű ASCII-re opciót, majd használd a Másolás vagy a Letöltés .txt gombot.

Speciális esetek

• Az emodzsisorozatok szándékosan használnak nulla szélességű illesztőket. Ha eltávolítod őket, egy emodzsi több jelre bomlik.
• A törés nélküli szóköz bizonyos tipográfiában helyes, például szám és mértékegysége között, illetve néhány francia írásjelnél. Csak akkor cseréld le, ha biztosan tudod, hogy véletlen.
• A tisztítás után hasonlítsd össze az eredetivel, hogy pontosan lásd, mi változott.

Gyors válaszok

Az, hogy rejtett karakterek vannak a szövegben, azt jelzi, hogy AI írta?

Nem. Weboldalakról, szövegszerkesztőkből, csevegőalkalmazásokból és általában a másolás-beillesztésből származnak. Jelenlétük nem árulja el, ki vagy mi írta a szöveget.

Megoldja a problémát, ha minden nem ASCII karaktert eltávolítok?

Nem. Ezzel az ékezetek, az idézőjelek és más nyelvek betűi is eltűnnének. Helyette a konkrét, láthatatlan kódpontokat távolítsd el.

Hogyan derítsem ki, van-e rejtett karakter egy szövegben?

Hasonlítsd össze a hosszát a látható karakterek számával, vagy illeszd be egy olyan eszközbe, amely kilistázza a kódpontokat. Ha az számok eltérnek, valami láthatatlan van benne.