Näkymättömät merkit tekstissä: missä ne piilevät ja miten ne poistetaan

Näkymättömät merkit ovat Unicode-koodipisteitä, joita ei näy ruudulla, kuten nollanleveitä välilyöntejä, sitomattomia välilyöntejä ja suuntamerkkejä. Ne näyttävät tavalliselta välilyönniltä tai eivät mitään, joten teksti vaikuttaa normaalilta, mutta haku, koodi ja lomakkeiden tarkistus käsittelevät sitä eri tekstinä. Löydät ne tarkastelemalla koodipisteitä, ja poistat ne poistamalla tai korvaamalla juuri nuo merkit.

Poista näkymättömät merkitTekstissäni näkymätöntä roskaaTee se ilmaiseksi

Mistä ne tulevat

Useimmat näkymättömät merkit tulevat kopioimalla, eivät kirjoittamalla:

• Verkkosivut. Sivustot käyttävät sitomattomia välilyöntejä (U+00A0), jotta kaksi sanaa ei katkea eri riveille, ja nollanleveitä välilyöntejä (U+200B) merkitsemään kohtaa, jossa pitkä sana saa katketa. Kun kopioit kappaleen, kopioituvat myös nämä.
• Tekstinkäsittelyohjelmat. Pehmeät yhdysviivat (U+00AD) lisätään tavuviivoitusta varten. Ne eivät näy, ellei rivi katkea niiden kohdalla. Jotkin editorit lisäävät tiettyihin kohtiin myös sitomattomia välilyöntejä automaattisesti.
• Chat-sovellukset ja sähköposti. Chatista tai sähköpostiohjelmasta kopioituviin viesteihin voi jäädä nollanleveitä liittimiä ja suuntamerkkejä, varsinkin jos teksti sekoittaa kieliä.
• Sekasuuntainen teksti. Arabia, heprea ja sekakieliset tekstit käyttävät suuntamerkkejä, kuten vasemmalta oikealle -merkkiä (U+200E), oikealta vasemmalle -merkkiä (U+200F) sekä upotus- ja ohitusmerkkejä (U+202A–U+202E). Ne ohjaavat sitä, miten rivi näytetään, eivät sitä, mitä teksti sanoo.
• Tavujärjestysmerkit. Tiedoston alussa oleva tavujärjestysmerkki (BOM, U+FEFF) on tunniste, jonka jotkin editorit kirjoittavat tiedostoon. Se on näkymätön, mutta muuttuu todelliseksi ensimmäiseksi merkiksi, kun tiedosto luetaan pelkkänä tekstinä.
• Tekoälyn chat-ikkunat. Joistakin tekoälychateista kopioituvassa tekstissä voi olla samoja merkkejä. Todennäköinen syy on se, miten teksti esitettiin ja kopioitiin, joten älä tulkitse niitä merkiksi tarkoituksesta.

Miksi ne aiheuttavat ongelmia

Jokainen näkymätön merkki on todellinen koodipiste, joten se muuttaa tekstiä, vaikka sivu näyttää samalta:

• Haku ei löydä sanaa. Sanan sisällä oleva nollanleveä välilyönti rikkoo osuman, joten hakusana ei löydä mitään.
• Koodi hajoaa. Lähdekoodin sitomaton välilyönti on monissa kielissä syntaksivirhe, ja virhe osoittaa usein riviin, joka näyttää täysin oikealta. Kiharat lainausmerkit koodissa -opas kertoo toisesta yleisestä liittämisongelmasta koodissa.
• Lomakkeen tarkistus hylkää syötteen. Sähköpostiosoite, jossa on nollanleveä välilyönti @-merkin jälkeen, näyttää kelvolliselta mutta ei läpäise tarkistusta.
• Merkkimäärät eroavat. Merkkilaskurit lukevat nämä merkit joskus mukaan ja joskus eivät, joten sama teksti voi saada kaksi eri lukemaa. Laske teksti ennen puhdistamista ja jälkeen sanalaskurilla nähdäksesi eron.

Tässä pieni esimerkki. Sana "invoice" on seitsemän kirjainta pitkä. Kun sen sisään lisätään nollanleveä välilyönti, sama sana on kahdeksan koodipistettä pitkä, ja se näyttää ruudulla täysin samalta. Haku "invoice" ei löydä jälkimmäistä versiota.

Miten ne näkee

Tekstin katselu ei auta, joten käytä jotakin näistä:

1. Liitä teksti työkaluun, joka listaa koodipisteet, kuten Poista näkymättömät merkit. Se kertoo, mitä löytyy, ennen kuin mitään muutetaan.
2. Ota koodieditorissa käyttöön asetus, joka näyttää välilyönnit tai erikoismerkit. Sitomattomat välilyönnit näkyvät silloin eri merkkinä kuin tavalliset välilyönnit.
3. Tulosta epäilyttävän merkkijonon koodipisteet ohjelmointikielellä. Pythonissa esimerkiksi [hex(ord(c)) for c in text] listaa jokaisen merkin, joten sitomaton välilyönti näkyy arvona 0xa0 ja nollanleveä välilyönti arvona 0x200b.

Miten ne poistetaan

Poistamisen pitää olla tarkkaa. Jos poistaisit jokaisen ei-ASCII-merkin, tuhoaisit samalla tarkkeet, lainausmerkit ja muiden kielten kirjaimet. Sen sijaan:

• Korvaa sitomattomat välilyönnit tavallisilla välilyönneillä, koska ne tarkoitetaan lähes aina välilyönneiksi.
• Poista nollanleveät välilyönnit, pehmeät yhdysviivat, tavujärjestysmerkit ja irralliset suuntamerkit.
• Säilytä tarkkeelliset kirjaimet, kiharat lainausmerkit ja oikea välimerkitys.

Korjaa liitetty teksti on tehty tekstille, joka on tullut muualta, joten käytä sitä, jos kopiossa on myös rikkinäisiä rivinvaihtoja tai outoja välilyöntejä.

Näin teet sen fixmintillä

1. Liitä teksti kenttään Tekstisi.
2. Lue löydettyjen merkkien luettelo. Jokainen merkki on nimetty, esimerkiksi ZWSP nollanleveälle välilyönnille, ja merkitty sen mukaan, mitä sille tehdään.
3. Pidä Säilytä emojien liittimet valittuna, jotta emojijonot näkyvät edelleen yhtenä symbolina.
4. Valitse Muunna myös kiharat lainausmerkit, en- ja em-viivat sekä … tavalliseksi ASCII-merkistöksi vain koodia tai dataa varten. Kopioi sitten teksti painikkeella Kopioi tai lataa se painikkeella Lataa .txt.

Erikoistapaukset

• Emojijonot käyttävät nollanleveitä liittimiä tarkoituksella. Niiden poistaminen jakaa yhden emojin useaksi symboliksi.
• Sitomaton välilyönti on oikein joissakin tyylisäännöissä, kuten luvun ja sen yksikön välissä, sekä joissakin ranskan kielen välimerkeissä. Korvaa se vain silloin, kun tiedät sen olevan irrallinen.
• Kun teksti on puhdistettu, vertaa sitä alkuperäiseen nähdäksesi tarkalleen, mitä muuttui.

Pikavastaukset

Ovatko näkymättömät merkit merkki siitä, että tekoäly kirjoitti tekstin?

Eivät. Ne tulevat verkkosivuilta, tekstinkäsittelyohjelmista, chat-sovelluksista ja yleisesti kopioinnista. Niiden esiintyminen ei kerro, kuka tai mikä tekstin kirjoitti.

Korjaako kaikkien ei-ASCII-merkkien poistaminen ongelman?

Ei. Se poistaisi myös tarkkeet, lainausmerkit ja muiden kielten kirjaimet. Poista sen sijaan juuri ne näkymättömät koodipisteet.

Miten tiedän, onko merkkijonossa näkymättömiä merkkejä?

Vertaa merkkijonon pituutta näkemiesi merkkien määrään tai liitä se työkaluun, joka listaa koodipisteet. Jos luvut eroavat, jokin näkymätön on mukana.