Skjulte tegn i tekst: hvor de gjemmer seg og hvordan du fjerner dem

Skjulte tegn er usynlige Unicode-kodepunkter, som nullbreddemellomrom, hardt mellomrom og retningsmarkører. De ser ut som et vanlig mellomrom eller ingenting i det hele tatt, så teksten virker riktig, men søk, kode og skjemavalidering behandler den som en annen tekst. Du finner dem ved å undersøke kodepunktene, og du fjerner dem ved å slette eller erstatte akkurat de tegnene.

Fjern skjulte tegnUsynlig rot i teksten minGjør det gratis

Hvor de kommer fra

De fleste skjulte tegn kommer med kopiering, ikke med skriving:

• Nettsider. Nettsteder bruker hardt mellomrom (U+00A0) for å hindre at to ord deles over linjer, og nullbreddemellomrom (U+200B) for å markere hvor et langt ord kan brytes. Når du kopierer et avsnitt, kopierer du dem også.
• Tekstbehandlere. Myke bindestreker (U+00AD) settes inn ved orddeling. De er usynlige, med mindre en linje brytes på dem. Noen redigeringsverktøy setter også inn hardt mellomrom automatisk visse steder.
• Chatteapper og e-post. Meldinger kopiert fra chat eller e-postprogram kan inneholde sammenføyningstegn og retningsmarkører, særlig når teksten blander språk.
• Tekst med ulik skriveretning. Arabisk, hebraisk og blandet tekst bruker retningsmarkører, som venstre-til-høyre-markør (U+200E), høyre-til-venstre-markør (U+200F) og innbygging- og overstyringstegnene (U+202A til U+202E). De styrer hvordan linjen vises, ikke hva den sier.
• Byte order mark. Et byte order mark (BOM, U+FEFF) helt i starten av en fil er en signatur som noen redigeringsverktøy skriver. Det er usynlig, men blir et ekte første tegn når filen leses som ren tekst.
• KI-chatvinduer. Tekst kopiert fra noen KI-chattegrensesnitt kan også inneholde disse tegnene. Den sannsynlige årsaken er hvordan teksten ble vist og kopiert, så ikke tolk dem som et tegn på hensikt.

Hvorfor de skaper problemer

Hvert skjulte tegn er et ekte kodepunkt, så det endrer teksten selv når siden ser helt lik ut:

• Søk slår feil. Et nullbreddemellomrom inne i et ord gjør at treffet ikke stemmer, så et søk etter ordet finner ingenting.
• Kode slutter å fungere. Et hardt mellomrom i en kildefil er en syntaksfeil i mange programmeringsspråk, og feilen peker ofte på en linje som ser helt riktig ut. Guiden om typografiske anførselstegn tar for seg det andre vanlige limingsproblemet i kode.
• Skjemavalidering avviser input. En e-postadresse med et nullbreddemellomrom etter @ ser gyldig ut, men feiler kontrollen.
• Tellingen blir forskjellig. Tegntellinger inkluderer eller utelater disse tegnene avhengig av verktøyet, så samme tekst kan få to ulike summer. Tell teksten før og etter rensing med ordtelleren for å se forskjellen.

Her er et lite eksempel. Ordet «faktura» har sju bokstaver. Med et nullbreddemellomrom inne i seg er det samme ordet åtte kodepunkter langt, og det ser akkurat likt ut på skjermen. Et søk etter «faktura» vil overse den andre versjonen.

Slik ser du dem

Å se på teksten hjelper ikke, så bruk en av disse metodene:

1. Lim teksten inn i et verktøy som lister kodepunktene, for eksempel fjern skjulte tegn. Der får du se hva som finnes, før noe endres.
2. I et koderedigeringsprogram slår du på innstillingen som viser mellomrom eller spesialtegn. Harde mellomrom vises da som et annet tegn enn vanlige mellomrom.
3. I et programmeringsspråk kan du skrive ut kodepunktene i en mistenkelig streng. I Python, for eksempel, lister [hex(ord(c)) for c in text] hvert enkelt tegn, slik at et hardt mellomrom vises som 0xa0 og et nullbreddemellomrom som 0x200b.

Slik fjerner du dem

Fjerningen bør være presis. Hvis du sletter alle tegn utenfor ASCII, forsvinner også aksenter, anførselstegn og bokstaver fra andre språk. I stedet bør du:

• Erstatte harde mellomrom med vanlige mellomrom, siden de nesten alltid er ment som mellomrom.
• Slette nullbreddemellomrom, myke bindestreker, BOM-tegn og løse retningsmarkører.
• Beholde aksenterte bokstaver, typografiske anførselstegn og ekte tegnsetting.

Fiks limt tekst er laget for tekst som kommer fra et annet sted, så bruk den når kopien også har ødelagte linjeskift eller rare mellomrom.

Slik gjør du det med fixmint

1. Lim teksten inn i feltet Teksten din.
2. Les listen over det som ble funnet. Hvert tegn er navngitt, for eksempel ZWSP for et nullbreddemellomrom, og merket med hva som skjer med det.
3. Behold haken i Behold sammenføyere inne i emoji, slik at emojisekvenser fortsatt vises som ett symbol.
4. Huk av for Konverter også typografiske anførselstegn, en- og em-tankestreker og … til vanlig ASCII bare for kode eller data, og bruk deretter Kopier eller Last ned .txt.

Spesialtilfeller

• Emojisekvenser bruker sammenføyningstegn med vilje. Fjerner du dem, splittes én emoji i flere symboler.
• Et hardt mellomrom er riktig i enkelte typografiske sammenhenger, for eksempel mellom et tall og enheten, og i noen fransk tegnsetting. Erstatt det bare når du vet at det er et løst tegn.
• Når teksten er renset, kan du sammenligne den med originalen for å se nøyaktig hva som er endret.

Raske svar

Er skjulte tegn et tegn på at en KI har skrevet teksten?

Nei. De kommer fra nettsider, tekstbehandlere, chatteapper og kopiering generelt. At de finnes, viser ikke hvem eller hva som skrev teksten.

Løser det problemet å fjerne alle tegn utenfor ASCII?

Nei. Da fjerner du også aksenter, anførselstegn og bokstaver fra andre språk. Fjern i stedet de spesifikke usynlige kodepunktene.

Hvordan kan jeg se om en streng har skjulte tegn?

Sammenlign lengden med antallet tegn du kan se, eller lim den inn i et verktøy som lister kodepunkter. Hvis tellingene ikke stemmer, er det noe usynlig inni.