Osynliga tecken i text: var de gömmer sig och hur du tar bort dem

Osynliga tecken är osynliga Unicode-kodpunkter, till exempel nollbreda mellanslag, hårda blanksteg och riktningsmarkeringar. De ser ut som ett vanligt mellanslag eller ingenting alls, så texten ser bra ut, men sökning, kod och formulärvalidering behandlar den som en annan text. Du hittar dem genom att granska kodpunkterna, och du tar bort dem genom att radera eller ersätta just de tecknen.

Ta bort osynliga teckenOsynligt skräp i min textGör det gratis

Var de kommer ifrån

De flesta osynliga tecken kommer med kopiering, inte med skrivning:

• Webbsidor. Sajter använder hårda blanksteg (U+00A0) för att hindra två ord från att brytas över en radslut, och nollbreda mellanslag (U+200B) för att markera var ett långt ord får brytas. Kopierar du ett stycke, kopieras de också.
• Ordbehandlare. Mjuka bindestreck (U+00AD) läggs in för avstavning. De syns inte om inte en rad bryts vid dem. Vissa redigerare lägger också in hårda blanksteg automatiskt på vissa ställen.
• Chattappar och e-post. Meddelanden som kopieras från chatt eller från ett e-postprogram kan innehålla nollbreda sammanfogare och riktningsmarkeringar, särskilt när texten blandar språk.
• Text med blandad riktning. Arabiska, hebreiska och blandad text använder riktningsmarkeringar som vänsterriktningsmarkering (U+200E), högerriktningsmarkering (U+200F) och inbäddnings- och åsidosättningstecken (U+202A till U+202E). De styr hur raden visas, inte vad den säger.
• Byte-ordningsmarkeringar. En byte-ordningsmarkering (BOM, U+FEFF) i början av en fil är en signatur som vissa redigerare skriver. Den är osynlig, men blir ett verkligt första tecken när filen läses som ren text.
• AI-chattfönster. Text som kopieras från vissa AI-chattgränssnitt kan också innehålla dessa tecken. Den troliga orsaken är hur texten visades och kopierades, så tolka dem inte som ett tecken på avsikt.

Varför de orsakar problem

Varje osynligt tecken är en riktig kodpunkt, så det ändrar texten även när sidan ser likadan ut:

• Sökningen misslyckas. Ett nollbreda mellanslag mitt i ett ord bryter träffen, så en sökning efter ordet hittar ingenting.
• Koden går sönder. Ett hårt blanksteg i en källkodsfil är ett syntaxfel i många språk, och felet pekar ofta på en rad som ser helt riktig ut. Guiden om typografiska citattecken tar upp det andra vanliga klistra-in-problemet i kod.
• Formulärvalideringen avvisar inmatningen. En e-postadress med ett nollbreda mellanslag efter @ ser giltig ut men klarar inte kontrollen.
• Teckenräkningen glider. Teckenantal inkluderar eller utesluter dessa tecken beroende på verktyg, så samma text kan få två olika summor. Räkna texten före och efter rensning med ordräknaren för att se skillnaden.

Här är ett litet exempel. Ordet ”invoice” har sju bokstäver. Med ett nollbreda mellanslag inuti blir samma ord åtta kodpunkter långt, och det ser exakt likadant ut på skärmen. En sökning efter ”invoice” missar den andra versionen.

Så ser du dem

Att titta på texten hjälper inte, så använd något av följande:

1. Klistra in texten i ett verktyg som listar kodpunkterna, till exempel Ta bort osynliga tecken. Det visar vad det hittar innan något ändras.
2. I en kodredigerare slår du på inställningen som visar blanksteg eller specialtecken. Hårda blanksteg visas då med en annan markering än vanliga mellanslag.
3. I ett programmeringsspråk skriver du ut kodpunkterna i en misstänkt sträng. I Python listar till exempel [hex(ord(c)) for c in text] varje tecken, så ett hårt blanksteg visas som 0xa0 och ett nollbreda mellanslag som 0x200b.

Så tar du bort dem

Borttagningen bör vara specifik. Om du tar bort alla icke-ASCII-tecken förstör du också accenter, citattecken och bokstäver från andra språk. Gör så här i stället:

• Ersätt hårda blanksteg med vanliga mellanslag, eftersom de nästan alltid är avsedda som mellanslag.
• Ta bort nollbreda mellanslag, mjuka bindestreck, byte-ordningsmarkeringar och lösa riktningsmarkeringar.
• Behåll accentbokstäver, typografiska citattecken och riktig interpunktion.

Rätta inklistrad text är gjord för text som kommit från någon annanstans, så använd den när kopian dessutom har trasiga radbrytningar eller konstigt mellanrum.

Så gör du med fixmint

1. Klistra in texten i Din text.
2. Läs listan över det som hittades. Varje tecken namnges, till exempel ZWSP för ett nollbreda mellanslag, och markeras med vad som ska hända med det.
3. Låt Behåll sammanfogare i emoji vara ikryssad, så att emoji-sekvenser fortfarande visas som en symbol.
4. Bocka i Konvertera även typografiska citattecken, en- och em-tankstreck och … till vanlig ASCII bara för kod eller data. Använd sedan Kopiera eller Ladda ner .txt.

Specialfall

• Emoji-sekvenser använder nollbreda sammanfogare med avsikt. Tar du bort dem delas en emoji upp i flera symboler.
• Ett hårt blanksteg är korrekt i viss typografi, till exempel mellan ett tal och dess enhet, och i en del fransk interpunktion. Ersätt det bara där du vet att det är ett felaktigt tecken.
• När texten är rensad kan du jämföra den med originalet för att se exakt vad som ändrades.

Snabba svar

Är osynliga tecken ett tecken på att en AI skrev texten?

Nej. De kommer från webbsidor, ordbehandlare, chattappar och kopiera-klistra in i allmänhet. Att de finns visar inte vem eller vad som skrev texten.

Löser det problemet att ta bort alla icke-ASCII-tecken?

Nej. Då tar du också bort accenter, citattecken och bokstäver från andra språk. Ta i stället bort just de osynliga kodpunkterna.

Hur ser jag om en sträng har osynliga tecken?

Jämför dess längd med antalet tecken du kan se, eller klistra in den i ett verktyg som listar kodpunkter. Om antalen skiljer sig finns något osynligt i texten.