Skjulte tegn i tekst: hvor de gemmer sig, og hvordan du fjerner dem

Skjulte tegn er usynlige Unicode-kodepunkter som nulbreddemellemrum, hårde mellemrum og retningsmarkører. De ligner et almindeligt mellemrum eller slet ingenting, så teksten ser fin ud, mens søgning, kode og formularvalidering behandler den som en anden tekst. Du finder dem ved at undersøge kodepunkterne, og du fjerner dem ved at slette eller erstatte netop de tegn.

Fjern skjulte tegnUsynligt skrammel i min tekstPrøv gratis

Hvor de kommer fra

De fleste skjulte tegn kommer med kopiering, ikke med skrivning:

• Websider. Sider bruger hårde mellemrum (U+00A0) for at forhindre, at to ord deles over to linjer, og nulbreddemellemrum (U+200B) for at markere, hvor et langt ord må brydes. Når du kopierer et afsnit, følger de med.
• Tekstbehandlere. Bløde bindestreger (U+00AD) indsættes ved orddeling. De er usynlige, medmindre en linje brydes ved dem. Nogle editorer indsætter desuden automatisk hårde mellemrum visse steder.
• Chatapps og e-mail. Beskeder kopieret fra chat eller et e-mailprogram kan indeholde nulbreddesammenføjere og retningsmarkører, især når teksten blander sprog.
• Tekst med blandet skriveretning. Arabisk, hebraisk og blandet tekst bruger retningsmarkører som venstre-mod-højre-markøren (U+200E), højre-mod-venstre-markøren (U+200F) og indlejrings- og overstyringstegnene (U+202A til U+202E). De styrer, hvordan linjen vises, ikke hvad den siger.
• Byte order marks. Et byte order mark (BOM, U+FEFF) forrest i en fil er en signatur, som nogle editorer skriver. Det er usynligt, men bliver et rigtigt første tegn, når filen læses som ren tekst.
• AI-chatvinduer. Tekst kopieret fra nogle AI-chatgrænseflader kan også indeholde disse tegn. Den sandsynlige årsag er, hvordan teksten blev vist og kopieret, så tag dem ikke som tegn på hensigt.

Hvorfor de skaber problemer

Hvert skjult tegn er et rigtigt kodepunkt, så det ændrer teksten, selv når siden ser helt identisk ud:

• Søgning fejler. Et nulbreddemellemrum midt i et ord bryder matchet, så en søgning efter ordet finder intet.
• Kode går i stykker. Et hårdt mellemrum i en kildefil er en syntaksfejl i mange sprog, og fejlen peger ofte på en linje, der ser helt perfekt ud. Guiden om buede anførselstegn dækker det andet almindelige indsætningsproblem i kode.
• Formularvalidering afviser input. En e-mailadresse med et nulbreddemellemrum efter @ ser gyldig ud, men består ikke kontrollen.
• Tællingen driver. Antal tegn inkluderer eller udelader disse tegn afhængigt af værktøjet, så den samme tekst kan få to forskellige totaler. Tæl teksten før og efter rensning med ordtælleren for at se forskellen.

Her er et lille eksempel. Ordet "faktura" har otte bogstaver. Med et nulbreddemellemrum inde i ordet er det samme ord ni kodepunkter langt, og det ser præcis ens ud på skærmen. En søgning efter "faktura" vil overse den anden version.

Sådan ser du dem

Det hjælper ikke at kigge på teksten, så brug en af disse metoder:

1. Indsæt teksten i et værktøj, der viser kodepunkterne, fx fjern skjulte tegn, som rapporterer, hvad det finder, før noget ændres.
2. I en kodeeditor slår du den indstilling til, der viser mellemrum eller specialtegn. Hårde mellemrum vises så med et andet tegn end almindelige mellemrum.
3. I et programmeringssprog kan du udskrive kodepunkterne for en mistænkelig streng. I Python lister [hex(ord(c)) for c in text] for eksempel hvert enkelt, så et hårdt mellemrum vises som 0xa0 og et nulbreddemellemrum som 0x200b.

Sådan fjerner du dem

Fjernelsen skal være præcis. Hvis du sletter alle tegn uden for ASCII, ødelægger du også accenter, anførselstegn og bogstaver fra andre sprog. Gør i stedet sådan:

• Erstat hårde mellemrum med almindelige mellemrum, for de er næsten altid ment som mellemrum.
• Slet nulbreddemellemrum, bløde bindestreger, byte order marks og løse retningsmarkører.
• Behold accenterede bogstaver, buede anførselstegn og rigtig tegnsætning.

Ret indsat tekst er lavet til tekst, der kommer fra et andet sted, så brug det, når kopien også har ødelagte linjeskift eller underlige mellemrum.

Sådan gør du det med fixmint

1. Indsæt teksten i Din tekst.
2. Læs listen over det, der blev fundet. Hvert tegn er navngivet, fx ZWSP for et nulbreddemellemrum, og markeret med, hvad der sker med det.
3. Lad Behold sammenføjere i emojis være afkrydset, så emoji-sekvenser stadig vises som ét symbol.
4. Sæt kun kryds ved Konverter også buede anførselstegn, en-/em-tankestreger og … til almindelig ASCII, hvis det er til kode eller data, og brug derefter Kopiér eller Download .txt.

Specialtilfælde

• Emoji-sekvenser bruger nulbreddesammenføjere med vilje. Fjerner du dem, deles én emoji op i flere symboler.
• Et hårdt mellemrum er korrekt i nogle typografier, fx mellem et tal og dets enhed og i noget fransk tegnsætning. Erstat det kun, hvor du ved, at det er et løst tegn.
• Når teksten er renset, kan du sammenligne den med originalen for at se præcis, hvad der er ændret.

Hurtige svar

Er skjulte tegn et tegn på, at en AI har skrevet teksten?

Nej. De kommer fra websider, tekstbehandlere, chatapps og kopiering generelt. Deres tilstedeværelse viser ikke, hvem eller hvad der har skrevet teksten.

Løser det problemet at fjerne alle tegn uden for ASCII?

Nej. Så fjerner du også accenter, anførselstegn og bogstaver fra andre sprog. Fjern i stedet de specifikke usynlige kodepunkter.

Hvordan kan jeg se, om en streng har skjulte tegn?

Sammenlign dens længde med antallet af tegn, du kan se, eller indsæt den i et værktøj, der viser kodepunkter. Hvis tallene ikke stemmer, er der noget usynligt inde i teksten.