Verborgen tekens in tekst: waar ze zitten en hoe je ze verwijdert

Verborgen tekens zijn onzichtbare Unicode-codepunten, zoals nulbreedtespaties, onverbrekende spaties en richtingstekens. Ze lijken op een gewone spatie of op niets, dus de tekst ziet er goed uit, maar zoeken, code en formuliervalidatie behandelen hem als andere tekst. Je vindt ze door de codepunten te inspecteren, en je verwijdert ze door juist die specifieke tekens te wissen of te vervangen.

Verborgen tekens verwijderenOnzichtbare rommel in mijn tekstGratis doen

Waar ze vandaan komen

De meeste verborgen tekens komen binnen door te kopiëren, niet door te typen:

• Webpagina's. Sites gebruiken onverbrekende spaties (U+00A0) om te voorkomen dat twee woorden over een regel worden gesplitst, en nulbreedtespaties (U+200B) om aan te geven waar een lang woord mag breken. Als je een stuk tekst kopieert, komen die ook mee.
• Tekstverwerkers. Zachte koppeltekens (U+00AD) worden ingevoegd voor afbreking. Ze zijn onzichtbaar, tenzij een regel daar breekt. Sommige editors voegen op bepaalde plekken ook automatisch onverbrekende spaties in.
• Chatapps en e-mail. Berichten die je uit een chat of e-mailprogramma kopieert, kunnen nulbreedte-verbindingstekens en richtingstekens bevatten, vooral als de tekst meerdere talen mengt.
• Tekst met gemengde richting. Arabisch, Hebreeuws en gemengde tekst gebruiken richtingstekens zoals het links-naar-rechts-teken (U+200E), het rechts-naar-links-teken (U+200F) en de inbeddings- en overschrijftekens (U+202A tot en met U+202E). Ze bepalen hoe de regel wordt weergegeven, niet wat er staat.
• Byte order marks. Een byte order mark (BOM, U+FEFF) aan het begin van een bestand is een signatuur die sommige editors schrijven. Hij is onzichtbaar, maar wordt een echt eerste teken wanneer het bestand als platte tekst wordt gelezen.
• AI-chatvensters. Tekst die je uit sommige AI-chatinterfaces kopieert, kan deze tekens ook bevatten. De waarschijnlijke oorzaak is hoe de tekst is weergegeven en gekopieerd, dus lees ze niet als een teken van bedoeling.

Waarom ze problemen veroorzaken

Elk verborgen teken is een echt codepunt, dus het verandert de tekst, ook als de pagina er identiek uitziet:

• Zoeken mislukt. Een nulbreedtespatie binnen een woord breekt de match, dus een zoekopdracht naar dat woord vindt niets.
• Code breekt. Een onverbrekende spatie in een broncodebestand is in veel talen een syntaxfout, en de fout wijst vaak naar een regel die er perfect uitziet. De gids over krullende aanhalingstekens behandelt het andere veelvoorkomende plakprobleem in code.
• Formuliervalidatie wijst invoer af. Een e-mailadres met een nulbreedtespatie na de @ ziet er geldig uit, maar faalt de controle.
• Tellingen wijken af. Tekentellingen tellen deze tekens mee of niet, afhankelijk van het hulpmiddel, dus dezelfde tekst kan twee verschillende totalen opleveren. Tel de tekst vóór en na het opschonen met de woordenteller om het verschil te zien.

Hier is een klein voorbeeld. Het woord "invoice" heeft zeven letters. Met een nulbreedtespatie erin is hetzelfde woord acht codepunten lang, en het ziet er op het scherm precies hetzelfde uit. Een zoekopdracht naar "invoice" mist de tweede versie.

Zo zie je ze

Naar de tekst kijken helpt niet, dus gebruik een van deze methoden:

1. Plak de tekst in een hulpmiddel dat de codepunten weergeeft, zoals verborgen tekens verwijderen. Dat laat zien wat het vindt voordat er iets wordt veranderd.
2. Zet in een codeeditor de instelling aan die witruimte of speciale tekens toont. Onverbrekende spaties verschijnen dan als een ander teken dan gewone spaties.
3. Print in een programmeertaal de codepunten van een verdachte string. In Python bijvoorbeeld laat [hex(ord(c)) for c in text] elk teken zien, zodat een onverbrekende spatie als 0xa0 verschijnt en een nulbreedtespatie als 0x200b.

Zo verwijder je ze

Verwijderen moet gericht gebeuren. Alle niet-ASCII-tekens wissen zou ook accenten, aanhalingstekens en letters uit andere talen vernietigen. Doe dit in plaats daarvan:

• Vervang onverbrekende spaties door gewone spaties, want die zijn bijna altijd bedoeld als spaties.
• Verwijder nulbreedtespaties, zachte koppeltekens, byte order marks en losse richtingstekens.
• Behoud geaccentueerde letters, krullende aanhalingstekens en echte leestekens.

Geplakte tekst repareren is bedoeld voor tekst die ergens anders vandaan komt, dus gebruik dat hulpmiddel als de kopie ook kapotte regeleindes of rare spatiëring heeft.

Zo doe je het met fixmint

1. Plak de tekst in Your text.
2. Lees de lijst met wat er is gevonden. Elk teken wordt benoemd, zoals ZWSP voor een nulbreedtespatie, en er staat bij wat ermee gebeurt.
3. Laat Keep joiners inside emoji aangevinkt, zodat emojireeksen nog steeds als één symbool worden weergegeven.
4. Vink Also convert curly quotes, en/em dashes and … to plain ASCII alleen aan voor code of data, en gebruik daarna Copy of Download .txt.

Randgevallen

• Emojireeksen gebruiken nulbreedte-verbindingstekens met opzet. Als je ze verwijdert, splits je één emoji in meerdere symbolen.
• Een onverbrekende spatie is in sommige typografie correct, zoals tussen een getal en de eenheid, en in sommige Franse leestekens. Vervang haar alleen als je zeker weet dat ze een ongewenste spatie is.
• Vergelijk de opgeschoonde tekst daarna met het origineel via teksten vergelijken om precies te zien wat er is veranderd.

Snelle antwoorden

Zijn verborgen tekens een teken dat een AI de tekst heeft geschreven?

Nee. Ze komen van webpagina's, tekstverwerkers, chatapps en kopiëren en plakken in het algemeen. Hun aanwezigheid laat niet zien wie of wat de tekst heeft geschreven.

Lost het verwijderen van alle niet-ASCII-tekens het probleem op?

Nee. Dan verdwijnen ook accenten, aanhalingstekens en letters uit andere talen. Verwijder in plaats daarvan de specifieke onzichtbare codepunten.

Hoe zie ik of een string verborgen tekens bevat?

Vergelijk de lengte met het aantal tekens dat je kunt zien, of plak de tekst in een hulpmiddel dat codepunten weergeeft. Als de aantallen verschillen, zit er iets onzichtbaars in.