Приховані символи в тексті: де вони ховаються і як їх прибрати

Приховані символи — це невидимі символи Unicode, як-от пробіли нульової ширини, нерозривні пробіли та мітки напрямку. Зовні вони схожі на звичайний пробіл або взагалі нічого не відображають, тож текст виглядає нормально, але пошук, код і перевірка форм сприймають його як інший текст. Їх знаходять, переглядаючи коди символів, а видаляють, стираючи або замінюючи саме ці символи.

Видалення невидимих символівНевидиме сміття в моєму текстіБезкоштовно

Звідки вони беруться

Більшість прихованих символів потрапляють у текст під час копіювання, а не набирання:

• Веб-сторінки. Сайти використовують нерозривні пробіли (U+00A0), щоб два слова не розривались на різні рядки, і пробіли нульової ширини (U+200B), щоб позначити місце, де довге слово можна перенести. Копіюючи уривок, ви копіюєте й ці символи.
• Текстові редактори. М’які переноси (U+00AD) вставляються для переносу слів за складами. Вони невидимі, доки рядок не розривається саме в цьому місці. Деякі редактори також автоматично вставляють нерозривні пробіли в певних місцях.
• Месенджери та електронна пошта. Повідомлення, скопійовані з чату або поштового клієнта, можуть містити з’єднувачі нульової ширини та мітки напрямку, особливо якщо текст змішує мови.
• Текст зі змішаним напрямком. Арабська, іврит і змішаний текст використовують мітки напрямку, як-от мітка зліва направо (U+200E), мітка справа наліво (U+200F) та символи вбудовування й перевизначення (U+202A до U+202E). Вони керують тим, як відображається рядок, а не тим, що в ньому написано.
• Мітки порядку байтів. Мітка порядку байтів (BOM, U+FEFF) на початку файлу є сигнатурою, яку записують деякі редактори. Вона невидима, але стає справжнім першим символом, коли файл читається як простий текст.
• Вікна ШІ-чатів. Текст, скопійований з деяких інтерфейсів ШІ-чатів, теж може містити ці символи. Імовірна причина — те, як текст був відображений і скопійований, тож не сприймайте їх як ознаку навмисності.

Чому вони спричиняють проблеми

Кожен прихований символ є справжнім кодом Unicode, тому він змінює текст, навіть якщо сторінка виглядає точно так само:

• Пошук не працює. Пробіл нульової ширини всередині слова ламає збіг, і пошук цього слова нічого не знаходить.
• Код ламається. Нерозривний пробіл у файлі з кодом у багатьох мовах є синтаксичною помилкою, а сама помилка часто вказує на рядок, який виглядає бездоганно. Про іншу поширену проблему з вставленням у коді читайте в посібнику про типографські лапки.
• Перевірка форм відхиляє введення. Адреса електронної пошти з пробілом нульової ширини після @ виглядає правильно, але не проходить перевірку.
• Підрахунок збивається. Кількість символів може враховувати або не враховувати ці знаки залежно від інструмента, тож один і той самий текст може мати два різні підсумки. Порахуйте текст до і після очищення за допомогою лічильника слів, щоб побачити різницю.

Ось простий приклад. Слово «рахунок» має вісім літер. Якщо всередині нього стоїть пробіл нульової ширини, це слово має дев’ять кодів символів, але на екрані воно виглядає так само. Пошук «рахунок» не знайде другу версію.

Як їх побачити

Розглядання тексту не допомагає, тому скористайтеся одним з таких способів:

1. Вставте текст в інструмент, який показує коди символів, наприклад видалення невидимих символів. Він повідомляє, що знайшов, перш ніж щось змінити.
2. У редакторі коду увімкніть налаштування, яке показує пробіли або спеціальні символи. Тоді нерозривні пробіли відображатимуться іншим знаком, ніж звичайні пробіли.
3. У мові програмування виведіть коди символів підозрілого рядка. Наприклад, у Python [hex(ord(c)) for c in text] показує кожен з них, тож нерозривний пробіл з’явиться як 0xa0, а пробіл нульової ширини як 0x200b.

Як їх видалити

Видалення має бути точковим. Якщо стерти кожен символ поза ASCII, зникнуть також наголоси, лапки та літери інших мов. Натомість:

• Замініть нерозривні пробіли звичайними пробілами, адже вони майже завжди мали бути пробілами.
• Видаліть пробіли нульової ширини, м’які переноси, мітки порядку байтів і випадкові мітки напрямку.
• Залиште літери з наголосами, типографські лапки та справжні розділові знаки.

Виправлення вставленого тексту створене для тексту, взятого з іншого місця, тож скористайтеся ним, якщо в копії також зламані переноси рядків або дивні пробіли.

Як це зробити у fixmint

1. Вставте текст у поле Ваш текст.
2. Перегляньте список знайденого. Кожен символ названо, наприклад ZWSP для пробілу нульової ширини, і позначено, що з ним буде зроблено.
3. Залиште увімкненим Зберігати з’єднувачі всередині емодзі, щоб послідовності емодзі й далі відображались як один символ.
4. Увімкніть Також перетворювати типографські лапки, en- і em-тире та … на звичайний ASCII лише для коду або даних, а потім скористайтеся Копіювати або Завантажити .txt.

Особливі випадки

• Послідовності емодзі навмисно використовують з’єднувачі нульової ширини. Їх видалення розбиває один емодзі на кілька символів.
• Нерозривний пробіл правильний у деяких видах типографіки, наприклад між числом і його одиницею, а також у деякій французькій пунктуації. Замінюйте його лише тоді, коли знаєте, що він випадковий.
• Після очищення тексту порівняйте його з оригіналом, щоб точно побачити, що змінилося.

Короткі відповіді

Чи є приховані символи ознакою того, що текст написав ШІ?

Ні. Вони походять з веб-сторінок, текстових редакторів, месенджерів і взагалі з копіювання та вставлення. Їхня наявність не показує, хто або що написав текст.

Чи вирішить проблему видалення всіх символів поза ASCII?

Ні. Це також прибере наголоси, лапки та літери інших мов. Видаліть конкретні невидимі коди символів.

Як дізнатися, чи є в рядку приховані символи?

Порівняйте його довжину з кількістю символів, які ви бачите, або вставте його в інструмент, що показує коди символів. Якщо кількість не збігається, всередині є щось невидиме.