Видалення дублікатів рядків і правильне сортування списків
Щоб видалити повторювані рядки, вилучіть кожен рядок, який повторює попередній. Спершу вирішіть, що означає «такий самий»: повністю ідентичний чи ідентичний після очищення. Видалення точних збігів безпечне, але пропускає більшість реальних дублікатів. Обрізання пробілів і ігнорування регістру знаходить значно більше, і саме це зазвичай потрібно для списків email-адрес, ключових слів чи артикулів.
Видалити дублікати рядківУ списку є дублікатиБезкоштовноПриклад
Ось список із шести email-адрес, скопійованих з таблиці:
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]Тут відбувається три речі. Перший і останній рядки є точними копіями. Другий рядок відрізняється лише великою літерою A. У третьому рядку є пробіл наприкінці, який не видно. Ось кількість рядків за кожним правилом:
| Правило | Залишилось рядків | Чому |
|---|---|---|
| Видалити точні дублікати | 5 | Лише останній рядок «anna» точно збігається з першим |
| Обрізати пробіли й ігнорувати регістр | 3 | Anna, ben і cara — єдині унікальні адреси |
На практиці email-адреси майже завжди не чутливі до регістру, тож для цього випадку потрібне друге правило. Якщо список узято з неохайної сторінки, спершу скористайтеся витягом email-адрес і посилань, щоб на крок видалення дублікатів потрапили лише справжні адреси.
Майже однакові рядки
Майже однакові рядки для комп’ютера виглядають по-різному, але для вас означають одне й те саме. Найпоширеніші причини:
- Великі й малі літери: «Blue Widget» і «blue widget».
- Пробіли на початку або в кінці рядка, які часто не видно в редакторі.
- Нерозривні пробіли та інші приховані символи, які схожі на звичайні пробіли (приховані символи пояснено окремо).
- Різна пунктуація: «e-mail» і «email».
- Форми множини, які потрібно вирішувати людині, і інструмент не має їх об’єднувати.
Очищуйте список у такому порядку: обріжте пробіли, потім ігноруйте регістр там, де він нічого не означає, і лише після цього видаляйте дублікати. Зберігайте копію оригіналу та порівняйте два списки, щоб перевірити, що саме було вилучено.
Регістр може мати значення
Ігнорувати регістр не завжди безпечно. Артикули, назви файлів у Linux і деякі ідентифікатори чутливі до регістру, тож «AB-101» і «ab-101» можуть бути двома різними позиціями. Перш ніж об’єднувати елементи, які відрізняються лише регістром, перевірте, чи система, куди ви імпортуєте список, вважає їх однаковими.
Алфавітне сортування проти природного
Сортування списку, де є числа, часто дає несподіваний порядок. Звичайне алфавітне сортування порівнює символи по одному, тож «item10» стоїть перед «item2», бо символ 1 іде раніше за 2.
Ось різниця для трьох елементів:
- Алфавітне: item1, item10, item2
- Природне: item1, item2, item10
Природне сортування порівнює числа як числа, тож 2 стоїть перед 10. Докладніше про те, чому 10 стоїть перед 2. Природне сортування добре для назв файлів, кодів полиць, номерів версій і всього, що закінчується на номер. Звичайне алфавітне сортування — для імен і слів, де людина очікує саме його. Щоб порівняти обидва порядки на власному списку, вставте його в сортування рядків і перемикайте між А→Я і Числа.
Ще два корисні моменти:
- Сортування не видаляє дублікати. Спершу видаліть їх, а потім сортуйте. Інакше сортування лише поставить дублікати поруч, і їх стане легше побачити, але вони не зникнуть.
- Зберігайте початковий порядок, якщо він має значення. Список кроків або рейтинг взагалі не варто сортувати.
Збереження першої появи
Під час видалення дублікатів більшість інструментів залишає першу появу кожного рядка, а пізніші відкидає. Це важливо, коли рядки містять додаткову інформацію, наприклад ім’я та дату. Якщо перша копія застаріла, спершу відсортуйте список за датою або перевірте дублікати вручну, і лише потім видаляйте їх.
Перевірте результат
Порахуйте рядки до і після обробки. У прикладі з email шість рядків стали трьома унікальними адресами, тож вилучено три рядки. Якщо кількість менша, ніж ви очікували, перегляньте видалені рядки. Видалення дублікатів порівнює весь рядок, тому два різні люди з однаковим іменем у таблиці або два товари з однаковою назвою, але різними артикулами, можуть виглядати ідентично, якщо артикули не враховуються. Видаляйте дублікати за полем, яке визначає елемент, а не за полем, що лише його описує.
Як це зробити у fixmint
- Вставте список у поле Ваш список, по одному елементу в рядку.
- Залиште позначеною опцію Обрізати пробіли (вона увімкнена за замовчуванням) і позначте Ігнорувати регістр лише там, де великі літери нічого не означають.
- Позначте Видаляти порожні рядки, щоб прибрати й порожні рядки.
- Виберіть порядок: Зберегти порядок, А→Я або Числа.
- Скопіюйте результат або скористайтеся Завантажити .txt.
Особливі випадки
- Порожні рядки. Кілька порожніх рядків поспіль можуть вважатися дублікатами. Якщо хочете залишити один для відступу, приберіть їх окремим кроком.
- Багаторядкові записи. Видалення дублікатів працює рядок за рядком. Якщо кожен запис займає кілька рядків, інструмент може розірвати запис і залишити частини в неправильному порядку.
- Дуже великі списки. Великі файли обробляються, але порівняйте кількість рядків на виході з кількістю на вході, щоб знати, що саме змінилося.
Швидкі відповіді
Чи сортує список видалення дублікатів рядків?
Не обов’язково. Багато інструментів зберігають початковий порядок, тож сортуйте окремо, якщо потрібен певний порядок.
Чому під час сортування item10 стоїть перед item2?
Звичайне алфавітне сортування порівнює по одному символу, а символ 1 іде раніше за 2. Скористайтеся природним сортуванням, яке порівнює числа як числа.
Чи варто ігнорувати регістр під час видалення дублікатів email?
Зазвичай так, адже на практиці email-адреси вважаються такими, що не чутливі до регістру. Не ігноруйте регістр для ідентифікаторів, де він змінює значення.
Переклад з Англійський оригінал за допомогою ШІ.
Коментарі
Коментарів поки немає. Будьте першим.
