Usuwanie duplikatów linii i sortowanie listy krok po kroku

Aby usunąć zduplikowane linie, usuń każdą linię, która powtarza wcześniejszą, ale najpierw zdecyduj, czy „taka sama” oznacza dokładnie identyczną, czy identyczną po oczyszczeniu. Usuwanie dokładnych duplikatów jest bezpieczne, ale przeoczy większość prawdziwych powtórzeń. Usunięcie zbędnych spacji i ignorowanie wielkości liter wychwytuje znacznie więcej, a właśnie tego zwykle potrzebujesz przy listach e-maili, słów kluczowych czy kodów produktów.

Usuwanie zduplikowanych liniiLista ma duplikatyZrób to za darmo

Przykład krok po kroku

Oto lista sześciu adresów e-mail skopiowanych z arkusza kalkulacyjnego:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Dzieje się tu trzy rzeczy. Pierwsza i ostatnia linia to dokładne kopie. Druga linia różni się tylko wielką literą A. Trzecia linia ma spację na końcu, której nie widać. Oto liczby wyników przy każdej regule:

Reguła	Pozostałe linie	Dlaczego
Usuń dokładne duplikaty	5	Tylko ostatnia linia „anna” dokładnie pasuje do pierwszej
Usuń spacje i ignoruj wielkość liter	3	anna, ben i cara to jedyne unikalne adresy

Adresy e-mail w praktyce prawie zawsze traktuje się bez rozróżniania wielkości liter, więc w tym przypadku potrzebna jest druga reguła. Jeśli lista pochodzi z zabałaganionej strony, najpierw użyj wyodrębnij e-maile i linki, aby do kroku usuwania duplikatów trafiły tylko prawdziwe adresy.

Prawie duplikaty, na które warto uważać

Prawie duplikaty to linie, które dla komputera wyglądają inaczej, a dla człowieka oznaczają to samo. Typowe przyczyny:

• Wielkie litery: „Niebieski Widżet” i „niebieski widżet”.
• Spacje na początku lub na końcu, często niewidoczne w edytorze.
• Spacje twarde i inne ukryte znaki, które wyglądają jak zwykłe spacje (ukryte znaki wyjaśniamy osobno).
• Różna interpunkcja: „e-mail” i „email”.
• Formy liczby mnogiej, które wymagają decyzji człowieka i nie powinny być scalane przez narzędzie.

Oczyść listę w tej kolejności: najpierw usuń spacje, potem ignoruj wielkość liter tam, gdzie nie ma ona znaczenia, a na końcu usuń duplikaty. Zachowaj kopię oryginału i porównaj obie listy, aby sprawdzić, co zostało usunięte.

Wielkość liter może mieć znaczenie

Ignorowanie wielkości liter nie zawsze jest bezpieczne. Kody produktów, nazwy plików w systemie Linux i niektóre identyfikatory rozróżniają wielkość liter, więc „AB-101” i „ab-101” mogą być dwoma różnymi pozycjami. Zanim scalisz pozycje różniące się tylko wielkością liter, sprawdź, czy system, do którego wgrywasz listę, traktuje je jako takie same.

Sortowanie alfabetyczne a sortowanie naturalne

Sortowanie listy elementów zawierających liczby często daje nieoczekiwaną kolejność. Zwykłe sortowanie alfabetyczne porównuje znaki po kolei, więc „item10” trafia przed „item2”, bo znak 1 jest przed 2.

Oto różnica dla trzech elementów:

• Alfabetycznie: item1, item10, item2
• Naturalnie: item1, item2, item10

Sortowanie naturalne porównuje liczby jako liczby, więc 2 idzie przed 10. Dlaczego 10 jest przed 2 – wyjaśniamy to szerzej. Sortowania naturalnego używaj przy nazwach plików, kodach regałów, numerach wersji i wszystkim, co kończy się liczbą. Zwykłe sortowanie alfabetyczne stosuj przy nazwiskach i słowach, gdzie właśnie tego ludzie oczekują. Aby porównać oba porządki na własnej liście, wklej ją do sortowania wierszy i przełączaj między A→Z a Liczby.

Są jeszcze dwie wskazówki:

• Sortowanie nie usuwa duplikatów. Najpierw je usuń, a potem sortuj, bo inaczej sortowanie ustawi duplikaty obok siebie. Dzięki temu łatwiej je zauważyć, ale nie znikną.
• Zachowaj oryginalną kolejność, jeśli lista ma znaczenie. Listy kroków czy rankingi w ogóle nie powinny być sortowane.

Zachowanie pierwszego wystąpienia

Usuwając duplikaty, większość narzędzi zostawia pierwsze wystąpienie każdej linii i usuwa późniejsze. Ma to znaczenie, gdy linie zawierają dodatkowe informacje, na przykład imię i datę. Jeśli pierwsza kopia jest nieaktualna, posortuj listę według daty albo sprawdź duplikaty ręcznie, zanim je usuniesz.

Sprawdź wynik

Policz linie przed i po. W przykładzie z e-mailami sześć linii zamieniło się w trzy unikalne adresy, czyli usunięto trzy linie. Jeśli wynik jest mniejszy, niż się spodziewasz, przejrzyj usunięte linie. Usuwanie duplikatów dopasowuje całą linię, więc dwie różne osoby o tym samym imieniu na liście wierszy albo dwa produkty o tym samym tytule, ale różnych kodach, mogą wyglądać identycznie po obcięciu kodów. Usuwaj duplikaty na podstawie pola, które określa element, a nie pola, które go tylko opisuje.

Jak to zrobić w fixmint

1. Wklej listę do pola Twoja lista, jeden element w jednej linii.
2. Zostaw zaznaczone Usuń spacje (ustawienie domyślne) i zaznacz Ignoruj wielkość liter tylko tam, gdzie wielkie litery nic nie znaczą.
3. Zaznacz Usuń puste linie, aby usunąć także puste wiersze.
4. Wybierz kolejność: Zachowaj kolejność, A→Z lub Liczby.
5. Skopiuj wynik albo użyj Pobierz .txt.

Przypadki szczególne

• Puste linie. Kilka pustych linii pod rząd może zostać uznanych za duplikaty. Jeśli chcesz zostawić jedną dla odstępu, usuń je w osobnym kroku.
• Rekordy wieloliniowe. Usuwanie duplikatów działa linia po linii. Jeśli każdy rekord zajmuje kilka linii, może rozbić rekord i zostawić jego części w złej kolejności.
• Bardzo duże listy. Duże pliki nie stanowią problemu, ale porównaj liczbę wierszy na wyjściu z liczbą na wejściu, aby wiedzieć, co się zmieniło.

Szybkie odpowiedzi

Czy usunięcie zduplikowanych linii sortuje też listę?

Niekoniecznie. Wiele narzędzi zachowuje oryginalną kolejność, więc jeśli potrzebujesz konkretnego porządku, posortuj listę osobno.

Dlaczego przy sortowaniu item10 jest przed item2?

Zwykłe sortowanie alfabetyczne porównuje po jednym znaku, a znak 1 jest przed 2. Użyj sortowania naturalnego, które porównuje liczby jako liczby.

Czy przy usuwaniu duplikatów e-maili ignorować wielkość liter?

Zazwyczaj tak, ponieważ adresy e-mail w praktyce traktuje się bez rozróżniania wielkości liter. Nie ignoruj wielkości liter przy identyfikatorach, w których zmienia ona znaczenie.