Cum ștergi rândurile duplicate și sortezi corect o listă

Pentru a șterge rândurile duplicate, elimini fiecare rând care se repetă după unul anterior, dar mai întâi decizi dacă „același" înseamnă exact identic sau identic după curățare. Ștergerea exactă este sigură, dar ratează cele mai multe duplicate reale. Eliminarea spațiilor de la început și de la sfârșit și ignorarea majusculelor prinde mult mai multe și este ce au nevoie, de cele mai multe ori, cei care lucrează cu liste de e-mailuri, cuvinte cheie sau coduri de produs.

Elimină rândurile duplicateLista are duplicateÎncearcă gratuit

Un exemplu pas cu pas

Iată o listă cu șase adrese de e-mail copiate dintr-un tabel:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Se întâmplă trei lucruri. Primul și ultimul rând sunt copii exacte. Al doilea diferă doar prin litera mare la A. Al treilea are un spațiu la sfârșit, pe care nu-l vezi. Iată câte rânduri rămân pentru fiecare regulă:

Regulă	Rânduri rămase	Motiv
Șterge duplicatele exacte	5	Doar ultimul rând „anna" se potrivește exact cu primul
Elimină spațiile și ignoră majusculele	3	anna, ben și cara sunt singurele adrese unice

În practică, adresele de e-mail nu țin cont aproape niciodată de majuscule, așa că a doua regulă este cea potrivită aici. Folosește mai întâi extrage e-mailuri și linkuri dacă lista vine dintr-o pagină încurcată, ca la pasul duplicatelor să ajungă doar adrese reale.

Aproape-duplicate la care trebuie să fii atent

Aproape-duplicatele sunt rânduri care arată diferit pentru calculator, dar înseamnă același lucru pentru tine. Cauzele obișnuite sunt:

• Litere mari și mici: „Blue Widget" și „blue widget".
• Spații de la început sau de la sfârșit, adesea invizibile într-un editor.
• Spații fără întrerupere sau alte caractere ascunse, care arată ca spațiile obișnuite (caractere ascunse le explică).
• Punctuație diferită: „e-mail" și „email".
• Forme de plural, care necesită o decizie umană și nu ar trebui unite de un instrument.

Curăță lista în această ordine: elimină spațiile, apoi ignoră majusculele acolo unde nu contează, apoi șterge duplicatele. Păstrează o copie a originalului și compară cele două liste ca să verifici ce s-a șters.

Majusculele pot conta

Ignorarea majusculelor nu este întotdeauna sigură. Codurile de produs, numele de fișiere de pe Linux și unii identificatori fac diferența între litere mari și mici, deci „AB-101" și „ab-101" pot fi două articole diferite. Înainte să unești articole care diferă doar prin majuscule, verifică dacă sistemul în care introduci lista le tratează ca fiind același lucru.

Sortare alfabetică versus sortare naturală

Sortarea unei liste cu elemente care conțin cifre dă adesea o ordine neașteptată. Sortarea alfabetică simplă compară caracterele unul câte unul, deci „item10" vine înaintea lui „item2", pentru că cifra 1 vine înaintea lui 2.

Iată diferența pentru trei elemente:

• Alfabetic: item1, item10, item2
• Natural: item1, item2, item10

Sortarea naturală compară numerele ca numere, deci 2 vine înaintea lui 10. De ce 10 se sortează înaintea lui 2 este explicat mai pe larg. Folosește sortarea naturală pentru nume de fișiere, coduri de raft, numere de versiune și orice se termină într-o cifră. Folosește sortarea alfabetică simplă pentru nume și cuvinte, unde așteptările oamenilor sunt acestea. Ca să compari ambele ordini pe lista ta, lipește-o în sortare rânduri și schimbă între A→Z și Numere.

Încă două lucruri ajută:

• Sortarea nu șterge duplicatele. Șterge-le mai întâi, apoi sortează, altfel sortarea le va pune unul lângă altul, ceea ce le face mai ușor de văzut, dar nu le elimină.
• Păstrează ordinea originală dacă lista are o semnificație. O listă de pași sau un clasament nu ar trebui sortat deloc.

Păstrarea primei apariții

Când ștergi duplicatele, cele mai multe instrumente păstrează prima apariție a fiecărui rând și le elimină pe cele ulterioare. Acest lucru contează când rândurile conțin informații suplimentare, cum ar fi un nume și o dată. Dacă prima copie este cea învechită, sortează mai întâi lista după dată sau verifică duplicatele manual înainte să le ștergi.

Verifică rezultatul

Numără rândurile înainte și după. În exemplul cu e-mailuri, șase rânduri au devenit trei adrese unice, deci au fost șterse trei rânduri. Dacă numărul este mai mic decât te așteptai, uită-te la rândurile șterse. Ștergerea duplicatelor compară rândul întreg, deci două persoane diferite cu același nume dintr-o listă de rânduri sau două produse cu același titlu, dar coduri diferite, pot arăta identic după ce codurile sunt tăiate. Șterge duplicatele din câmpul care definește un element, nu dintr-un câmp care doar îl descrie.

Cum o faci cu fixmint

1. Lipește lista în Lista ta, câte un element pe rând.
2. Lasă bifată opțiunea Elimină spațiile, care este implicită, și bifează Ignoră majusculele doar acolo unde literele mari nu înseamnă nimic.
3. Bifează Elimină rândurile goale ca să ștergi și rândurile fără text.
4. Alege o ordine: Păstrează ordinea, A→Z sau Numere.
5. Copiază rezultatul sau folosește Descarcă .txt.

Cazuri speciale

• Rânduri goale. Mai multe rânduri goale consecutive pot fi considerate duplicate. Șterge-le ca pas separat dacă vrei să păstrezi unul pentru spațiere.
• Înregistrări pe mai multe rânduri. Ștergerea duplicatelor funcționează rând cu rând. Dacă fiecare înregistrare se întinde pe mai multe rânduri, poate despărți o înregistrare și lăsa părțile într-o ordine greșită.
• Liste foarte mari. Fișierele mari sunt în regulă, dar compară numărul de rânduri de la ieșire cu cel de la intrare, ca să știi ce s-a schimbat.

Răspunsuri rapide

Ștergerea rândurilor duplicate sortează și lista?

Nu neapărat. Multe instrumente păstrează ordinea originală, așa că sortează separat dacă ai nevoie de o ordine.

De ce item10 vine înaintea lui item2 când sortez?

Sortarea alfabetică simplă compară câte un caracter pe rând, iar cifra 1 vine înaintea lui 2. Folosește sortarea naturală, care compară numerele ca numere.

Ar trebui să ignor majusculele când șterg e-mailurile duplicate?

De obicei da, pentru că în practică adresele de e-mail nu fac diferența între litere mari și mici. Nu ignora majusculele la identificatori unde litera mare sau mică schimbă sensul.