Rimuovere le righe duplicate e ordinare un elenco nel modo giusto

Per rimuovere le righe duplicate, elimina ogni riga che ripete una riga precedente, ma prima decidi se "uguale" significa identico al carattere o identico dopo la pulizia. La rimozione esatta è sicura, però non trova la maggior parte dei duplicati reali. Eliminare gli spazi superflui e ignorare le maiuscole ne trova molti di più, ed è quello che serve davvero per elenchi di email, parole chiave o codici prodotto.

Rimuovi righe duplicateLa lista ha duplicatiUsalo gratis

Un esempio pratico

Ecco un elenco di sei indirizzi email copiati da un foglio di calcolo:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Succedono tre cose. La prima e l'ultima riga sono copie esatte. La seconda differisce solo per la A maiuscola. La terza ha uno spazio finale che non si vede. Ecco i conteggi con ciascuna regola:

Regola	Righe rimaste	Perché
Rimuovi duplicati esatti	5	Solo l'ultima riga "anna" corrisponde esattamente alla prima
Elimina spazi e ignora maiuscole	3	anna, ben e cara sono gli unici indirizzi unici

Nella pratica gli indirizzi email non distinguono le maiuscole, quindi qui serve la seconda regola. Se l'elenco arriva da una pagina disordinata, usa prima estrai email e link, così al passaggio dei duplicati arrivano solo indirizzi veri.

Quasi duplicati da tenere d'occhio

I quasi duplicati sono righe che per il computer sembrano diverse, ma per te significano la stessa cosa. Le cause più comuni sono:

• Lettere maiuscole: "Blue Widget" e "blue widget".
• Spazi iniziali o finali, spesso invisibili nell'editor.
• Spazi senza a capo o altri caratteri nascosti, che sembrano spazi normali (caratteri nascosti li spiega).
• Punteggiatura diversa: "e-mail" ed "email".
• Forme plurali, che richiedono una decisione umana e non dovrebbero essere unite da uno strumento.

Pulisci l'elenco in questo ordine: elimina gli spazi, poi ignora le maiuscole dove non hanno significato, infine rimuovi i duplicati. Conserva una copia dell'originale e confronta le due liste per verificare cosa è stato eliminato.

Le maiuscole a volte contano

Ignorare le maiuscole non è sempre sicuro. I codici prodotto, i nomi dei file su Linux e alcuni identificativi distinguono le maiuscole, quindi "AB-101" e "ab-101" potrebbero essere due articoli diversi. Prima di unire voci che differiscono solo per le maiuscole, controlla se il sistema in cui inserirai l'elenco le considera uguali.

Ordinamento alfabetico contro ordinamento naturale

Ordinare un elenco di voci che contengono numeri spesso produce un ordine inatteso. Un ordinamento alfabetico semplice confronta i caratteri uno alla volta, quindi "item10" viene prima di "item2", perché il carattere 1 precede il 2.

Ecco la differenza con tre voci:

• Alfabetico: item1, item10, item2
• Naturale: item1, item2, item10

L'ordinamento naturale confronta i numeri come numeri, quindi 2 viene prima di 10. Perché 10 viene prima di 2 è spiegato più in dettaglio. Usa l'ordinamento naturale per nomi di file, codici di scaffale, numeri di versione e tutto ciò che termina con un numero. Usa l'ordinamento alfabetico semplice per nomi e parole, dove è quello che ci si aspetta. Per confrontare entrambi gli ordini con il tuo elenco, incollalo in ordina righe e passa da A→Z a Numeri.

Altri due punti utili:

• Ordinare non elimina i duplicati. Rimuovili prima e poi ordina, altrimenti l'ordinamento metterà i duplicati uno accanto all'altro: così si vedono meglio, ma non vengono eliminati.
• Mantieni l'ordine originale se l'elenco ha un significato. Un elenco di passaggi o una classifica non andrebbero ordinati affatto.

Tenere la prima occorrenza

Quando rimuovi i duplicati, la maggior parte degli strumenti conserva la prima occorrenza di ogni riga ed elimina quelle successive. Questo conta quando le righe contengono informazioni aggiuntive, come un nome e una data. Se la prima copia è quella obsoleta, ordina prima l'elenco per data o controlla i duplicati a mano prima di eliminarli.

Verifica il risultato

Conta le righe prima e dopo. Nell'esempio delle email, sei righe sono diventate tre indirizzi unici, quindi ne sono state eliminate tre. Se il conteggio è più basso di quanto ti aspettavi, controlla le righe eliminate. La rimozione dei duplicati confronta l'intera riga: due persone diverse con lo stesso nome in un elenco di righe, o due prodotti con lo stesso titolo ma codici diversi, possono sembrare identici una volta tagliati i codici. Rimuovi i duplicati in base al campo che identifica una voce, non a un campo che la descrive soltanto.

Come farlo con fixmint

1. Incolla l'elenco in Il tuo elenco, una voce per riga.
2. Lascia spuntata Elimina spazi, che è l'impostazione predefinita, e spunta Ignora maiuscole solo dove le maiuscole non contano.
3. Spunta Elimina righe vuote per rimuovere anche le righe bianche.
4. Scegli un ordine: Mantieni ordine, A→Z o Numeri.
5. Copia il risultato oppure usa Scarica .txt.

Casi particolari

• Righe vuote. Più righe vuote di seguito possono essere considerate duplicati. Eliminale in un passaggio separato se vuoi conservarne una come spaziatura.
• Record su più righe. La rimozione dei duplicati lavora riga per riga. Se ogni record occupa più righe, può spezzarne uno e lasciare le parti nell'ordine sbagliato.
• Elenchi molto grandi. I file di grandi dimensioni vanno bene, ma confronta il numero di righe in uscita con quello in entrata per sapere cosa è cambiato.

Risposte rapide

Rimuovere le righe duplicate ordina anche l'elenco?

Non necessariamente. Molti strumenti mantengono l'ordine originale, quindi ordina a parte se ti serve un ordine preciso.

Perché item10 viene prima di item2 quando ordino?

L'ordinamento alfabetico semplice confronta un carattere alla volta, e il carattere 1 precede il 2. Usa l'ordinamento naturale, che confronta i numeri come numeri.

Devo ignorare le maiuscole quando rimuovo email duplicate?

Di solito sì, perché nella pratica gli indirizzi email non distinguono le maiuscole. Non ignorarle per identificativi in cui le maiuscole cambiano il significato.