Supprimer les lignes en double et trier une liste comme il faut

Pour supprimer les lignes en double, retirez chaque ligne qui en répète une précédente, mais décidez d'abord si « identique » signifie strictement identique ou identique après nettoyage. La suppression stricte est sûre, mais elle laisse passer la plupart des vrais doublons. Retirer les espaces superflus et ignorer la casse en détecte bien davantage, et c'est ce dont on a vraiment besoin pour des listes d'emails, de mots-clés ou de références produits.

Supprimer les lignes en doubleLa liste contient des doublonsEssayer gratuitement

Un exemple pas à pas

Voici une liste de six adresses email copiées depuis un tableur :

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Trois choses se passent ici. La première et la dernière lignes sont des copies exactes. La deuxième ne diffère que par le A majuscule. La troisième se termine par un espace invisible. Voici le nombre de lignes restantes selon chaque règle :

Règle	Lignes restantes	Pourquoi
Supprimer les doublons exacts	5	Seule la dernière ligne « anna » correspond exactement à la première
Retirer les espaces et ignorer la casse	3	anna, ben et cara sont les seules adresses uniques

En pratique, les adresses email ne tiennent presque jamais compte de la casse. La deuxième règle est donc la bonne ici. Si la liste provient d'une page mal structurée, commencez par extraire emails et liens pour que seules de vraies adresses arrivent à l'étape des doublons.

Les quasi-doublons à surveiller

Les quasi-doublons sont des lignes qu'un ordinateur considère comme différentes, alors qu'elles désignent la même chose pour vous. Les causes les plus courantes sont :

• les majuscules : « Blue Widget » et « blue widget » ;
• les espaces en début ou en fin de ligne, souvent invisibles dans un éditeur ;
• les espaces insécables ou autres caractères cachés, qui ressemblent à des espaces ordinaires (les caractères cachés dans un texte les expliquent) ;
• une ponctuation différente : « e-mail » et « email » ;
• les formes au pluriel, qui demandent une décision humaine et ne doivent pas être fusionnées par un outil.

Nettoyez la liste dans cet ordre : retirez les espaces, puis ignorez la casse lorsqu'elle ne compte pas, et enfin supprimez les doublons. Gardez une copie de l'original et comparez les deux listes pour vérifier ce qui a été supprimé.

La casse peut avoir son importance

Ignorer la casse n'est pas toujours sans risque. Les références produits, les noms de fichiers sous Linux et certains identifiants sont sensibles à la casse : « AB-101 » et « ab-101 » peuvent donc désigner deux articles différents. Avant de fusionner des éléments qui ne diffèrent que par la casse, vérifiez si le système dans lequel vous importez la liste les considère comme identiques.

Tri alphabétique ou tri naturel

Trier une liste d'éléments contenant des chiffres donne souvent un ordre inattendu. Un tri alphabétique classique compare les caractères un à un, donc « item10 » passe avant « item2 », car le caractère 1 vient avant le 2.

Voici la différence avec trois éléments :

• Alphabétique : item1, item10, item2
• Naturel : item1, item2, item10

Le tri naturel compare les nombres comme des nombres, donc 2 passe avant 10. Pourquoi 10 passe avant 2 est expliqué plus en détail. Utilisez le tri naturel pour les noms de fichiers, les codes d'emplacement, les numéros de version et tout ce qui se termine par un nombre. Utilisez le tri alphabétique classique pour les noms et les mots, où c'est ce que l'on attend. Pour comparer les deux ordres sur votre propre liste, collez-la dans trier des lignes et passez de A→Z à Nombres.

Deux autres points peuvent vous aider :

• Le tri ne supprime pas les doublons. Retirez-les d'abord, puis triez, sinon le tri place les doublons les uns à côté des autres : ils sont plus faciles à repérer, mais ils ne sont pas supprimés.
• Gardez l'ordre d'origine si la liste a un sens. Une liste d'étapes ou un classement ne doit pas être trié du tout.

Conserver la première occurrence

Lorsque vous supprimez les doublons, la plupart des outils conservent la première occurrence de chaque ligne et suppriment les suivantes. Cela compte lorsque les lignes contiennent des informations supplémentaires, comme un nom et une date. Si la première copie est la version obsolète, triez d'abord la liste par date, ou vérifiez les doublons à la main, avant de les supprimer.

Vérifier le résultat

Comptez les lignes avant et après. Dans l'exemple des emails, six lignes sont devenues trois adresses uniques, donc trois lignes ont été supprimées. Si le nombre est plus bas que prévu, examinez les lignes supprimées. La suppression des doublons compare la ligne entière : deux personnes différentes portant le même nom dans une liste de lignes, ou deux produits ayant le même titre mais des codes différents, peuvent paraître identiques une fois les codes coupés. Supprimez les doublons à partir du champ qui définit un élément, et non d'un champ qui ne fait que le décrire.

Comment faire avec fixmint

1. Collez la liste dans Votre liste, un élément par ligne.
2. Laissez Supprimer les espaces coché, ce qui est la valeur par défaut, et cochez Ignorer la casse uniquement lorsque les majuscules n'ont pas d'importance.
3. Cochez Supprimer les lignes vides pour retirer aussi les lignes blanches.
4. Choisissez un ordre : Garder l'ordre, A→Z ou Nombres.
5. Copiez le résultat, ou utilisez Télécharger .txt.

Cas particuliers

• Lignes vides. Plusieurs lignes vides à la suite peuvent être considérées comme des doublons. Supprimez-les dans une étape séparée si vous voulez en garder une pour l'espacement.
• Enregistrements sur plusieurs lignes. La suppression des doublons fonctionne ligne par ligne. Si chaque enregistrement s'étend sur plusieurs lignes, elle peut couper un enregistrement et laisser les morceaux dans le désordre.
• Très grandes listes. Les gros fichiers ne posent pas de problème, mais comparez le nombre de lignes obtenu à celui de départ pour savoir ce qui a changé.

Réponses rapides

La suppression des lignes en double trie-t-elle aussi la liste ?

Pas forcément. La plupart des outils conservent l'ordre d'origine, donc triez séparément si vous avez besoin d'un ordre précis.

Pourquoi item10 passe-t-il avant item2 quand je trie ?

Le tri alphabétique classique compare un caractère à la fois, et le caractère 1 vient avant le 2. Utilisez le tri naturel, qui compare les nombres comme des nombres.

Faut-il ignorer la casse pour supprimer des emails en double ?

En général oui, car les adresses email sont traitées sans distinction de casse en pratique. Ne l'ignorez pas pour les identifiants où la casse change le sens.