Cómo eliminar líneas duplicadas y ordenar listas correctamente

Para eliminar líneas duplicadas, borra cada línea que repita una anterior, pero decide primero si "igual" significa idéntico exacto o idéntico tras limpiar el texto. Borrar solo las copias exactas es seguro, pero pasa por alto la mayoría de los duplicados reales. Recortar los espacios e ignorar mayúsculas detecta muchos más, y es lo que la mayoría necesita en listas de correos, palabras clave o códigos de producto.

Eliminar líneas duplicadasLa lista tiene duplicadosÚsalo gratis

Un ejemplo paso a paso

Esta es una lista de seis direcciones de correo copiadas de una hoja de cálculo:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Ocurren tres cosas. La primera y la última línea son copias exactas. La segunda solo se diferencia por la A mayúscula. La tercera tiene un espacio al final que no se ve. Estos son los resultados según cada regla:

Regla	Líneas que quedan	Motivo
Eliminar duplicados exactos	5	Solo la última línea de "anna" coincide exactamente con la primera
Recortar espacios e ignorar mayúsculas	3	anna, ben y cara son las únicas direcciones únicas

En la práctica, las direcciones de correo casi nunca distinguen mayúsculas, así que aquí te conviene la segunda regla. Usa primero extraer correos y enlaces si la lista viene de una página desordenada, para que solo lleguen al paso de duplicados las direcciones reales.

Casi duplicados a vigilar

Los casi duplicados son líneas que para un ordenador parecen distintas, pero para ti significan lo mismo. Las causas más comunes son:

• Mayúsculas: "Blue Widget" y "blue widget".
• Espacios al principio o al final, que a menudo no se ven en el editor.
• Espacios de no separación u otros caracteres ocultos, que parecen espacios normales (caracteres ocultos los explica).
• Signos de puntuación distintos: "e-mail" y "email".
• Formas en plural, que requieren una decisión humana y no deberías dejar que una herramienta las fusione.

Limpia la lista en este orden: primero recorta los espacios, luego ignora las mayúsculas cuando no tengan significado y, por último, elimina los duplicados. Guarda una copia del original y compara las dos listas para comprobar qué se ha eliminado.

Las mayúsculas pueden importar

Ignorar las mayúsculas no siempre es seguro. Los códigos de producto, los nombres de archivo en Linux y algunos identificadores distinguen mayúsculas, así que "AB-101" y "ab-101" podrían ser dos artículos diferentes. Antes de fusionar elementos que solo se diferencian en mayúsculas, comprueba si el sistema al que vas a enviar la lista los trata como iguales.

Orden alfabético frente a orden natural

Ordenar una lista de elementos que contienen números suele dar un orden inesperado. Un orden alfabético simple compara los caracteres uno a uno, así que "item10" va antes que "item2", porque el carácter 1 va antes que el 2.

Esta es la diferencia con tres elementos:

• Alfabético: item1, item10, item2
• Natural: item1, item2, item10

El orden natural compara los números como números, así que 2 va antes que 10. Por qué 10 va antes que 2 lo explica con más detalle. Usa el orden natural para nombres de archivo, códigos de estantería, números de versión y cualquier cosa que termine en un número. Usa el orden alfabético simple para nombres y palabras, donde es lo que la gente espera. Para comparar los dos órdenes con tu propia lista, pégala en ordenar líneas y cambia entre A→Z y Números.

Dos puntos más te ayudarán:

• Ordenar no elimina duplicados. Elimínalos primero y luego ordena, o la ordenación pondrá los duplicados uno junto a otro, lo que facilita verlos, pero no los quita.
• Conserva el orden original si la lista tiene un sentido. Una lista de pasos o un ranking no deberían ordenarse en absoluto.

Conservar la primera aparición

Al eliminar duplicados, la mayoría de las herramientas conservan la primera aparición de cada línea y descartan las siguientes. Eso importa cuando las líneas llevan información adicional, como un nombre y una fecha. Si la primera copia es la desactualizada, ordena antes la lista por fecha o revisa los duplicados a mano antes de eliminarlos.

Comprueba el resultado

Cuenta las líneas antes y después. En el ejemplo del correo, seis líneas se convirtieron en tres direcciones únicas, así que se eliminaron tres líneas. Si el recuento es menor de lo que esperabas, revisa las líneas eliminadas. La eliminación de duplicados compara la línea completa, así que dos personas distintas con el mismo nombre en una lista de filas, o dos productos con el mismo título pero distintos códigos, pueden parecer idénticos una vez que se quitan los códigos. Elimina duplicados a partir del campo que define un elemento, no de un campo que solo lo describe.

Cómo hacerlo con fixmint

1. Pega la lista en Tu lista, un elemento por línea.
2. Deja marcada la opción Recortar espacios, que viene activada por defecto, y marca Ignorar mayúsculas solo donde las mayúsculas no tengan significado.
3. Marca Eliminar líneas vacías para quitar también las líneas en blanco.
4. Elige un orden: Mantener orden, A→Z o Números.
5. Copia el resultado o usa Descargar .txt.

Casos límite

• Líneas en blanco. Varias líneas en blanco seguidas pueden contar como duplicados. Elimínalas en un paso aparte si quieres conservar una para dar espacio.
• Registros de varias líneas. La eliminación de duplicados funciona línea a línea. Si cada registro ocupa varias líneas, puede separar un registro y dejar las partes en el orden incorrecto.
• Listas muy grandes. Los archivos grandes no son un problema, pero compara el recuento de salida con el de entrada para saber qué ha cambiado.

Respuestas rápidas

¿Eliminar líneas duplicadas también ordena la lista?

No necesariamente. Muchas herramientas mantienen el orden original, así que ordena por separado si necesitas un orden.

¿Por qué item10 aparece antes que item2 al ordenar?

El orden alfabético simple compara un carácter cada vez, y el carácter 1 va antes que el 2. Usa el orden natural, que compara los números como números.

¿Debo ignorar las mayúsculas al eliminar correos duplicados?

Normalmente sí, porque en la práctica las direcciones de correo se tratan sin distinguir mayúsculas. No ignores las mayúsculas en identificadores donde cambien el significado.