Como remover linhas duplicadas e ordenar listas do jeito certo

Para remover linhas duplicadas, apague cada linha que repete uma anterior, e primeiro decida se "igual" significa exatamente idêntico ou idêntico depois de limpar o texto. A remoção exata é segura, mas deixa passar a maioria das duplicatas reais. Remover espaços extras e ignorar maiúsculas e minúsculas encontra bem mais casos, e é o que a maioria das pessoas realmente precisa para listas de e-mails, palavras-chave ou códigos de produto.

Remover linhas duplicadasLista tem itens repetidosUse de graça

Um exemplo passo a passo

Aqui está uma lista de seis endereços de e-mail copiados de uma planilha:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Três coisas estão acontecendo. A primeira e a última linha são cópias exatas. A segunda linha difere só pelo A maiúsculo. A terceira linha tem um espaço no final que você não consegue ver. Veja as contagens com cada regra:

Regra	Linhas restantes	Por quê
Remover duplicatas exatas	5	Só a última linha "anna" é idêntica à primeira
Remover espaços e ignorar maiúsculas e minúsculas	3	anna, ben e cara são os únicos endereços únicos

Na prática, endereços de e-mail quase sempre não diferenciam maiúsculas de minúsculas, então a segunda regra é a que você quer aqui. Use extrair e-mails e links primeiro se a lista veio de uma página bagunçada, para que só endereços reais cheguem à etapa de duplicatas.

Quase-duplicatas para ficar de olho

Quase-duplicatas são linhas que parecem diferentes para o computador, mas significam a mesma coisa para você. As causas mais comuns:

• Letras maiúsculas: "Blue Widget" e "blue widget".
• Espaços no início ou no fim, muitas vezes invisíveis no editor.
• Espaços não separáveis ou outros caracteres ocultos, que parecem espaços comuns (caracteres ocultos explica o assunto).
• Pontuação diferente: "e-mail" e "email".
• Formas no plural, que exigem uma decisão humana e não devem ser unificadas por uma ferramenta.

Limpe a lista nesta ordem: remova espaços, depois ignore maiúsculas e minúsculas quando elas não tiverem significado, e só então remova as duplicatas. Guarde uma cópia do original e compare as duas listas para conferir o que foi removido.

Maiúsculas podem importar

Ignorar maiúsculas e minúsculas nem sempre é seguro. Códigos de produto, nomes de arquivo no Linux e alguns identificadores diferenciam maiúsculas de minúsculas, então "AB-101" e "ab-101" podem ser dois itens diferentes. Antes de unir itens que diferem só pela capitalização, verifique se o sistema para o qual a lista vai trata os dois como iguais.

Ordem alfabética versus ordem natural

Ordenar uma lista de itens que contêm números costuma dar uma ordem inesperada. Uma ordenação alfabética simples compara os caracteres um a um, então "item10" vem antes de "item2", porque o caractere 1 vem antes do 2.

Veja a diferença para três itens:

• Alfabética: item1, item10, item2
• Natural: item1, item2, item10

A ordem natural compara os números como números, então 2 vem antes de 10. Por que 10 aparece antes de 2 explica melhor. Use a ordem natural para nomes de arquivo, códigos de prateleira, números de versão e qualquer coisa que termine em uma contagem. Use a ordenação alfabética comum para nomes e palavras, em que é o que as pessoas esperam. Para comparar as duas ordens com a sua própria lista, cole-a em ordenar linhas e alterne entre A→Z e Números.

Mais dois pontos ajudam:

• Ordenar não remove duplicatas. Remova-as primeiro e depois ordene, ou a ordenação vai deixar as duplicatas lado a lado, o que facilita vê-las, mas não as remove.
• Mantenha a ordem original se ela tiver significado. Uma lista de etapas ou um ranking não deve ser ordenada de jeito nenhum.

Mantendo a primeira ocorrência

Ao remover duplicatas, a maioria das ferramentas mantém a primeira ocorrência de cada linha e descarta as seguintes. Isso importa quando as linhas trazem informação extra, como um nome e uma data. Se a primeira cópia for a desatualizada, ordene a lista por data antes, ou confira as duplicatas manualmente, antes de removê-las.

Confira o resultado

Conte as linhas antes e depois. No exemplo dos e-mails, seis linhas viraram três endereços únicos, então três linhas foram removidas. Se a contagem ficar menor do que você esperava, veja as linhas removidas. A remoção de duplicatas compara a linha inteira, então duas pessoas diferentes com o mesmo nome em uma lista de registros, ou dois produtos com o mesmo título mas códigos diferentes, podem parecer idênticos quando os códigos são cortados. Remova duplicatas com base no campo que define um item, e não em um campo que apenas o descreve.

Como fazer com o fixmint

1. Cole a lista em Sua lista, um item por linha.
2. Deixe Remover espaços marcado, que é o padrão, e marque Ignorar maiúsculas e minúsculas só onde a capitalização não significa nada.
3. Marque Descartar linhas vazias para remover também as linhas em branco.
4. Escolha uma ordem: Manter ordem, A→Z ou Números.
5. Copie o resultado ou use Baixar .txt.

Casos especiais

• Linhas em branco. Várias linhas em branco seguidas podem contar como duplicatas. Remova-as como uma etapa separada se quiser manter uma para dar espaçamento.
• Registros de várias linhas. A remoção de duplicatas funciona linha por linha. Se cada registro ocupar várias linhas, ela pode separar um registro e deixar as partes na ordem errada.
• Listas muito grandes. Arquivos grandes funcionam bem, mas compare a contagem da saída com a da entrada para saber o que mudou.

Respostas rápidas

Remover linhas duplicadas também ordena a lista?

Não necessariamente. Muitas ferramentas mantêm a ordem original, então ordene separadamente se precisar de uma ordem.

Por que item10 aparece antes de item2 quando eu ordeno?

A ordenação alfabética simples compara um caractere de cada vez, e o caractere 1 vem antes do 2. Use a ordem natural, que compara os números como números.

Devo ignorar maiúsculas e minúsculas ao remover e-mails duplicados?

Geralmente sim, porque, na prática, endereços de e-mail são tratados sem diferenciar maiúsculas de minúsculas. Não ignore a capitalização em identificadores em que ela muda o significado.