Fjern dublerede linjer og sortér lister på den rigtige måde

Hvis du vil fjerne dublerede linjer, skal du slette hver linje, der gentager en tidligere linje. Men først skal du beslutte, om »det samme« betyder helt identisk, eller identisk efter rensning. Fjernelse af eksakte dubletter er sikkert, men den finder ikke de fleste dubletter i praksis. Hvis du fjerner mellemrum i start og slut og ignorerer store og små bogstaver, finder du langt flere, og det er som regel det, du har brug for ved lister med e-mailadresser, søgeord eller produktkoder.

Fjern dubletlinjerListen har dubletterPrøv gratis

Et konkret eksempel

Her er en liste med seks e-mailadresser, kopieret fra et regneark:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Der sker tre ting. Den første og den sidste linje er eksakte kopier. Den anden linje adskiller sig kun ved et stort A. Den tredje linje har et mellemrum til sidst, som du ikke kan se. Her er antallet af linjer under hver regel:

Regel	Linjer tilbage	Hvorfor
Fjern eksakte dubletter	5	Kun den sidste »anna«-linje er helt ens med den første
Fjern mellemrum og ignorér store og små bogstaver	3	anna, ben og cara er de eneste unikke adresser

E-mailadresser er næsten altid ikke versalfølsomme i praksis, så den anden regel er den, du vil have her. Brug udtræk e-mailadresser og links først, hvis listen stammer fra en rodet side, så kun rigtige adresser kommer med til dubletfjernelsen.

Næsten-dubletter at holde øje med

Næsten-dubletter er linjer, der ser forskellige ud for en computer, men betyder det samme for dig. Typiske årsager er:

• Store bogstaver: »Blue Widget« og »blue widget«.
• Mellemrum i start eller slut, som ofte er usynlige i en editor.
• Hårde mellemrum eller andre skjulte tegn, der ligner almindelige mellemrum (skjulte tegn forklarer dem).
• Forskellig tegnsætning: »e-mail« og »email«.
• Flertalsformer, som kræver en menneskelig vurdering, og som et værktøj ikke bør slå sammen.

Rens listen i denne rækkefølge: fjern mellemrum, ignorér derefter store og små bogstaver, hvor det ikke betyder noget, og fjern til sidst dubletterne. Gem en kopi af den oprindelige liste, og sammenlign de to lister for at kontrollere, hvad der blev fjernet.

Store og små bogstaver kan have betydning

Det er ikke altid sikkert at ignorere store og små bogstaver. Produktkoder, filnavne på Linux og nogle identifikatorer skelner mellem store og små bogstaver, så »AB-101« og »ab-101« kan være to forskellige varer. Før du slår varer sammen, der kun adskiller sig ved store og små bogstaver, skal du kontrollere, om systemet, listen skal bruges i, behandler dem som det samme.

Alfabetisk sortering og naturlig sortering

Når du sorterer en liste med elementer, der indeholder tal, får du ofte en rækkefølge, du ikke forventer. En almindelig alfabetisk sortering sammenligner tegn for tegn, så »item10« kommer før »item2«, fordi tegnet 1 kommer før 2.

Her er forskellen for tre elementer:

• Alfabetisk: item1, item10, item2
• Naturlig: item1, item2, item10

Naturlig sortering sammenligner tallene som tal, så 2 kommer før 10. Hvorfor 10 sorteres før 2 forklares nærmere. Brug naturlig sortering til filnavne, hyldekoder, versionsnumre og alt, der ender med et tal. Brug almindelig alfabetisk sortering til navne og ord, hvor det er det, folk forventer. Hvis du vil sammenligne begge rækkefølger på din egen liste, så indsæt den i sortér linjer og skift mellem A→Z og Tal.

To pointer mere kan hjælpe:

• Sortering fjerner ikke dubletter. Fjern dem først, og sortér derefter, ellers placerer sorteringen dubletterne ved siden af hinanden. Det gør dem lettere at se, men de bliver ikke fjernet.
• Behold den oprindelige rækkefølge, hvis listen har en betydning. En liste over trin eller en rangering bør slet ikke sorteres.

Beholde den første forekomst

Når du fjerner dubletter, beholder de fleste værktøjer den første forekomst af hver linje og fjerner de senere. Det har betydning, når linjerne indeholder ekstra oplysninger, for eksempel et navn og en dato. Hvis den første kopi er den forældede, så sortér listen efter dato først, eller kontrollér dubletterne manuelt, inden du fjerner dem.

Kontrollér resultatet

Tæl linjerne før og efter. I e-mail-eksemplet blev seks linjer til tre unikke adresser, så tre linjer blev fjernet. Hvis antallet er lavere, end du forventede, så kig på de fjernede linjer. Fjernelse af dubletter matcher hele linjen. To forskellige personer med samme navn i en liste over rækker eller to produkter med samme titel, men forskellige koder, kan derfor se ens ud, når koderne er klippet af. Fjern dubletter ud fra det felt, der definerer en vare, ikke fra et felt, der kun beskriver den.

Sådan gør du med fixmint

1. Indsæt listen i Din liste, med ét element pr. linje.
2. Lad Fjern mellemrum være markeret, da det er standard, og markér Ignorér store og små bogstaver kun, hvor store bogstaver ikke betyder noget.
3. Markér Fjern tomme linjer, hvis også tomme linjer skal fjernes.
4. Vælg en rækkefølge: Behold rækkefølge, A→Z eller Tal.
5. Kopiér resultatet, eller brug Hent .txt.

Specialtilfælde

• Tomme linjer. Flere tomme linjer i træk kan tælles som dubletter. Fjern dem som et separat trin, hvis du vil beholde én for at skabe luft.
• Poster over flere linjer. Fjernelse af dubletter virker linje for linje. Hvis hver post fylder flere linjer, kan værktøjet dele en post over og efterlade delene i forkert rækkefølge.
• Meget store lister. Store filer fungerer fint, men kontrollér antallet af linjer i resultatet mod antallet i det oprindelige input, så du ved, hvad der er ændret.

Hurtige svar

Sorterer fjernelse af dublerede linjer også listen?

Ikke nødvendigvis. Mange værktøjer beholder den oprindelige rækkefølge, så sortér separat, hvis du har brug for en bestemt rækkefølge.

Hvorfor kommer item10 før item2, når jeg sorterer?

Almindelig alfabetisk sortering sammenligner ét tegn ad gangen, og tegnet 1 kommer før 2. Brug naturlig sortering, der sammenligner tallene som tal.

Skal jeg ignorere store og små bogstaver, når jeg fjerner dublerede e-mails?

Som regel ja, da e-mailadresser i praksis behandles uden forskel på store og små bogstaver. Ignorér ikke store og små bogstaver for identifikatorer, hvor forskellen ændrer betydningen.