Fjern duplikate linjer og sorter lister på riktig måte

For å fjerne duplikate linjer sletter du hver linje som gjentar en tidligere linje. Bestem først om «det samme» betyr helt identisk, eller identisk etter opprydding. Å fjerne eksakte duplikater er trygt, men da får du med deg få av de duplikatene som faktisk finnes. Å fjerne mellomrom i start og slutt og ignorere store og små bokstaver fanger opp langt flere, og det er som regel det du trenger for lister med e-poster, søkeord eller produktkoder.

Fjern duplikate linjerListen har duplikaterGjør det gratis

Et eksempel

Her er en liste med seks e-postadresser kopiert fra et regneark:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Det skjer tre ting her. Den første og siste linjen er eksakte kopier. Den andre linjen skiller seg bare ved stor A. Den tredje linjen har et mellomrom på slutten som du ikke ser. Dette blir resultatet under hver regel:

Regel	Linjer igjen	Hvorfor
Fjern eksakte duplikater	5	Bare den siste «anna»-linjen stemmer eksakt med den første
Fjern mellomrom og ignorer store og små bokstaver	3	anna, ben og cara er de eneste unike adressene

I praksis er e-postadresser nesten alltid uavhengige av store og små bokstaver, så den andre regelen er den du vil ha her. Bruk hent ut e-poster og lenker først hvis listen kommer fra en rotete side, slik at bare ekte adresser går videre til steget med duplikater.

Nesten like linjer du bør se etter

Nesten like linjer er linjer som ser ulike ut for en datamaskin, men som betyr det samme for deg. Vanlige årsaker er:

• Store og små bokstaver: «Blå widget» og «blå widget».
• Mellomrom i start eller slutt, som ofte er usynlige i en editor.
• Hardt mellomrom eller andre skjulte tegn, som ser ut som vanlige mellomrom. Skjulte tegn i tekst forklarer dem.
• Ulik tegnsetting: «e-post» og «epost».
• Flertallsformer, som krever en menneskelig vurdering. Et verktøy bør ikke slå dem sammen.

Rydd listen i denne rekkefølgen: fjern mellomrom, ignorer store og små bokstaver der de ikke betyr noe, og fjern deretter duplikatene. Ta vare på en kopi av originalen, og sammenlign de to listene for å sjekke hva som ble fjernet.

Store og små bokstaver kan være viktige

Å ignorere store og små bokstaver er ikke alltid trygt. Produktkoder, filnavn på Linux og noen identifikatorer skiller mellom store og små bokstaver, så «AB-101» og «ab-101» kan være to ulike varer. Før du slår sammen elementer som bare skiller seg i bokstavstørrelse, må du sjekke om systemet listen skal inn i, behandler dem som like.

Alfabetisk sortering mot naturlig sortering

Når du sorterer en liste med elementer som inneholder tall, kan rekkefølgen bli overraskende. En vanlig alfabetisk sortering sammenligner tegn ett og ett, så «item10» kommer før «item2», fordi tegnet 1 kommer før 2.

Slik ser forskjellen ut for tre elementer:

• Alfabetisk: item1, item10, item2
• Naturlig: item1, item2, item10

Naturlig sortering sammenligner tallene som tall, så 2 kommer før 10. Hvorfor 10 sorteres før 2 forklares nærmere. Bruk naturlig sortering for filnavn, hyllekoder, versjonsnumre og alt som ender med et tall. Bruk vanlig alfabetisk sortering for navn og ord, der det er det folk forventer. For å sammenligne begge rekkefølgene på din egen liste limer du den inn i sorter linjer og bytter mellom A→Z og Tall.

To tips til:

• Sortering fjerner ikke duplikater. Fjern dem først, og sorter deretter. Ellers havner duplikatene ved siden av hverandre. Da er de lettere å se, men de er ikke fjernet.
• Behold den opprinnelige rekkefølgen hvis listen har en betydning. En liste med steg eller en rangering bør ikke sorteres i det hele tatt.

Beholde første forekomst

Når du fjerner duplikater, beholder de fleste verktøy den første forekomsten av hver linje og fjerner de senere. Det har betydning når linjene inneholder ekstra informasjon, for eksempel et navn og en dato. Hvis den første kopien er den utdaterte, bør du sortere listen etter dato først, eller sjekke duplikatene manuelt, før du fjerner dem.

Kontroller resultatet

Tell linjene før og etter. I e-posteksemplet ble seks linjer til tre unike adresser, så tre linjer ble fjernet. Hvis tallet er lavere enn du forventet, bør du se på linjene som ble fjernet. Fjerning av duplikater matcher hele linjen. To ulike personer med samme navn i en liste med rader, eller to produkter med samme tittel men ulike koder, kan se helt like ut når kodene kuttes av. Fjern duplikater basert på feltet som definerer et element, ikke på et felt som bare beskriver det.

Slik gjør du det med fixmint

1. Lim listen inn i Din liste, ett element per linje.
2. La Fjern mellomrom være avhuket, som er standard, og huk av Ignorer store og små bokstaver bare der store bokstaver ikke betyr noe.
3. Huk av Fjern tomme linjer for å fjerne tomme linjer også.
4. Velg rekkefølge: Behold rekkefølge, A→Z eller Tall.
5. Kopier resultatet, eller bruk Last ned .txt.

Spesialtilfeller

• Tomme linjer. Flere tomme linjer på rad kan regnes som duplikater. Fjern dem som et eget steg hvis du vil beholde én for luft mellom blokkene.
• Poster over flere linjer. Fjerning av duplikater virker linje for linje. Hvis hver post strekker seg over flere linjer, kan verktøyet dele en post og etterlate delene i feil rekkefølge.
• Svært store lister. Store filer går greit, men sjekk antall linjer i resultatet mot antallet i inndata, så du vet hva som er endret.

Raske svar

Sorterer også «fjern duplikate linjer» listen?

Ikke nødvendigvis. Mange verktøy beholder den opprinnelige rekkefølgen, så sorter separat hvis du trenger en bestemt rekkefølge.

Hvorfor kommer item10 før item2 når jeg sorterer?

Vanlig alfabetisk sortering sammenligner ett tegn om gangen, og tegnet 1 kommer før 2. Bruk naturlig sortering, som sammenligner tallene som tall.

Bør jeg ignorere store og små bokstaver når jeg fjerner duplikate e-poster?

Vanligvis ja, fordi e-postadresser i praksis behandles uavhengig av store og små bokstaver. Ikke ignorer bokstavstørrelse for identifikatorer der den endrer betydningen.