Päällekkäisten rivien poisto ja listojen lajittelu oikein

Päällekkäiset rivit poistetaan poistamalla jokainen rivi, joka toistaa aiemman rivin. Päätä ensin, tarkoitetaanko ”samalla” täysin identtistä vai identtistä siivoamisen jälkeen. Täysin samojen rivien poisto on turvallista, mutta se jättää useimmat todelliset kaksoiskappaleet huomaamatta. Välilyöntien poisto ja isojen ja pienten kirjainten ohittaminen löytävät huomattavasti enemmän, ja juuri niitä tarvitset useimmiten sähköposti-, avainsana- tai tuotekoodilistoissa.

Poista päällekkäiset rivitListassa on kaksoiskappaleitaTee se ilmaiseksi

Esimerkki käytännössä

Tässä on kuuden sähköpostiosoitteen lista, joka on kopioitu taulukkolaskennasta:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Listassa tapahtuu kolme asiaa. Ensimmäinen ja viimeinen rivi ovat täysin samat. Toinen rivi eroaa vain isolla A-kirjaimella. Kolmannella rivillä on näkymätön välilyönti rivin lopussa. Tässä rivejä jää kummallakin säännöllä:

Sääntö	Rivejä jäljellä	Miksi
Poista täysin samat rivit	5	Vain viimeinen ”anna”-rivi vastaa ensimmäistä täysin
Poista välilyönnit ja ohita isot ja pienet kirjaimet	3	anna, ben ja cara ovat ainoat yksilölliset osoitteet

Käytännössä sähköpostiosoitteet ovat lähes aina kirjainkoosta riippumattomia, joten tässä toinen sääntö on oikea valinta. Jos lista tulee sotkuisesta sivusta, käytä ensin Sähköpostien ja linkkien poimija. Silloin päällekkäisyyksien poisto koskee vain oikeita osoitteita.

Lähes samat rivit, joita kannattaa varoa

Lähes samat rivit näyttävät tietokoneelle erilaisilta, mutta ihmiselle ne tarkoittavat samaa. Yleisiä syitä ovat:

• Isot ja pienet kirjaimet: ”Blue Widget” ja ”blue widget”.
• Rivin alussa tai lopussa olevat välilyönnit, jotka usein eivät näy editorissa.
• Sidotut välilyönnit tai muut piilotetut merkit, jotka näyttävät tavallisilta välilyönneiltä (piilotetut merkit selittää ne).
• Eri välimerkit: ”e-mail” ja ”email”.
• Monikkomuodot, joista päättää ihminen. Työkalu ei saa yhdistää niitä itse.

Siivoa lista tässä järjestyksessä: poista ensin välilyönnit, sitten ohita kirjainkoko siellä, missä se ei merkitse mitään, ja lopuksi poista päällekkäiset rivit. Säilytä alkuperäinen kopio ja vertaa kahta listaa, jotta näet, mitä poistui.

Kirjainkoko voi olla merkityksellinen

Kirjainkoon ohittaminen ei aina ole turvallista. Tuotekoodit, Linux-tiedostonimet ja eräät tunnisteet ovat kirjainkokoherkkiä, joten ”AB-101” ja ”ab-101” voivat olla kaksi eri tuotetta. Ennen kuin yhdistät kohteita, jotka eroavat vain kirjainkoon osalta, tarkista, pitääkö järjestelmä, johon listaa syötät, niitä samoina.

Aakkosellinen lajittelu vs. luonnollinen lajittelu

Numeroita sisältävien kohteiden lajittelu voi tuottaa odottamattoman järjestyksen. Tavallinen aakkosellinen lajittelu vertaa merkkejä yksi kerrallaan, joten ”item10” tulee ennen ”item2:ta”, koska merkki 1 on ennen merkkiä 2.

Kolmen kohteen ero näkyy näin:

• Aakkosellinen: item1, item10, item2
• Luonnollinen: item1, item2, item10

Luonnollinen lajittelu vertaa numeroita numeroina, joten 2 tulee ennen 10:tä. Miksi 10 järjestyy ennen 2:ta selittää asiaa tarkemmin. Käytä luonnollista lajittelua tiedostonimille, hyllykoodeille, versionumeroille ja kaikelle, mikä päättyy numeroon. Nimille ja sanoille tavallinen aakkosellinen lajittelu on se, mitä ihmiset odottavat. Voit verrata molempia järjestyksiä omaan listaasi liittämällä sen Lajittele rivit -työkaluun ja vaihtamalla välillä A→Z- ja Numerot-järjestyksen.

Kaksi lisävinkkiä:

• Lajittelu ei poista päällekkäisyyksiä. Poista ne ensin ja lajittele vasta sitten. Muuten lajittelu sijoittaa kaksoiskappaleet vierekkäin, jolloin ne näkyvät paremmin mutta eivät katoa.
• Säilytä alkuperäinen järjestys, jos lista on merkityksellinen. Askelten tai paremmuusjärjestyksen listaa ei pidä lajitella lainkaan.

Ensimmäisen esiintymän säilyttäminen

Kun poistat päällekkäisiä rivejä, useimmat työkalut säilyttävät kunkin rivin ensimmäisen esiintymän ja poistavat myöhemmät. Tällä on merkitystä, jos rivit sisältävät lisätietoja, kuten nimen ja päivämäärän. Jos ensimmäinen kopio on vanhentunut, lajittele lista ensin päivämäärän mukaan tai tarkista kaksoiskappaleet käsin ennen poistoa.

Tarkista tulos

Laske rivit ennen poistoa ja sen jälkeen. Sähköpostiesimerkissä kuusi riviä muuttui kolmeksi yksilölliseksi osoitteeksi, eli kolme riviä poistui. Jos määrä on pienempi kuin odotit, katso poistettuja rivejä. Päällekkäisyyksien poisto vertaa koko riviä, joten kaksi eri ihmistä samalla nimellä tai kaksi tuotetta samalla nimellä mutta eri koodeilla voivat näyttää samoilta, kun koodit on leikattu pois. Poista päällekkäisyydet siitä kentästä, joka määrittelee kohteen, älä kentästä, joka vain kuvaa sitä.

Näin teet sen fixmintillä

1. Liitä lista kenttään Sinun listasi yksi kohde riviä kohden.
2. Jätä Poista välilyönnit valituksi, koska se on oletus. Valitse Ohita isot ja pienet kirjaimet vain siellä, missä isoilla kirjaimilla ei ole merkitystä.
3. Valitse Poista tyhjät rivit, jos haluat poistaa myös tyhjät rivit.
4. Valitse järjestys: Säilytä järjestys, A→Z tai Numerot.
5. Kopioi tulos tai käytä Lataa .txt-painiketta.

Erikoistapaukset

• Tyhjät rivit. Peräkkäiset tyhjät rivit voivat tulkita kaksoiskappaleiksi. Jos haluat jättää yhden tyhjän rivin välitilaksi, poista rivit erillisenä vaiheena.
• Monirivisiä tietueita. Päällekkäisyyksien poisto toimii rivi riviltä. Jos jokainen tietue kattaa useita rivejä, poisto voi katkaista tietueen ja jättää osat väärään järjestykseen.
• Hyvin suuret listat. Suuret tiedostot käsitellään hyvin, mutta vertaa tulosta syötteen rivimäärään, jotta tiedät, mitä muuttui.

Pikavastaukset

Poistaako päällekkäisten rivien poisto myös lajittelun?

Ei välttämättä. Monet työkalut säilyttävät alkuperäisen järjestyksen, joten lajittele erikseen, jos tarvitset tietyn järjestyksen.

Miksi item10 tulee ennen item2:ta, kun lajittelen?

Tavallinen aakkosellinen lajittelu vertaa merkkejä yksi kerrallaan, ja merkki 1 on ennen merkkiä 2. Käytä luonnollista lajittelua, joka vertaa numeroita numeroina.

Pitäisikö sähköpostien päällekkäisyyksiä poistaessa ohittaa kirjainkoko?

Yleensä kyllä, koska sähköpostiosoitteita käsitellään käytännössä kirjainkoosta riippumattomina. Älä ohita kirjainkokoa tunnisteissa, joissa kirjainkoko muuttaa merkitystä.