Dubbele regels verwijderen en lijsten goed sorteren

Om dubbele regels te verwijderen haal je elke regel weg die een eerdere regel herhaalt. Bepaal eerst wel of "hetzelfde" betekent dat de regels exact gelijk zijn, of gelijk na opschonen. Exact verwijderen is veilig, maar mist de meeste echte dubbele regels. Spaties weghalen en hoofdletters negeren vangt er veel meer, en dat is wat de meeste mensen nodig hebben bij lijsten met e-mailadressen, zoekwoorden of productcodes.

Dubbele regels verwijderenLijst heeft dubbele itemsGratis doen

Een uitgewerkt voorbeeld

Hier is een lijst van zes e-mailadressen, gekopieerd uit een spreadsheet:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Er spelen drie dingen. De eerste en laatste regel zijn exacte kopieën. De tweede regel verschilt alleen door de hoofdletter A. De derde regel heeft een spatie aan het eind die je niet ziet. Dit zijn de aantallen per regel:

Regel	Regels over	Waarom
Exacte dubbele verwijderen	5	Alleen de laatste "anna"-regel is exact gelijk aan de eerste
Spaties weghalen en hoofdletters negeren	3	anna, ben en cara zijn de enige unieke adressen

In de praktijk zijn e-mailadressen bijna altijd niet hoofdlettergevoelig, dus de tweede regel is hier de juiste. Gebruik eerst E-mailadressen en links halen als de lijst uit een rommelige pagina komt, zodat alleen echte adressen bij de stap voor dubbele regels terechtkomen.

Bijna-dubbele regels in de gaten houden

Bijna-dubbele regels zijn regels die voor een computer er anders uitzien, maar voor jou hetzelfde betekenen. Veelvoorkomende oorzaken:

• Hoofdletters: "Blue Widget" en "blue widget".
• Spaties aan het begin of einde, vaak onzichtbaar in een editor.
• Harde spaties of andere verborgen tekens, die eruitzien als gewone spaties (verborgen tekens legt ze uit).
• Verschillende leestekens: "e-mail" en "email".
• Meervoudsvormen, waarover een mens moet beslissen en die een tool niet zou moeten samenvoegen.

Maak de lijst schoon in deze volgorde: spaties weghalen, dan hoofdletters negeren waar hoofdletters niets betekenen, en dan dubbele regels verwijderen. Bewaar een kopie van het origineel en vergelijk de twee lijsten om te controleren wat er is verwijderd.

Hoofdletters kunnen ertoe doen

Hoofdletters negeren is niet altijd veilig. Productcodes, bestandsnamen op Linux en sommige identificaties zijn hoofdlettergevoelig, dus "AB-101" en "ab-101" kunnen twee verschillende artikelen zijn. Controleer voordat je items samenvoegt die alleen in hoofdletters verschillen, of het systeem waarin je de lijst gebruikt ze als gelijk behandelt.

Alfabetisch sorteren tegenover natuurlijk sorteren

Een lijst sorteren met items die cijfers bevatten, geeft vaak een onverwachte volgorde. Een gewone alfabetische sortering vergelijkt tekens één voor één, dus "item10" komt vóór "item2", omdat het teken 1 vóór 2 komt.

Dit is het verschil voor drie items:

• Alfabetisch: item1, item10, item2
• Natuurlijk: item1, item2, item10

Natuurlijk sorteren vergelijkt de cijfers als getallen, dus 2 komt vóór 10. Waarom 10 vóór 2 komt gaat dieper in op dit onderwerp. Gebruik natuurlijk sorteren voor bestandsnamen, plankcodes, versienummers en alles wat met een telling eindigt. Gebruik gewoon alfabetisch sorteren voor namen en woorden, waar het is wat mensen verwachten. Wil je beide volgorden op je eigen lijst zien? Plak hem dan in Regels sorteren en wissel tussen A→Z en Getallen.

Twee extra punten helpen:

• Sorteren verwijdert geen dubbele regels. Verwijder ze eerst en sorteer daarna, anders staan de dubbele regels na het sorteren naast elkaar. Dat maakt ze makkelijker te zien, maar ze zijn nog niet weg.
• Behoud de oorspronkelijke volgorde als de lijst betekenis heeft. Een lijst met stappen of een ranglijst moet je helemaal niet sorteren.

De eerste voorkomst bewaren

Bij het verwijderen van dubbele regels houden de meeste tools de eerste voorkomst van elke regel en halen ze de latere weg. Dat maakt uit als regels extra informatie bevatten, zoals een naam en een datum. Als de eerste kopie de verouderde is, sorteer de lijst dan eerst op datum of controleer de dubbele regels met de hand voordat je ze verwijdert.

Controleer het resultaat

Tel de regels vóór en na. In het e-mailvoorbeeld werden zes regels drie unieke adressen, dus er zijn drie regels verwijderd. Is het aantal lager dan je verwachtte, bekijk dan de verwijderde regels. Een verwijdering van dubbele regels vergelijkt de hele regel. Twee verschillende mensen met dezelfde naam in een lijst met rijen, of twee producten met dezelfde titel maar verschillende codes, kunnen er dus identiek uitzien zodra de codes zijn afgeknipt. Verwijder dubbele regels op basis van het veld dat een item definieert, niet op basis van een veld dat het item alleen beschrijft.

Zo doe je het met fixmint

1. Plak de lijst in Jouw lijst, één item per regel.
2. Laat Spaties weghalen aan staan, wat de standaard is, en vink Hoofdletters negeren alleen aan waar hoofdletters niets betekenen.
3. Vink Lege regels verwijderen aan om ook lege regels weg te halen.
4. Kies een volgorde: Volgorde behouden, A→Z of Getallen.
5. Kopieer het resultaat, of gebruik Download .txt.

Bijzondere gevallen

• Lege regels. Meerdere lege regels achter elkaar kunnen als dubbel tellen. Verwijder ze in een aparte stap als je er één wilt houden voor de witruimte.
• Records over meerdere regels. Het verwijderen van dubbele regels werkt regel voor regel. Als elk record uit meerdere regels bestaat, kan het een record splitsen en de delen in de verkeerde volgorde laten staan.
• Zeer grote lijsten. Grote bestanden zijn prima, maar vergelijk het aantal regels in de uitvoer met het aantal in de invoer, zodat je weet wat er is veranderd.

Snelle antwoorden

Sorteert het verwijderen van dubbele regels de lijst ook?

Niet noodzakelijk. Veel tools behouden de oorspronkelijke volgorde, dus sorteer apart als je een volgorde nodig hebt.

Waarom komt item10 vóór item2 als ik sorteer?

Een gewone alfabetische sortering vergelijkt één teken tegelijk, en het teken 1 komt vóór 2. Gebruik natuurlijk sorteren, dat de cijfers als getallen vergelijkt.

Moet ik hoofdletters negeren bij het verwijderen van dubbele e-mailadressen?

Meestal wel, omdat e-mailadressen in de praktijk niet hoofdlettergevoelig worden behandeld. Negeer hoofdletters niet bij identificaties waarbij hoofdletters de betekenis veranderen.