Odstraňování duplicitních řádků a správné řazení seznamů

Chcete-li odstranit duplicitní řádky, smažte každý řádek, který opakuje některý dřívější. Nejprve se ale rozhodněte, zda „stejné“ znamená přesně totožné, nebo totožné až po úpravě. Odstranění přesných shod je bezpečné, ale přehlédne většinu skutečných duplicit. Oříznutí mezer a ignorování velikosti písmen zachytí mnohem více a většina lidí to u seznamů e-mailů, klíčových slov nebo kódů produktů skutečně potřebuje.

Odstranit duplicitní řádkySeznam obsahuje duplicityVyzkoušet zdarma

Příklad krok za krokem

Zde je seznam šesti e-mailových adres zkopírovaných z tabulky:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Dějí se tu tři věci. První a poslední řádek jsou přesné kopie. Druhý řádek se liší pouze velkým A. Třetí řádek má na konci mezeru, kterou nevidíte. Takto vypadají počty podle jednotlivých pravidel:

Pravidlo	Zbylé řádky	Proč
Odstranit přesné duplicity	5	Pouze poslední řádek „anna“ se přesně shoduje s prvním
Oříznout mezery a ignorovat velikost písmen	3	anna, ben a cara jsou jediné unikátní adresy

E-mailové adresy se v praxi téměř vždy chovají bez ohledu na velikost písmen, takže zde potřebujete druhé pravidlo. Pokud seznam pochází z nepřehledné stránky, nejprve použijte Vytáhnout e-maily a odkazy, aby do kroku odstraňování duplicit přišly jen skutečné adresy.

Téměř duplicitní řádky, na které si dát pozor

Téměř duplicitní řádky jsou řádky, které počítač vidí jako různé, ale vy je chápete jako stejné. Běžné příčiny:

• Velká písmena: „Blue Widget“ a „blue widget“.
• Mezery na začátku nebo na konci, které jsou v editoru často neviditelné.
• Nedělitelné mezery nebo jiné skryté znaky, které vypadají jako obyčejné mezery (skryté znaky je vysvětlují).
• Odlišná interpunkce: „e-mail“ a „email“.
• Tvary v množném čísle, o kterých musí rozhodnout člověk a které by nástroj neměl slučovat.

Seznam čistěte v tomto pořadí: nejprve oříznout mezery, potom ignorovat velikost písmen tam, kde nic neznamená, a nakonec odstranit duplicity. Zachovejte kopii původního seznamu a porovnejte oba seznamy, abyste zjistili, co se odstranilo.

Velikost písmen může být důležitá

Ignorování velikosti písmen není vždy bezpečné. Kódy produktů, názvy souborů v Linuxu a některé identifikátory rozlišují velká a malá písmena, takže „AB-101“ a „ab-101“ mohou být dvě různé položky. Než sloučíte položky, které se liší jen velikostí písmen, zkontrolujte, zda je systém, do kterého seznam vkládáte, bere jako totéž.

Abecední řazení versus přirozené řazení

Řazení seznamu položek, které obsahují čísla, často dá neočekávané pořadí. Prosté abecední řazení porovnává znaky postupně, takže „item10“ je před „item2“, protože znak 1 je před znakem 2.

Rozdíl u tří položek vypadá takto:

• Abecedně: item1, item10, item2
• Přirozeně: item1, item2, item10

Přirozené řazení porovnává čísla jako čísla, takže 2 je před 10. Proč je 10 před 2 vysvětlujeme podrobněji. Přirozené řazení použijte u názvů souborů, kódů regálů, čísel verzí a všeho, co končí počtem. U jmen a slov použijte prosté abecední řazení, protože to lidé očekávají. Chcete-li na vlastním seznamu porovnat obě pořadí, vložte jej do nástroje Řazení řádků a přepínejte mezi A→Z a Čísla.

Pomohou dvě další upozornění:

• Řazení neodstraňuje duplicity. Nejprve je odstraňte a teprve potom seřaďte, jinak řazení duplicitní řádky jen seskupí vedle sebe. Jsou pak sice lépe vidět, ale nejsou odstraněny.
• Pokud má pořadí v seznamu význam, ponechte ho. Seznam kroků nebo žebříček se vůbec řadit nemá.

Ponechání prvního výskytu

Při odstraňování duplicit většina nástrojů ponechá první výskyt každého řádku a pozdější zahodí. To má význam, pokud řádky obsahují další údaje, například jméno a datum. Pokud je první kopie zastaralá, seřaďte seznam nejprve podle data nebo duplicity před odstraněním zkontrolujte ručně.

Zkontrolujte výsledek

Spočítejte řádky před a po zpracování. V příkladu s e-maily se šest řádků změnilo na tři unikátní adresy, takže byly odstraněny tři řádky. Pokud je počet nižší, než jste čekali, podívejte se na odstraněné řádky. Odstranění duplicit porovnává celý řádek, takže dvě různé osoby se stejným jménem v seznamu řádků nebo dva produkty se stejným názvem, ale jinými kódy, mohou vypadat totožně, když se kódy oříznou. Odstraňujte duplicity z pole, které položku určuje, ne z pole, které ji jen popisuje.

Jak to udělat ve fixmint

1. Vložte seznam do pole Váš seznam, jednu položku na řádek.
2. Nechte zaškrtnuté Oříznout mezery, což je výchozí nastavení, a zaškrtněte Ignorovat velikost písmen jen tam, kde velká písmena nic neznamenají.
3. Zaškrtněte Odstranit prázdné řádky, pokud chcete odstranit i prázdné řádky.
4. Vyberte pořadí: Zachovat pořadí, A→Z nebo Čísla.
5. Zkopírujte výsledek nebo použijte Stáhnout .txt.

Okrajové případy

• Prázdné řádky. Několik prázdných řádků za sebou může být považováno za duplicity. Chcete-li jeden ponechat kvůli mezeře, odstraňte je jako samostatný krok.
• Záznamy o více řádcích. Odstraňování duplicit funguje řádek po řádku. Pokud každý záznam zabírá více řádků, může záznam rozdělit a části nechat v nesprávném pořadí.
• Velmi velké seznamy. Velké soubory nejsou problém, ale porovnejte počet výstupních řádků s počtem vstupních, abyste věděli, co se změnilo.

Rychlé odpovědi

Seřadí se seznam sám, když odstraním duplicitní řádky?

Ne nutně. Mnoho nástrojů zachovává původní pořadí, takže pokud potřebujete konkrétní pořadí, seřaďte seznam zvlášť.

Proč se mi při řazení dostane item10 před item2?

Prosté abecední řazení porovnává vždy jeden znak a znak 1 je před znakem 2. Použijte přirozené řazení, které porovnává čísla jako čísla.

Měl bych při odstraňování duplicitních e-mailů ignorovat velikost písmen?

Obvykle ano, protože e-mailové adresy se v praxi chovají bez ohledu na velikost písmen. U identifikátorů, kde velikost písmen mění význam, ji ignorovat nesmíte.