Doppelte Zeilen entfernen und Listen richtig sortieren

Um doppelte Zeilen zu entfernen, löschst du jede Zeile, die eine frühere Zeile wiederholt. Vorher solltest du entscheiden, ob „gleich“ genau identisch oder identisch nach einer Bereinigung heißt. Exaktes Entfernen ist sicher, findet aber die meisten echten Dubletten nicht. Leerzeichen entfernen und Groß-/Kleinschreibung ignorieren erkennt weit mehr und ist das, was die meisten bei Listen mit E-Mail-Adressen, Keywords oder Artikelnummern tatsächlich brauchen.

Doppelte Zeilen entfernenListe enthält DuplikateKostenlos loslegen

Ein Beispiel

Hier ist eine Liste mit sechs E-Mail-Adressen, aus einer Tabelle kopiert:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Drei Dinge spielen eine Rolle. Die erste und die letzte Zeile sind exakte Kopien. Die zweite Zeile unterscheidet sich nur durch das große A. Die dritte Zeile hat ein nachgestelltes Leerzeichen, das man nicht sieht. So sehen die Zahlen unter jeder Regel aus:

Regel	Verbleibende Zeilen	Warum
Exakte Dubletten entfernen	5	Nur die letzte „anna“-Zeile stimmt exakt mit der ersten überein
Leerzeichen entfernen und Groß-/Kleinschreibung ignorieren	3	anna, ben und cara sind die einzigen eindeutigen Adressen

E-Mail-Adressen werden in der Praxis fast immer ohne Beachtung der Groß-/Kleinschreibung behandelt, daher ist hier die zweite Regel die richtige. Nutze zuerst E-Mail-Adressen und Links extrahieren, wenn die Liste aus einer unübersichtlichen Seite stammt, damit nur echte Adressen in den Dubletten-Schritt gelangen.

Fast-Dubletten, auf die du achten solltest

Fast-Dubletten sind Zeilen, die für einen Computer verschieden aussehen, für dich aber dasselbe bedeuten. Häufige Ursachen:

• Großbuchstaben: „Blue Widget“ und „blue widget“.
• Nachgestellte oder führende Leerzeichen, in einem Editor oft unsichtbar.
• Geschützte Leerzeichen oder andere versteckte Zeichen, die wie normale Leerzeichen aussehen (Versteckte Zeichen erklärt sie).
• Unterschiedliche Zeichensetzung: „E-Mail“ und „Email“.
• Pluralformen, die eine menschliche Entscheidung brauchen und von einem Tool nicht zusammengeführt werden sollten.

Bereinige die Liste in dieser Reihenfolge: Leerzeichen entfernen, dann Groß-/Kleinschreibung ignorieren, wo sie nichts bedeutet, und dann Dubletten entfernen. Bewahre eine Kopie des Originals auf und vergleiche beide Listen, um zu prüfen, was entfernt wurde.

Groß- und Kleinschreibung kann wichtig sein

Das Ignorieren der Groß-/Kleinschreibung ist nicht immer unbedenklich. Artikelnummern, Dateinamen unter Linux und manche Kennungen unterscheiden zwischen Groß- und Kleinschreibung, daher können „AB-101“ und „ab-101“ zwei verschiedene Artikel sein. Prüfe vor dem Zusammenführen von Einträgen, die sich nur in der Schreibweise unterscheiden, ob das System, in das du die Liste einfügst, sie als gleich behandelt.

Alphabetische gegen natürliche Sortierung

Beim Sortieren einer Liste mit Einträgen, die Zahlen enthalten, kommt oft eine unerwartete Reihenfolge heraus. Eine einfache alphabetische Sortierung vergleicht Zeichen für Zeichen, daher steht „item10“ vor „item2“, weil die Ziffer 1 vor der 2 kommt.

So sieht der Unterschied bei drei Einträgen aus:

• Alphabetisch: item1, item10, item2
• Natürlich: item1, item2, item10

Die natürliche Sortierung vergleicht Zahlen als Zahlen, daher kommt 2 vor 10. Warum 10 vor 2 sortiert wird wird genauer erklärt. Nutze die natürliche Sortierung für Dateinamen, Regalcodes, Versionsnummern und alles, was mit einer Zahl endet. Die einfache alphabetische Sortierung eignet sich für Namen und Wörter, wo sie erwartet wird. Um beide Reihenfolgen mit deiner eigenen Liste zu vergleichen, füge sie in Zeilen sortieren ein und wechsle zwischen A→Z und Zahlen.

Zwei weitere Punkte helfen:

• Sortieren entfernt keine Dubletten. Entferne sie zuerst und sortiere danach, sonst stehen Dubletten nebeneinander. Sie sind dann leichter zu sehen, aber nicht entfernt.
• Behalte die ursprüngliche Reihenfolge bei, wenn die Liste Bedeutung hat. Eine Liste mit Schritten oder eine Rangliste sollte gar nicht sortiert werden.

Das erste Vorkommen behalten

Wenn du Dubletten entfernst, behalten die meisten Tools das erste Vorkommen jeder Zeile und löschen die späteren. Das ist wichtig, wenn Zeilen zusätzliche Informationen tragen, etwa einen Namen und ein Datum. Wenn die erste Kopie die veraltete ist, sortiere die Liste zuerst nach Datum oder prüfe die Dubletten von Hand, bevor du sie entfernst.

Ergebnis prüfen

Zähle die Zeilen vorher und nachher. Im E-Mail-Beispiel wurden aus sechs Zeilen drei eindeutige Adressen, also wurden drei Zeilen entfernt. Wenn die Anzahl niedriger ist als erwartet, schau dir die entfernten Zeilen an. Eine Dublettenentfernung vergleicht die ganze Zeile. Deshalb können zwei verschiedene Personen mit gleichem Namen in einer Liste mit Datensätzen oder zwei Produkte mit gleichem Titel, aber unterschiedlichen Codes identisch aussehen, sobald die Codes abgeschnitten sind. Entferne Dubletten aus dem Feld, das einen Eintrag definiert, nicht aus einem Feld, das ihn nur beschreibt.

So geht es mit fixmint

1. Füge die Liste unter Deine Liste ein, ein Eintrag pro Zeile.
2. Lass Leerzeichen entfernen aktiviert (das ist die Voreinstellung) und setze Groß-/Kleinschreibung ignorieren nur dort, wo Großbuchstaben nichts bedeuten.
3. Setze den Haken bei Leere Zeilen entfernen, um auch Leerzeilen zu löschen.
4. Wähle eine Reihenfolge: Reihenfolge beibehalten, A→Z oder Zahlen.
5. Kopiere das Ergebnis oder nutze Als .txt herunterladen.

Sonderfälle

• Leerzeilen. Mehrere Leerzeilen hintereinander können als Dubletten gelten. Entferne sie als separaten Schritt, wenn du eine Leerzeile zur Gliederung behalten willst.
• Mehrzeilige Datensätze. Das Entfernen von Dubletten arbeitet zeilenweise. Besteht jeder Datensatz aus mehreren Zeilen, kann es einen Datensatz auseinanderreißen und die Teile in falscher Reihenfolge lassen.
• Sehr große Listen. Große Dateien sind kein Problem. Vergleiche aber die Anzahl im Ergebnis mit der Anzahl in der Eingabe, damit du weißt, was sich geändert hat.

Schnelle Antworten

Sortiert das Entfernen doppelter Zeilen auch die Liste?

Nicht unbedingt. Viele Tools behalten die ursprüngliche Reihenfolge, also sortiere separat, wenn du eine Reihenfolge brauchst.

Warum kommt item10 vor item2, wenn ich sortiere?

Die einfache alphabetische Sortierung vergleicht jeweils ein Zeichen, und die Ziffer 1 kommt vor der 2. Nutze die natürliche Sortierung, die Zahlen als Zahlen vergleicht.

Sollte ich die Groß-/Kleinschreibung beim Entfernen doppelter E-Mails ignorieren?

Meistens ja, weil E-Mail-Adressen in der Praxis ohne Beachtung der Groß-/Kleinschreibung behandelt werden. Ignoriere die Schreibweise nicht bei Kennungen, bei denen Groß- und Kleinschreibung die Bedeutung ändert.