Cara menghapus baris duplikat dan mengurutkan daftar dengan benar

Untuk menghapus baris duplikat, hapus setiap baris yang mengulang baris sebelumnya. Namun, pertama-tama tentukan apakah "sama" berarti persis identik atau identik setelah dibersihkan. Penghapusan persis itu aman, tetapi melewatkan sebagian besar duplikat sungguhan. Memangkas spasi dan mengabaikan huruf besar-kecil menangkap jauh lebih banyak duplikat, dan inilah yang paling dibutuhkan untuk daftar email, kata kunci, atau kode produk.

Hapus baris duplikatDaftar ada yang gandaPakai gratis

Contoh langkah demi langkah

Berikut daftar enam alamat email yang disalin dari spreadsheet:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Ada tiga hal yang terjadi. Baris pertama dan terakhir adalah salinan persis. Baris kedua hanya berbeda pada huruf A kapital. Baris ketiga memiliki spasi di akhir yang tidak terlihat. Berikut jumlah baris yang tersisa menurut setiap aturan:

Aturan	Baris yang tersisa	Alasan
Hapus duplikat persis	5	Hanya baris "anna" terakhir yang persis sama dengan yang pertama
Pangkas spasi dan abaikan huruf besar-kecil	3	anna, ben, dan cara adalah satu-satunya alamat unik

Dalam praktiknya, alamat email hampir selalu tidak peka huruf besar-kecil, jadi aturan kedua yang Anda butuhkan di sini. Gunakan ekstrak email dan tautan terlebih dahulu jika daftar berasal dari halaman yang berantakan, agar hanya alamat email yang valid masuk ke tahap penghapusan duplikat.

Duplikat yang hampir sama perlu diwaspadai

Duplikat yang hampir sama adalah baris yang bagi komputer terlihat berbeda, tetapi bagi Anda bermakna sama. Penyebab umumnya:

• Huruf kapital: "Blue Widget" dan "blue widget".
• Spasi di awal atau akhir, yang sering tidak terlihat di editor.
• Spasi insecable atau karakter tersembunyi lainnya, yang tampak seperti spasi biasa (karakter tersembunyi menjelaskannya).
• Tanda baca yang berbeda: "e-mail" dan "email".
• Bentuk jamak, yang memerlukan keputusan manusia dan tidak boleh digabung oleh alat.

Bersihkan daftar dengan urutan ini: pangkas spasi, lalu abaikan huruf besar-kecil jika huruf besar-kecil tidak bermakna, lalu hapus duplikat. Simpan salinan asli, dan bandingkan kedua daftar untuk memastikan apa saja yang dihapus.

Huruf besar-kecil bisa berarti

Mengabaikan huruf besar-kecil tidak selalu aman. Kode produk, nama file di Linux, dan beberapa pengenal peka huruf besar-kecil, sehingga "AB-101" dan "ab-101" mungkin dua item yang berbeda. Sebelum menggabungkan item yang hanya berbeda pada huruf besar-kecil, periksa apakah sistem tujuan daftar tersebut memperlakukannya sebagai hal yang sama.

Urutan abjad versus urutan alami

Mengurutkan daftar yang berisi angka sering menghasilkan urutan yang tidak terduga. Pengurutan abjad biasa membandingkan karakter satu per satu, sehingga "item10" muncul sebelum "item2", karena karakter 1 datang sebelum 2.

Berikut perbedaannya untuk tiga item:

• Abjad: item1, item10, item2
• Alami: item1, item2, item10

Pengurutan alami membandingkan angka sebagai angka, sehingga 2 datang sebelum 10. Mengapa 10 diurutkan sebelum 2 dijelaskan lebih rinci. Gunakan pengurutan alami untuk nama file, kode rak, nomor versi, dan apa pun yang diakhiri dengan angka. Gunakan pengurutan abjad biasa untuk nama dan kata, karena itulah yang biasanya diharapkan orang. Untuk membandingkan kedua urutan pada daftar Anda sendiri, tempel daftar ke urutkan baris lalu beralih antara A→Z dan Angka.

Ada dua poin tambahan yang membantu:

• Pengurutan tidak menghapus duplikat. Hapus duplikat terlebih dahulu, lalu urutkan, atau pengurutan hanya akan menempatkan duplikat berdampingan, sehingga lebih mudah dilihat tetapi tidak terhapus.
• Pertahankan urutan asli jika urutan daftar memiliki makna. Daftar langkah atau peringkat sebaiknya tidak diurutkan sama sekali.

Mempertahankan kemunculan pertama

Saat Anda menghapus duplikat, sebagian besar alat mempertahankan kemunculan pertama setiap baris dan membuang yang berikutnya. Ini penting jika baris membawa informasi tambahan, seperti nama dan tanggal. Jika salinan pertama ternyata yang sudah usang, urutkan daftar berdasarkan tanggal terlebih dahulu, atau periksa duplikatnya secara manual, sebelum menghapusnya.

Periksa hasilnya

Hitung jumlah baris sebelum dan sesudah. Pada contoh email, enam baris menjadi tiga alamat unik, sehingga tiga baris dihapus. Jika jumlahnya lebih sedikit dari yang Anda perkirakan, lihat baris-baris yang dihapus. Penghapusan duplikat mencocokkan seluruh baris, sehingga dua orang berbeda dengan nama yang sama dalam daftar baris, atau dua produk dengan judul yang sama tetapi kode berbeda, bisa terlihat identik jika kodenya dipotong. Hapus duplikat dari kolom yang mendefinisikan item, bukan dari kolom yang hanya menjelaskannya.

Cara melakukannya dengan fixmint

1. Tempel daftar ke Daftar Anda, satu item per baris.
2. Biarkan Pangkas spasi tercentang, yang merupakan pengaturan bawaan, dan centang Abaikan huruf besar-kecil hanya jika huruf kapital tidak bermakna.
3. Centang Hapus baris kosong untuk menghapus baris kosong juga.
4. Pilih urutan: Pertahankan urutan, A→Z, atau Angka.
5. Salin hasilnya, atau gunakan Unduh .txt.

Kasus khusus

• Baris kosong. Beberapa baris kosong berurutan dapat dianggap duplikat. Hapus baris kosong sebagai langkah terpisah jika Anda ingin menyisakan satu untuk jarak.
• Catatan multibaris. Penghapusan duplikat bekerja baris per baris. Jika setiap catatan terdiri dari beberapa baris, alat ini bisa memisahkan catatan dan membuat bagiannya berada dalam urutan yang salah.
• Daftar sangat besar. File besar tidak masalah, tetapi periksa jumlah keluaran dengan jumlah masukan agar Anda tahu apa yang berubah.

Jawaban singkat

Apakah menghapus baris duplikat juga mengurutkan daftar?

Belum tentu. Banyak alat mempertahankan urutan asli, jadi urutkan secara terpisah jika Anda memerlukan urutan tertentu.

Mengapa item10 muncul sebelum item2 saat saya mengurutkan?

Pengurutan abjad biasa membandingkan satu karakter per waktu, dan karakter 1 datang sebelum 2. Gunakan pengurutan alami, yang membandingkan angka sebagai angka.

Haruskah saya mengabaikan huruf besar-kecil saat menghapus email duplikat?

Biasanya ya, karena alamat email dalam praktiknya diperlakukan tidak peka huruf besar-kecil. Jangan abaikan huruf besar-kecil untuk pengenal yang maknanya berubah jika huruf besarnya berbeda.