Xóa dòng trùng lặp và sắp xếp danh sách đúng cách

Để xóa dòng trùng lặp, bạn hãy bỏ mọi dòng lặp lại một dòng trước đó. Trước tiên, hãy quyết định “giống nhau” nghĩa là giống hệt hay giống nhau sau khi làm sạch. Xóa theo kiểu giống hệt hoàn toàn thì an toàn nhưng bỏ sót phần lớn các dòng trùng thực tế. Cắt khoảng trắng và bỏ qua chữ hoa/thường sẽ bắt được nhiều trường hợp hơn, và đây thường là điều mọi người thực sự cần khi xử lý danh sách email, từ khóa hay mã sản phẩm.

Xóa dòng trùng lặpDanh sách có dòng trùngDùng miễn phí

Ví dụ minh họa

Đây là danh sách sáu địa chỉ email được sao chép từ bảng tính:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

Có ba điểm cần chú ý. Dòng đầu và dòng cuối là hai bản sao giống hệt nhau. Dòng thứ hai chỉ khác ở chữ A viết hoa. Dòng thứ ba có một khoảng trắng ở cuối mà bạn không nhìn thấy. Dưới đây là số dòng còn lại theo từng quy tắc:

Quy tắc	Số dòng còn lại	Lý do
Xóa các dòng giống hệt nhau	5	Chỉ dòng “anna” cuối cùng khớp hoàn toàn với dòng đầu
Cắt khoảng trắng và bỏ qua chữ hoa/thường	3	anna, ben và cara là ba địa chỉ duy nhất

Trên thực tế, địa chỉ email hầu như không phân biệt chữ hoa/thường, nên quy tắc thứ hai mới là lựa chọn đúng ở đây. Nếu danh sách được lấy từ một trang web lộn xộn, hãy dùng Tách email và liên kết trước để chỉ còn địa chỉ thật đi vào bước xóa trùng.

Các dòng gần giống cần lưu ý

Dòng gần giống là những dòng trông khác nhau với máy tính nhưng lại có nghĩa giống nhau với bạn. Các nguyên nhân thường gặp:

• Chữ hoa: “Blue Widget” và “blue widget”.
• Khoảng trắng thừa ở đầu hoặc cuối, thường không nhìn thấy được trong trình soạn thảo.
• Khoảng trắng không ngắt dòng hoặc các ký tự ẩn khác, trông giống khoảng trắng thông thường (ký tự ẩn giải thích chi tiết).
• Dấu câu khác nhau: “e-mail” và “email”.
• Dạng số nhiều, cần người quyết định và không nên để công cụ tự gộp.

Hãy làm sạch danh sách theo thứ tự sau: cắt khoảng trắng, rồi bỏ qua chữ hoa/thường ở những chỗ chữ hoa không có ý nghĩa, sau đó mới xóa trùng. Giữ một bản sao của danh sách gốc và so sánh hai danh sách để kiểm tra những gì đã bị xóa.

Chữ hoa có thể quan trọng

Bỏ qua chữ hoa không phải lúc nào cũng an toàn. Mã sản phẩm, tên tệp trên Linux và một số mã định danh có phân biệt chữ hoa/thường, nên “AB-101” và “ab-101” có thể là hai mặt hàng khác nhau. Trước khi gộp các mục chỉ khác nhau ở chữ hoa, hãy kiểm tra xem hệ thống nhận danh sách của bạn có coi chúng là một hay không.

Sắp xếp theo bảng chữ cái và sắp xếp tự nhiên

Khi sắp xếp danh sách có chứa số, kết quả thường không như bạn mong đợi. Kiểu sắp xếp theo bảng chữ cái thông thường so sánh từng ký tự một, nên “item10” đứng trước “item2”, vì ký tự 1 đứng trước ký tự 2.

Đây là sự khác biệt với ba mục:

• Theo bảng chữ cái: item1, item10, item2
• Tự nhiên: item1, item2, item10

Sắp xếp tự nhiên so sánh các số như số, nên 2 đứng trước 10. Vì sao 10 đứng trước 2 được giải thích kỹ hơn. Hãy dùng sắp xếp tự nhiên cho tên tệp, mã kệ hàng, số phiên bản và mọi thứ kết thúc bằng một con số. Dùng sắp xếp theo bảng chữ cái cho tên người và từ ngữ, vì đó là cách mọi người quen thuộc. Để so sánh cả hai kiểu trên danh sách của riêng bạn, hãy dán vào Sắp xếp dòng rồi chuyển qua lại giữa A→Z và Số.

Có thêm hai điểm sau cũng hữu ích:

• Sắp xếp không xóa các dòng trùng. Hãy xóa trùng trước, rồi mới sắp xếp; nếu không, các dòng trùng sẽ nằm cạnh nhau, dễ nhận ra hơn nhưng vẫn chưa bị xóa.
• Giữ nguyên thứ tự gốc nếu thứ tự đó có ý nghĩa. Danh sách các bước thực hiện hoặc bảng xếp hạng không nên sắp xếp lại.

Giữ lần xuất hiện đầu tiên

Khi xóa dòng trùng, hầu hết công cụ giữ lần xuất hiện đầu tiên của mỗi dòng và bỏ các lần sau. Điều này quan trọng khi các dòng chứa thông tin bổ sung, chẳng hạn tên và ngày tháng. Nếu bản sao đầu tiên là bản cũ, hãy sắp xếp danh sách theo ngày trước, hoặc kiểm tra các dòng trùng bằng tay, rồi mới xóa.

Kiểm tra kết quả

Hãy đếm số dòng trước và sau khi xử lý. Trong ví dụ về email, sáu dòng thành ba địa chỉ duy nhất, nghĩa là ba dòng đã bị xóa. Nếu số lượng thấp hơn bạn dự đoán, hãy xem lại các dòng đã bị xóa. Việc xóa trùng so khớp toàn bộ dòng, nên hai người khác nhau cùng tên trong một danh sách các hàng, hoặc hai sản phẩm cùng tên nhưng khác mã, có thể trông giống hệt nhau khi mã bị cắt bỏ. Hãy xóa trùng dựa trên trường xác định mục, đừng dựa trên trường chỉ mô tả mục.

Cách làm với fixmint

1. Dán danh sách vào Danh sách của bạn, mỗi mục một dòng.
2. Giữ Cắt khoảng trắng được chọn (mặc định), và chọn Bỏ qua chữ hoa/thường chỉ khi chữ hoa không có ý nghĩa.
3. Chọn Bỏ dòng trống để xóa luôn các dòng trống.
4. Chọn thứ tự: Giữ nguyên thứ tự, A→Z hoặc Số.
5. Sao chép kết quả, hoặc dùng Tải về .txt.

Các trường hợp đặc biệt

• Dòng trống. Nhiều dòng trống liên tiếp có thể được coi là trùng. Nếu bạn muốn giữ lại một dòng trống để tạo khoảng cách, hãy xử lý riêng bước này.
• Bản ghi nhiều dòng. Xóa trùng hoạt động theo từng dòng. Nếu mỗi bản ghi trải trên nhiều dòng, công cụ có thể tách bản ghi và làm các phần bị sai thứ tự.
• Danh sách rất lớn. Tệp lớn vẫn xử lý được, nhưng hãy so sánh số dòng đầu ra với số dòng đầu vào để biết chính xác những gì đã thay đổi.

Câu hỏi thường gặp

Xóa dòng trùng có tự động sắp xếp danh sách không?

Không nhất thiết. Nhiều công cụ giữ thứ tự gốc, nên nếu bạn cần một thứ tự nhất định, hãy sắp xếp riêng.

Vì sao khi sắp xếp, item10 đứng trước item2?

Kiểu sắp xếp theo bảng chữ cái thông thường so sánh từng ký tự một, và ký tự 1 đứng trước ký tự 2. Hãy dùng sắp xếp tự nhiên, kiểu so sánh các số như số.

Có nên bỏ qua chữ hoa/thường khi xóa email trùng không?

Thường là có, vì trên thực tế địa chỉ email không phân biệt chữ hoa/thường. Đừng bỏ qua chữ hoa/thường với các mã định danh mà chữ hoa làm thay đổi ý nghĩa.