중복 줄 제거와 목록 정렬, 제대로 하는 방법

중복 줄을 제거하려면 앞에 나온 줄과 같은 줄을 모두 지우면 돼요. 다만 먼저 "같다"는 기준을 정해야 해요. 글자 그대로 완전히 같은 줄만 볼지, 정리한 뒤에 같아지는 줄까지 볼지 정하는 거예요. 완전 일치로만 지우면 안전하지만 실제 중복의 대부분을 놓쳐요. 앞뒤 공백을 지우고 대소문자를 무시하면 훨씬 많이 찾을 수 있고, 이메일이나 키워드, 제품 코드 목록에서는 보통 이 방식이 필요해요.

중복 줄 제거목록에 같은 항목이 여러 번 있어요무료로 사용하기

예제로 살펴보기

스프레드시트에서 복사한 이메일 주소 여섯 개가 있다고 해요:

[email protected]
[email protected]
[email protected] 
[email protected]
[email protected]
[email protected]

여기에는 세 가지 문제가 있어요. 첫 줄과 마지막 줄은 완전히 같아요. 두 번째 줄은 A만 대문자예요. 세 번째 줄 끝에는 눈에 보이지 않는 공백이 있어요. 규칙별로 남는 줄 수를 비교하면 다음과 같아요:

규칙	남는 줄 수	이유
완전히 같은 줄만 제거	5	첫 번째 anna 줄과 완전히 같은 것은 마지막 anna 줄뿐이에요
앞뒤 공백 제거 후 대소문자 무시	3	고유한 주소는 anna, ben, cara 세 개뿐이에요

실제로 이메일 주소는 거의 대소문자를 구분하지 않으니, 이 경우에는 두 번째 규칙이 맞아요. 목록이 지저분한 웹페이지에서 가져온 것이라면 먼저 이메일과 링크 추출을 써서 실제 주소만 중복 제거 단계로 넘기세요.

주의해야 할 거의 중복된 줄

거의 중복된 줄은 컴퓨터에는 달라 보이지만 사람에게는 같은 뜻인 줄을 말해요. 흔한 원인은 다음과 같아요:

• 대소문자: "Blue Widget"과 "blue widget"
• 편집기에서는 잘 안 보이는 앞뒤 공백
• 일반 공백처럼 보이는 줄 바꿈 없는 공백이나 다른 숨은 문자(숨은 문자에서 자세히 설명해요)
• 다른 문장부호: "e-mail"과 "email"
• 복수형: 사람이 판단해야 하므로 도구가 임의로 합치면 안 돼요

목록은 다음 순서로 정리하세요. 먼저 공백을 지우고, 대소문자가 의미 없을 때는 무시하고, 마지막에 중복을 제거해요. 원본은 따로 보관해 두고, 무엇이 빠졌는지 텍스트 비교로 원본과 결과를 대조해 확인하세요.

대소문자가 중요할 때

대소문자를 무시하는 것이 항상 안전하지는 않아요. 제품 코드, 리눅스의 파일 이름, 일부 식별자는 대소문자를 구분하기 때문에 "AB-101"과 "ab-101"이 서로 다른 항목일 수 있어요. 대소문자만 다른 항목을 합치기 전에, 목록을 넣을 시스템이 둘을 같은 것으로 보는지 먼저 확인하세요.

사전순 정렬과 자연 정렬

숫자가 들어 있는 항목을 정렬하면 예상과 다른 순서가 나오는 경우가 많아요. 일반 사전순 정렬은 글자를 하나씩 비교하기 때문에, 1이 2보다 앞에 있다는 이유로 "item10"이 "item2"보다 앞에 와요.

세 항목으로 차이를 보면 이래요:

• 사전순: item1, item10, item2
• 자연 정렬: item1, item2, item10

자연 정렬은 숫자를 숫자 크기로 비교하므로 2가 10보다 앞에 와요. item10이 item2보다 먼저 나오는 이유는 따로 자세히 설명했어요. 파일 이름, 선반 코드, 버전 번호처럼 끝에 숫자가 붙는 항목에는 자연 정렬을 쓰세요. 이름이나 단어처럼 사람들이 익숙한 순서를 기대하는 목록에는 일반 사전순 정렬을 쓰면 돼요. 내 목록으로 두 가지 순서를 모두 비교해 보고 싶다면 줄 정렬에 붙여 넣고 A→Z와 숫자순을 바꿔 보세요.

정렬할 때 알아두면 좋은 점이 두 가지 더 있어요:

• 정렬한다고 중복이 사라지지는 않아요. 먼저 중복을 제거한 다음 정렬하세요. 그렇지 않으면 중복끼리 붙어서 보이기는 해도 지워지지는 않아요.
• 목록에 의미가 있다면 원래 순서를 유지하세요. 단계별 절차나 순위 목록은 아예 정렬하면 안 돼요.

첫 번째 줄 남기기

중복을 제거할 때 대부분의 도구는 각 줄의 첫 번째 것을 남기고 나중에 나온 것을 지워요. 이 점은 이름과 날짜처럼 줄마다 추가 정보가 있을 때 중요해요. 첫 번째 줄이 오래된 정보라면, 중복을 제거하기 전에 날짜순으로 먼저 정렬하거나 중복된 줄을 직접 확인하세요.

결과 확인하기

처리 전후의 줄 수를 세어 보세요. 앞의 이메일 예제에서는 여섯 줄이 고유한 주소 세 개가 되었으니 세 줄이 제거된 거예요. 줄 수가 예상보다 적다면 지워진 줄을 확인하세요. 중복 제거는 줄 전체를 기준으로 비교하기 때문에, 행으로 이루어진 목록에서 이름이 같은 두 사람이나, 제목은 같지만 코드가 다른 두 제품은 코드 부분을 잘라내면 똑같아 보일 수 있어요. 중복은 항목을 정의하는 필드를 기준으로 제거하고, 항목을 설명하기만 하는 필드를 기준으로 제거하지 마세요.

fixmint로 하는 방법

1. 목록을 입력 목록에 붙여 넣으세요. 한 줄에 항목 하나씩 넣으면 돼요.
2. 앞뒤 공백 제거는 기본으로 켜져 있으니 그대로 두고, 대문자가 의미 없을 때만 대소문자 무시를 체크하세요.
3. 빈 줄도 지우고 싶다면 빈 줄 삭제를 체크하세요.
4. 원래 순서 유지, A→Z, 숫자순 가운데 정렬 방식을 고르세요.
5. 결과를 복사하거나 .txt 다운로드를 누르세요.

예외 상황

• 빈 줄. 빈 줄이 여러 개 연달아 있으면 중복으로 처리될 수 있어요. 간격을 위해 한 줄은 남기고 싶다면 빈 줄 처리는 따로 하세요.
• 여러 줄로 된 항목. 중복 제거는 한 줄씩 처리해요. 항목 하나가 여러 줄에 걸쳐 있다면 항목이 쪼개지고 각 부분의 순서가 어긋날 수 있어요.
• 아주 큰 목록. 큰 파일도 처리할 수 있어요. 다만 결과의 줄 수와 입력의 줄 수를 비교해서 무엇이 바뀌었는지 확인하세요.

빠른 답변

중복 줄을 제거하면 목록도 정렬되나요?

꼭 그렇지는 않아요. 많은 도구가 원래 순서를 그대로 유지하니, 순서가 필요하면 따로 정렬하세요.

정렬하면 왜 item10이 item2보다 먼저 나오나요?

일반 사전순 정렬은 글자를 하나씩 비교하고, 1은 2보다 앞에 있어요. 숫자를 숫자 크기로 비교하는 자연 정렬을 쓰세요.

중복 이메일을 제거할 때 대소문자를 무시해야 하나요?

보통은 그래요. 이메일 주소는 실제로 대소문자를 구분하지 않고 다뤄지기 때문이에요. 대소문자에 따라 의미가 달라지는 식별자에는 대소문자를 무시하지 마세요.