Как найти дубликаты файлов и безопасно освободить место на диске

Дубликат — это файл, содержимое которого побайтно совпадает с содержимым другого файла. Одного совпадения имён недостаточно, и одинакового размера тоже. Чтобы найти настоящие дубликаты, сначала сгруппируйте файлы по размеру, а затем сравните отпечаток содержимого каждого файла. Прежде чем удалить любую копию, убедитесь, что останется одна хорошая копия и что остальное есть в резервной копии.

Поиск дубликатов файловОдни и те же файлы сохранены дваждыСделать бесплатно

Почему одинаковый размер может означать разные файлы

Размер — это количество байтов в файле. Два файла могут совпасть по размеру случайно или потому, что у них одинаковая фиксированная структура: шаблон формы, сохранение игры фиксированной длины или документ, в котором одна цифра изменилась с 12 на 13. Размер остаётся прежним, а содержимое — нет.

С именами дело обстоит не лучше. «фото (1).jpg» может быть другой картинкой, чем «фото.jpg», а два файла «бюджет.xlsx» в разных папках могут содержать разные цифры. Используйте размер, чтобы сузить список, а содержимое — чтобы принять решение.

Как хеширование доказывает, что файлы совпадают

Хеш-функция читает каждый байт файла и создаёт короткий отпечаток фиксированной длины. Часто используется SHA-256. Он всегда даёт 64 шестнадцатеричных символа (цифры от 0 до 9 и буквы от a до f), каким бы ни был размер файла. Изменится один байт — отпечаток изменится полностью.

Поэтому два файла с одинаковым отпечатком SHA-256 с практической точки зрения идентичны. Ни один известный метод не позволяет намеренно получить одинаковый SHA-256 у разных файлов.

Чтение всего файла — самая медленная часть, поэтому хороший поиск работает в несколько этапов:

1. Сгруппируйте файлы по размеру. Файл, размер которого не совпадает ни с одним другим, не может быть дубликатом, и его пропускают.
2. Вычисляйте отпечаток только для файлов, оставшихся в каждой группе.
3. Файлы с одинаковым отпечатком — дубликаты.

Похожие фото — это другая задача

Фото, отправленное через мессенджер, обычно пережимается и сохраняется заново. Его байты меняются, значит, меняется и отпечаток. Два снимка одной сцены, один из которых уменьшен или обрезан, выглядят для вас одинаково, но содержат разные байты. Поиск точных совпадений сочтёт их разными.

Такие фото сравнивайте глазами. Откройте снимки рядом в просмотрщике и оставьте больший и более чёткий. Меньшие копии удаляйте только после того, как посмотрели на них.

Сравните папку с её резервной копией

Прежде чем что-либо удалять из рабочей папки, проверьте, есть ли это в резервной копии. Сравните две папки, чтобы увидеть, что есть только с одной стороны, что изменилось и что было перемещено.

Важны два режима:

• Быстрый режим сопоставляет файлы по пути. Он считает два файла одинаковыми, если совпадают их размеры, а между двумя папками — ещё и даты изменения. Работает быстро, но изменённый файл, у которого размер и дата остались прежними, может пройти незамеченным.
• Проверка содержимого читает каждый файл, размер которого совпадает с обеих сторон, и сравнивает отпечатки SHA-256. Так находятся изменения, не затронувшие размер, а также файлы, которые были перемещены или переименованы.

Используйте проверку содержимого, прежде чем полагаться на резервную копию. Самая важная строка — «только в A»: у этих файлов нет копии с другой стороны.

Что заполняет диск

Диски заполняются в нескольких предсказуемых местах: старые видео, резервные копии телефона, папка загрузок, полная установщиков, образы дисков и целые копии папок, сделанные на всякий случай. Сначала посмотрите, что занимает место. Инструмент покажет самые большие папки, и вы начнёте с мест, где действительно занято место, а не будете удалять файлы наугад.

Дубликаты занимают место пропорционально своему размеру. Видео весом 4 GB (4 гигабайта), сохранённое трижды, занимает 12 GB. Оставьте одну копию — и освободите 8 GB.

Безопасно удалите лишние копии

1. Посмотрите каждую группу одинаковых файлов. Решите, какую копию оставить: ту, что лежит в папке, которой вы реально пользуетесь, или ту, у которой самое понятное имя.
2. Откройте копию, которую оставите. Убедитесь, что она открывается и выглядит правильно.
3. Проверьте резервную копию. Сравните папки, чтобы убедиться, что в резервной копии есть этот файл.
4. Переместите лишние копии в корзину, а не удаляйте их безвозвратно. Очищайте корзину только после нескольких дней обычной работы, если ничего не пропало.
5. Очистите корзину. Перемещение файлов в корзину не освобождает место на диске, пока её не очистят.

Особые случаи

• Жёсткие ссылки и ярлыки. Некоторые файлы, похожие на дубликаты, — это два имени одних и тех же данных на диске. Удаление одного имени не освобождает место, потому что данные остаются для второго имени.
• Синхронизируемые папки. Облачная папка или папка синхронизации передаёт каждое удаление всем устройствам, с которыми она синхронизируется. Проверьте настройки синхронизации, прежде чем удалять что-либо там.
• Папки программ. Приложения и система хранят одинаковые файлы, которые программе могут понадобиться в нескольких местах. Чистите личные папки, а не папки программ.
• Фотобиблиотеки. Приложения для фото ведут собственную библиотеку. Удаляйте дубликаты внутри приложения, а не в папке, которая лежит под ним, иначе библиотека может потерять связь со своими фотографиями.