Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

• подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
• галерея заняла: 71.4Мб
• время создания: 26 мин. 54 сек.
• время сравнения и вывода результатов: 6 мин. 31 сек.
• результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

Наверняка у вас есть большая база фотографий. А бывало так, что просматриваете вы фотографии из этой базы и возникает ощущение, что некоторые фотографии повторяются ? Вручную искать дубликаты фотографий - долго, мучительно и глупо. Соглашусь с теми, кто скажет, что это попросту бесполезное занятие, ведь фотографии занимают не так уж и много места жёстком диске, однако иметь хорошо упорядоченный каталог фотографий всё-таки хочется. Да и не было бы этой статьи, если бы не существовало программного способа найти дубликаты картинок , поэтому сделать вам это не составит никакого труда!

Для поиска дублирующихся фотографий можно использовать программу AntiDupl.NET . Программа абсолютна бесплатная, поддерживает основные графические форматы: JPEG, GIF, TIFF, BMP, PNG, EMF, WMF, EXIF и ICON, имеет русский интерфейс. И собственно прекрасно выполняет свою основную функцию, поиск дубликатов.

От слов к делу. Скачав, по представленной выше ссылке, последнюю версию программы AntiDupl.NET , вы получите на своём компьютере самораспаковывающийся архив. Дважды кликнув по нему, вы увидите следующее окошко, где нам будет предложено выбрать место для распаковки файлов. Распаковываем прямо на рабочий стол.

В результате в том месте, которое вы указали, появится папочка с программой, готовой к работе. Долго не думая, запускаем её. Изначально всё у нас там на английском языке. Чтобы увидеть родной русский язык делаем следующее: Нажимаем View - Language - Русский.

В Опциях можно добавить галочку: Искать повёрнутые и зеркальные дубликаты - так как часто некоторые одинаковые фотографии, оказываются попросту перевёрнутыми.

Далее выбираем папку, в которой лежат фотографии и в которой предположительно есть дубликаты. Для этого: Нажимаем на значок папки - появляется окошко Пути - нажимаем добавит каталог - выбираем нужную папку - нажимаем Ок. Если необходим поиск не в одной, а в нескольких папках проделываем эту операцию ещё раз.

Для запуска поиска нажимаем на зелёный значок play.

В итоге программа нам выведет список дубликатов картинок. Далее вы можете либо удалить обе либо один из дубликатов.

Если в опциях выставить Учитывать размер картинок и Учитывать тип картинок, то программы будет находить дубликаты только одного размера и только в одном расширении соответственно. Выставлять данные галки я бы не советовал, так как часто попадаются одинаковые картинки, только разного размера.

«Поиск дубликатов в больших коллекциях фотографий»

Image Dupeless 1.6.3 (русский) предназначен для поиска похожих изображений (дубликатов) в больших коллекциях. Поддерживаются графические файлы в форматах JPEG, GIF, BMP, PCX, PNG, TIFF, PGM, WMF, EMF, EPS, PSD, ICO. Сравнение основывается на содержании изображений вне зависимости от их размера, формата, разрешения и т.п.
Имеются продвинутые возможности каталогизации имеющихся на CD галерей и дальнейшей off-line работы с ними. При этом сравнение вновь поступающих изображений с уже имеющимися в галерее занимает значительно меньше времени, чем полное пересканирование самой галереи, и возможно даже при отсутствии самого CD с галереей. Имеются внутренние средства сравнения, удаления, перемещения и обновления файлов, изменения привязки корневого каталога галереи.
Ключевые особенности:
- уникальная возможность слияния серий изображений, основываясь на информации о похожести;
- опциональная возможность хранения миниатюр изображений и работа в режиме off-line;
- возможность сравнения галереи с новыми изображениями без ее пересканирования и при отсутствии ее исходных картинок (только по файлу галереи), а также сравнения галерей между собой;
- возможность поиска в галерее изображений, похожих на заданное;
- возможность сохранять результаты поиска дубликатов;
- возможность быстро обновить галерею, приведя ее в соответствие файлам на диске без повторного чтения (например после переноса галереи на новое место);
- возможность задать определяемый пользователем список непохожих изображений (например, когда вы не хотите удалять некоторые очень похожие пары и не хотите, чтобы они появлялись в списке найденных дубликатов после каждого нового сравнения);
- возможность автоматически, по задаваемым пользователем условиям, отметить для дальнейшего удаления "плохие" дубли;
- наглядное и удобное представление результатов поиска дублей;
- возможность варьирования соотношением производительность/удобство путем изменения параметров;
- возможность работы с описаниями изображений из файла "descript.ion";
- возможность импорта/экспорта списков дубликатов.
скачать (4 Мб) >

Graf2 1.02.0 Free rus

Программа для поиска дубликатов изображений и просто похожих картинок, группового переименования и просмотра изображений. Поддерживаются форматы JPG, ICO, BMP, GIF, TIF, PNG. Программа призвана обеспечить 2 основные функции: Поиск дубликатов изображений и организация удобного режима упорядочения и переименования файлов в каталоге. Кроме того программу можно использовать в качестве просмотрщика графических файлов. Обеспечивает удобный режим обработки полученного набора дубликатов, многопоточность, английский и русский языки, хелп...

ОС : Windows® XP, Vista, 7
Размер : 1.2 Mb

AntiDupl.NET 2.2.4.528 RUS FREE

Как правило, у современных компьютерных пользователей имеются большие коллекции изображений в различных форматах. И чем больше эти коллекции, тем более вероятно в них наличие большого числа дубликатов. Естественное желание пользователя - избавиться от них. Однако, если коллекция достаточно большая, то заниматься этим вручную - весьма утомительное и непродуктивное занятие. Программа AntiDupl.NET поможет вам автоматизировать данный процесс. Она способна находить и выводить дубликаты изображений в основных графических форматах: JPEG, GIF, TIFF, BMP, PNG, EMF, WMF, EXIF и ICON. Сравнение ведется на основании содержимого файлов, поэтому программа может находить не только полностью идентичные, но и похожие изображения. Кроме того, программа умеет находить изображения с некоторыми типами дефектов. Программа AntiDupl.NET - бесплатна, достаточно проста в управлении, имеет высокую скорость и точность работы, поддерживает русский интерфейс.

ОС: Windows 2000/XP/Vista/7 (x86/x64)
Размер: 1,35 Мб
Скачать AntiDupl.NET 2.2.4.528 Rus бесплатно
Эта программа быстро и легко поможет вам найти дубликаты изображений на вашем компьютере, а затем удалить их. Зачастую бывает, что одинаковые фотографии или картинки находятся в разных папках или на разных дисках вашего компьютера. Такие дубликаты изображений занимают место на диске и, в конечном итоге, это сказывается на производительности вашего ПК. Вот почему так важно оперативно и регулярно чистить диск от дублирующихся изображений и других дубликатов файлов. Duplicate Image Remover Free автоматически и очень быстро найдет повторяющиеся изображения, значительно экономя ваше время. Вам просто нужно будет в полученном отчете пометить копии фото и картинок, которые вам больше не нужны, и дать программе команду удалить дубликаты изображений.

Интерфейс этой утилиты настолько прост, что с ней могут работать даже начинающие пользователи ПК. Дизайн программы выполнен в минималистическом стиле, поэтому ничто не отвлекает пользователя от главной функции программы – поиска и удаления дубликатов картинок. Данный бесплатный инструмент может работать в двух режимах – поиск абсолютно одинаковых изображений и поиск похожих картинок. В первом случае программа производит поиск совершенно идентичных изображений, у которых одинаковый формат, размер, название и так далее. Во втором случае приложение производит поиск картинок, которые имеют некоторые отличия, но, в то же время, являются по сути одними и теми же изображениями. Например, это могут две картинки с одним и тем же изображением, но разного формата или объема, с разным названием, различными оттенками цветов и так далее.

Предварительный просмотр найденных дубликтов

При поиске похожих изображений можно также исключить из процесса поиска повернутые изображения. При этом картинка с разворотом изображения в ту или иную сторону не будет считаться дубликатом и не попадет в результаты поиска дубликатов картинок. Для удобства выбора дубликатов, которые необходимо пометить на удаление, в программе предусмотрена возможность просмотра миниатюр картинок. Для просмотра миниатюры изображения достаточно щелкнуть мышью по его названию в полученном отчете со списком дубликатов изображений. Важно помнить, что в списке дубликатов, предоставленном программой, необходимо оставлять как минимум один экземпляр из списка файлов-дубликатов. В противном случае, у пользователя не останется ни одного экземпляра картинки или фотографии.

Часто у нас хранятся похожие фотографии, неудачные кадры, или же лежат в разных папках жесткого диска одинаковые снимки. Чем больше человек увлекается фотографиями, тем больше таких файлов может храниться на компьютере, занимая свободное место. Чтобы найти одинаковые фотографии на компьютере, обратимся за помощью к сторонним программам.

Какими бывают одинаковые фотографии

Рассмотрим, какие фотографии, являющиеся дубликатами, обычно хранятся на компьютере:

1. Полностью идентичные файлы:
   как правило, образуются при копировании одних и тех же папок с фотографиями в разные места для сохранности.
2. Фотографии с одинаковыми именами файлов:
   могут появиться, если пользоваться разными фотоаппаратами одной марки. По сути не являются одинаковыми фотографиями, но могут быть случайно удалены при визуальном сравнении имен файлов без просмотра их содержимого.
3. Неудачные кадры:
   с уходом из массового обращения пленки для фотографий отпала необходимость контролировать количество сделанных кадров. Что, в свою очередь, позволило делать столько фотографий, сколько требуется, и потом отобрать самые удачные. Неудачные кадры, зачастую, визуально очень похожи на удачные, за исключением мелочей: моргнувший человек, смазанный кадр, случайный объект в поле съемки.
4. Изменённые фотографии:
   уменьшенные или увеличенные копии, фотографии с добавленными надписями, обрезанные в редакторе изображения.

Рассмотрим две популярные программы для поиска дубликатов изображений и сравним их возможности. Для этого возьмем фотографию известного кота, сделаем несколько её копий с разными изменениями и поместим все файлы в одну папку.

Способ 1: Awesome Duplicate Photo Finder

Бесплатная программа, не требующая установки. Благодаря простому интерфейсу позволяет быстро проверить папки на наличие дубликатов. Русский язык отсутствует.

Скачать Awesome Duplicate Photo Finder

1. 1. Запускаем программу.

1. 1. Выбираем папку для поиска нажав на «+» .

1. 1. После нажатия на кнопку «Start search» получаем таблицу с результатами и окно сравнения двух выбранных файлов.

Программа показывает процент сходства двух изображений и предлагает три варианта действий с каждым:

1. • Move — Переместить;
   • Browse — Показать в папке выбранный файл;
   • Delete — Удалить.

Способ 2: AntiDupl.NET

Бесплатная программа с открытым исходным кодом, с поддержкой русского языка. Покажем её возможности на тех же четырех фотографиях.

Скачать AntiDupl.NET

1. 1. Запускаем программу.

1. 1. Для начала поиска нажимаем «Поиск» и выбираем «Пути» .

1. 1. Добавляем папки, в которых будет произведен поиск, и нажимаем «Ок» .

1. 1. Запускаем поиск в выбранных папках, нажав «Поиск» и затем «Начать поиск» .

1. 1. После завершения поиска в главном окне выводится сравнение двух изображений в таблице найденных совпадений.

Программа смогла найти дубликат фотографии и в графе рекомендаций советует удалить один из файлов.

В данном случае приложение нашло два похожих изображения и показывает их отличия выделяя красным цветом в их свойствах (размер файла, размер изображения, степень сжатия, степень размытия).

Заключение

Разница между работой этих двух программ минимальна, но для некоторых пользователей наличие русского интерфейса является главным плюсом.

Здравствуйте Друзья! В этой статье мы разберемся как можно осуществить поиск дубликатов файлов на наших компьютерах. Признаюсь, у меня такой проблемы не стоит. Обычно, на моем компьютере три раздела. Первый системный от 50 до 100 ГБ, второй для документов от 100 до 200 ГБ и третий раздел для всего остального. У меня одна папка для фото, одна для музыки и так далее. Все прозрачно. Другое дело компьютер родителей. Жесткий диск разбит там на три части. На 3-ем разделе две или три папки с фотографиями + в каждой папке куча подпапок. На диске D так же в последствии образовалась папка фото. Перебирать все в ручную тяжело и тут нам помогут программы для поиска дубликатов файлов.

Мне не хочется устанавливать отдельную программу для какой-то функции так как функций бывает много (например дефрагментация или тот же поиск одинаковый файлов). Соответственно много программ придется ставить на компьютер . Позиция у меня следующая. Чем меньше устанавливаешь, тем надежнее и стабильнее работает компьютер .

Решения есть. Найти программу, которая практически необходима в обслуживании компьютера (то есть скорее всего будет установлена) и которая бы смогла искать дубли файлов. Искать долго не пришлось. Это уже знакомый и проверенный CCleaner от компании Piriform. Начиная с 4-ой версии в CCleaner прикрутили данную функцию и ниже мы посмотрим как она работает.

Программу, качаем с официального сайта

Устанавливаем.

При первом запуске выйдет окошко приведенное ниже. Если выбрать Да, то при очистке компьютера по умолчанию, возможно, не собьется авторизация на приведенных почтовый cервисах. Нажимаем Да

Переходим, слева, на вкладку Сервис

Нажимаем на кнопку Поиск файлов

Для поиска одинаковых файлов осталось только указать нужные настройки

Настроек не много и разбиты они на три группы:

• Совпадение
• Пропуск
• Место где искать и места исключения

Остановимся на каждой группе подробнее

Совпадение

Можно установить поиск файлов дубликатов по Имени, Размеру, и Дате изменения. Так же можно комбинировать эти критерии устанавливая больше одной галочки. При упорядочивании фото на компьютере родителей первым делом произведу поиск с совпадением по Имени. Скорее всего найдется куча файлов сохраненных в различных местах. Затем, интересен будет поиск с совпадением по Размеру. Так как фото может быть переименовано, но размер не должен измениться.

Как эффективно использовать поиск дублей с включенной галочкой Изменен мне пока не пришло в голову. Если у вас есть варианты отпишитесь пожалуйста в комментариях. Возможно, если вы взяли и дорисовали что то в фото, при этом не поменяв имя. Но, в этом случае, с огромной вероятностью, изменится размер.

Пропуск

Какие файлы необходимо пропустить при поиске дублей. Здесь возможны следующие варианты:

• Байты с размером 0
• Файлы только для чтения
• Размер менее х МБ
• Системные файлы
• Скрытые файлы

Место где искать и места исключения

Здесь с помощью кнопки Добавить на вкладке Включения задаете где искать дубликаты файлов. На вкладке Исключения добавляете места на жестком диске , флешке или на внешнем жестком диске , где не производить поиск.

В принципе все просто. Для сброса настроек нажимаете соответствующую кнопку.

Когда фильтр настроен нажимаете Найти.

Сортировка результатов поиска дубликатов файлов

В результате получается удобная для просмотра таблица с результатами поиска. Причем таблица формируется сразу, при обнаружении какого-либо дубля.

Предполагаемые дубликаты разделены между собой. Единственное, что хотелось бы видеть в этой таблице, сортировка по нажатию на какой-либо столбец.

При нажатии на файле правой кнопкой мышки появляется контекстное меню, которое позволяет удобно отсортировать результаты поиска. Это особенно актуально если результатов много.

Пункт Исключить позволяет убрать все файлы из выбранной вами папки. Например C:\Program Files. Пункт Ограничить оставит в результатах поиска только файлы из выбранной вами папки. Опция Выбрать дубликаты позволяет выбрать все файлы находящиеся в выбранной вами папке. Остальные пункты вроде бы понятны.

Очень полезен пункт Открыть папку. С помощью него можно быстро зайти и посмотреть где находится файл и нет ли там еще одинаковых файлов не попавших в таблицу результатов или отсеявшихся сортировкой.

Осталось вычислить какой из файлов нужно оставить, а остальные удалить воспользовавшись кнопкой справа внизу.

Заключение

Вот так с помощью старой доброй CCleaner собираюсь искать дубликаты файлов на своих и не только компьютерах . Для моих целей функционала программы достаточно. Если вам нужно больше, тогда стоит обратить внимание на DupKiller. Эта бесплатная программа, почитать о ней и скачать ее можно с официального сайта http://dupkiller.com/index_en.html . DupKiller имеет на много более широкие возможности выполнить настройку поиска. Так же там реализован просмотр графических файлов и прослушивание аудио. Интересна возможность задания не точного совпадения файлов, а до определенного уровня (процента).

Благодарю за то, что поделились статьей в социальных сетях. Всего Вам Доброго!