Не не МД5 слишком грубо, я вечеро/ночером буду дома я скину тебе софтинку, щас название не помню, но когда делал доры чистил картинки от дублей при помощи неё. Там можно задать степень "схожести" фотографий и вские там чуть переставленные пиксели разрешения и размеры идут лесом - останутся только уникальные картинки в лучшем разрешении.