1. Попробуйте переместить рабочую папку, с которой работает программа (если она находится у Вас в системных папках).
2. Если перед удалением Вы работали с какими то файлами из этой папки, то возможно, что программа не может удалить папку, поскольку нет доступа к этим файлам. К примеру, при обращении к картинкам через код, нужно эти картинки чистить из памяти, что бы освободить их.