Скорее всего памяти не хватает и ничего с этим не сделать.
Попробуй не париться насчет всех стилей, собери по 50-70 каптч и просто пособирай символы как будто это одна каптча. Потом используй фильтр выделения границ, после него псомотри, они почти все будут одинаковы. И там уже по обстоятельствам.
Я скоро займусь этой каптчей в любом случае.