Пришли проект в сапорт, где это происходит, я гляну.
Вообще, слишком много каптч ты засунул, либо поставил слишком много искаженных символов сгенерировать при обучении, но надо глянуть, может что-то можно оптимизировать.
То, что памяти у тебя достаточно - это не важно, процесс в котором происходит обучение может занять только чуть больше трех гигов памяти.