ffmpeg -i input.mp4 -vf "select='not(mod(n,5))',setpts=N/24/TB" -af "aselect='not(mod(n,5))',asetpts=N/SR/TB" output.mp4
setpts устанавливает правильный временной штамп для каждого кадра, а aselect и asetpts выполняют аналогичную операцию для аудиофреймов