Fail2ban - в фоновом режиме сканирует логи служб как sshd, apache, vsftpd и т.д. и после нескольких неудачных попыток производит блокировку по IP адресу. Устанавливаем так:
sudo apt-get install fail2ban
Количество попыток авторизации, время блокировки (задается в секундах) и другие настройки находятся в:
/etc/fail2ban/jail.conf