Quindi l'azienda di hosting ci aveva proposto un sistema da parte di chi gestisce la linea dati fisica, la backbone su cui loro si allacciano, che permette di filtrare i dati prima che entrino sulla backbone stessa. Diciamo una specie di firewall a monte. (Questo è quello che ho capito io).
Si è chiaro. Il mio dubbio è però che il flood vada a colpire l'applicazione e non la banda.
Mi spiego meglio. Un DoS che va a colpire la banda avviene quando verso il tuo server viene indirizzata una quantità di traffico superiore a quella che la tua banda può effettivamente gestire. Alla luce di questo fatto maggiore è la banda di cui disponi, minore sarà la possibilità che l'attacker riesca a danneggarti in questo modo.
In verità la peggiore tipologia di DoS da subire è proprio questa: se una moltitudine di macchine che dispongono di molta banda si mettono ad attaccarti tutte assieme semplicemente non puoi far nulla se non agire dove l'ampiezza di banda è maggiore e gestibile (a 6000 euro l'anno :-)): sui router del tuo ISP, appunto.

Dato che la banda di cui disponi è molto ampia credo che il problema sia da ricercare altrove.

Però l'attacco ha comunque saturato la banda passante e questo creava problemi non solo a noi ma anche agli altri siti ospitati: ripeto che è un attacco massiccio (stamattina abbiamo avuto una media di 1600 connessioni aperte contemporanee).

(stamattina abbiamo avuto una media di 1600 connessioni aperte contemporanee).
Parli di 1600 connessioni simultanee... forse è proprio quello il problema: il DoS è generato dall'applicazione (il software) la quale fatica a gestire una moltitudine di connessioni in contemporanea.
La soluzione in questo caso consiste nell'agire sul firewall oppure direttamente sull'applicazione stessa, se te lo permette, utilizzando due policy:

- Accettare un numero max di connessioni simultanee (es: 512 (valuta tu la soglia))
- Accettare un numero max di connessioni provenienti dal medesimo indirizzo (es: 3). Questo è molto utile in quanto se l'attacker è uno soltanto, per ottenere lo stesso tipo di effetto (generare 1600 connessioni simultanee) dovrebbe appoggiarsi a una moltitudine di macchine aventi indirizzi IP differenti, cosa difficilmente attuabile (1600 / 3 = 533 macchine distribuite).

PS - Da notare come il solo concetto di "connessione" non implica la trasmissione massiccia di dati. Un solo client che trasferisce un file può generare molto più traffico di 1600 client connessi in stato 'idle'.