No: occorre specificarlo in ogni header file.
Eventualmente puoi specificarlo in un unico header file in cui raggruppi gli altri.
codice:
namespace mylib {
   #include <a>
   #include [b]
   ...etc
}