Можно чуть конкретнее?
Если интересует оптимизация под какие-то определённые сервера (Oracle, DB2, ...), то лучше смотреть документацию соответствующих продуктов. Там есть разделы по настройке параметров сети и IPC.
Ещё на балке была книжка "Настройка производительности UNIX-систем".
Рассматриваются Linux и Solaris. Она же есть в электронном виде.
Если надо, я поищу.
Да, ещё появилась книжка "Разработка ядра Linux", Роберт Лав, 2-е издание. В ней можно почитать про планировщики.
Она так же есть в электронном виде на английском.