Ich mache das immer so, dass ich immer eine Datei mit den ganzem header habe und die anderen seiten dann eben via PHP include einsetze, wodurch man immer den gleichen kopf hat, auch wenn man nen anderen Teil der Website betrachtet. Aber ohne PHP musst du, je nach wichtigkeit der Seite, diese auch in den entsprechenden Seiten unterbringen.