神乐署建于明永乐十八年，称作神乐观，顾名思义是一所专司祭祀音乐的道观，神乐观出现的历史背景是这样的，明朝初年的两位重要皇帝明太祖朱元璋和明成祖朱棣都非常虔诚地信奉道教神明真武大帝，认为真武大帝在争夺帝位的战争中保佑了他们，因此在一些重要的祭祀中使用道教音乐，明成祖甚至御制《大明御制玄教乐章》作为祭祀音乐的国家标准,而后者也被收录在道教经典集成《道藏》中。明神乐观的主要负责人为提点，其副手称为左右知观，此外还有协律郎、司乐等职务。