神乐署坐落于广利门外西北，建于明永乐十八年（1402年）。又名神乐观，清乾隆八年（1743年）称神乐所，乾隆十九年改今名。

大门坐西朝东，围墙呈长方形，内建殿堂屋宇甚多。前殿5间，绿琉璃瓦歇山顶，两旁环绕转角廊庑各19间，后院有显佑殿7间，左右配殿各3间。

据史料记载，有正式祭祀天地的活动，可追溯到公元前两千年，尚处于奴隶制社会的夏朝。中国古代帝王自称“天子”，他们对天地非常崇敬。历史上的每一个皇帝都把祭祀天地当成一项非常重要的政治活动。而祭祀建筑在帝王的都城建设中具有举足轻重的地位，必集中人力、物力、财力，以最高的技术水平，最完美的艺术去建造。在封建社会后期营建的天坛，是中国众多祭祀建筑中最具代表性的作品。天坛不仅是中国古建筑中的明珠，也是世界建筑史上的瑰宝。天坛始建于明永乐十八年(1920年)，名天地坛。嘉靖九年(1530年)因立四郊分祀制度，于嘉靖十三年(1534年)改称天坛。清乾隆、光绪帝重修改建后，才形成现在天坛公园的格局。

天坛占地272万平方米，整个面积比紫禁城还大些，有两重垣墙，形成内外坛，坛墙南方北圆，象征天圆地方。圜丘坛在南，祈谷坛在北，二坛同在一条南北轴线上，中间有墙相隔。圜丘坛内主要建筑有圜丘坛、皇穹宇等，祈谷坛内主要建筑有祈年殿、皇乾殿、祈年门等。

天坛的主要建筑均位于内坛，从南到北排列在一条直线上。全部宫殿、坛基都朝南成圆形，以象征天。整个布局和建筑结构，都具有独特的风格。祈年殿是皇帝祈祷五谷丰登的场所，是一座三重檐的圆形大殿，高38米，直径32.72米，蓝色琉璃瓦顶，全砖木结构，没有大梁长檩，全靠28根木柱和36根枋桷支撑，在建筑的造型上具有高度的艺术价值。

乾隆十二年(1747年)，皇帝决定将天坛内外墙垣重建，改土墙为城砖包砌，中部到顶部包砌两层城砖。内坛墙的墙顶宽度缩减为营造四尺八寸，不用檐柱，成为没有廊柱的悬檐走廊。经过改建的天坛内外坛墙，更加厚重，周延十余里，成为极壮丽的景观。天坛的主要建筑祈年殿、皇穹宇、圜丘等也均在此时改建，并一直留存至今。