碧云寺始建于元朝至顺二年（1331年），据传是元朝开国元勋耶律楚材的后代阿勒弥（另一说法为“阿里吉”）舍宅为寺，当时叫“碧云庵”。
明朝正德九年（1514年），御马监于经看中此地的风水，出资扩建，并在后山上挖建墓穴；墓未挖好，他便在嘉靖初年因贪污事发而锒铛入狱，死于狱中。到明朝天启三年（1623年），大宦官魏忠贤又出资扩建碧云寺，并将于经未能使用的墓穴规模扩大，结果没有用成便因罪大恶极而在崇祯初年自缢后被戮尸。崇祯十七年（1644年），魏忠贤的党羽葛九思随清军进入北京，将魏忠贤的衣冠葬在墓中，成为魏忠贤衣冠冢。
清朝康熙四十年（1704年），江南道监察御史张瑗奉命巡视西山时，起初将之当作前朝皇帝的陵寝，后来得知是魏忠贤衣冠冢，遂于同年五月十二日上奏，五月二十二日诏平其坟。清朝乾隆十三年（1748年），乾隆帝在明朝的规模上又进行大规模的修葺和扩建，新建成金刚宝座塔、水泉院、罗汉堂等建筑，形成了如今的规模。
外山门，面阔三间，明间开券门洞，两次间各开一券顶窗，窗扇是三交六椀菱花图案。门上挂有蓝底金字匾，上用满、汉、藏、蒙四种文字书写“碧云寺”，为乾隆帝御笔。
山门殿（内山门），建于明朝，面阔三间，单檐灰瓦歇山顶，雅伍墨旋子彩画，明间开券门洞，两次间各开一券顶窗，券脸刻有回云纹。殿内两侧是两尊金刚力士泥塑像，俗称哼哈二将，文化大革命期间塑像被毁，现在的两尊塑像是1992年重塑，高4.8米，头戴宝冠，手执金刚杵，右像（东像）忿颜闭口为“哼”，左像（西像）怒颜张口为“哈”。
弥勒殿（天王殿），建于明朝，面阔三间，单檐歇山顶，柱子未包入墙中。殿内正中供奉铜制弥勒佛，高2.5米，采用五代时期布袋和尚的造型，为明代造像。原来殿内两侧有四大天王像，毁于北洋政府时期。弥勒殿前左右两侧有钟楼、鼓楼，均为二层。
大雄宝殿，建于明朝，面阔三间，开有隔扇门和窗。门上悬挂“能仁寂照”匾额。现在的大雄宝殿内部陈设是1995年恢复的，殿内正中为释迦牟尼说法像，其左右两侧是阿难、迦叶，左右胁侍文殊菩萨、普贤菩萨面朝中央；殿内两侧有十八罗汉像及悬山云海，悬山云海中有《西游记》中的神怪形象；释迦牟尼说法像的背面有海岛观音塑像，面朝北，两侧是善财、龙女。大雄宝殿前两侧各竖一座六棱经幢，经幢前面是放生池，池上有一座雕栏石桥。
乾隆御制重修碧云寺碑亭，建于清朝乾隆十四年（1749年），重檐八角攒尖顶，顶覆黄琉璃瓦，上下檐饰斗拱，红墙红柱，二龙戏珠彩画。亭内为乾隆御制重修碧云寺碑文，碑身两侧雕刻缠枝莲纹，中央是乾隆帝用满、汉文书写的《御制重修碧云寺碑文》，记述了碧云寺历史沿革及规模，碑身下有龟趺海墁。碑亭前的御路上有一块陛石，装饰图案以凤为主，有鹤、蝙蝠等图案，但无龙。
菩萨殿，建于明朝，面阔五间，中三间开隔扇门，两梢间开隔扇窗，隔扇图案都是三交六椀菱花图案，上朱色漆。喜相逢旋子彩画，卷草纹雀替。殿前设有走廊，檐柱为四方柱。廊内正檐下悬挂乾隆帝御笔“静演三车”匾额。菩萨殿内原有明代的5尊菩萨像，后来被毁，现在的是1995年重塑，自左至右依次为大势至菩萨（骑麒麟）、文殊菩萨（骑青狮）、观音菩萨（骑朝天吼）、普贤菩萨（骑白象）、地藏菩萨（骑谛听）。菩萨殿内两侧塑有二十四诸天像和福、碌、寿、喜四星像及悬山云海，悬山云海中有佛教故事雕塑。
孙中山纪念堂，原为普明妙觉殿，位于寺院的中心。1925年3月孙中山逝世后曾停灵于该殿，4月2日移至该寺金刚宝座塔石券门内暂厝，直到1929年5月中山陵落成后，其遗体被移往南京紫金山。1929年5月23日到25日，普明妙觉殿内设置灵堂，举行三天公祭，宋庆龄及其亲属在这里致祭。为纪念孙中山先生遗体暂厝之地，当时的南京国民政府在普明妙觉殿立“总理纪念堂”，在金刚宝座塔石券门内立“总理衣冠冢”。普明妙觉殿于1954年进行过大修，并更名为“孙中山纪念堂”，由宋庆龄手书该堂名，制成红底金字木横匾，悬挂于正厅门上。正厅内中央是孙中山塑像，左右两侧的墙上镶嵌有《孙中山致苏联遗书》汉白玉雕刻。右侧还放置着1925年3月30日苏联政府送来的玻璃盖钢棺，因孙中山已入殓，未使用。左侧陈列有孙中山生前的遗著和遗墨。
正厅两侧有廊房连接厢房，现为《孙中山与碧云寺》展览室，分别为第一展室、第二展室。经过对展览内容升级改造后，《孙中山与碧云寺》展览在2011年9月12日重新对游客开放。2011年9月28日，位于孙中山纪念堂正厅右侧的“宋庆龄守灵休息室”开放，这是1929年以来首次对游客开放。
罗汉堂，位于孙中山纪念堂的南跨院，建于清朝乾隆十三年（1748年），仿杭州净慈寺而建，平面呈“田”字形，每面9间，中间形成4个小天井。堂内有500尊木质金漆罗汉，每尊高约1.5米，神态各异，造型生动。此外，中心是横三世佛，东、西、南、北各门口分塑有护法神韦驮天、地藏王、接引佛和疯和尚。在北面屋梁上还蹲坐着济公，传说济公因为替人打抱不平而迟到，所以没了座位，就爬上屋梁蹲坐在上面。关于罗汉堂中的五百罗汉还有许多传说，其中第295尊暗夜多罗汉和第360尊直福多罗汉传说是康熙帝和乾隆帝。在罗汉堂前有一抱厦，内有四大天王塑像。
含青斋，原名涵碧斋，位于大雄宝殿北侧，建于清朝乾隆十三年（1748年），原为皇帝大臣休息之所，是行宫的第二组建筑。院门开在弥勒殿北侧靠西，为院墙上开的一个月亮门。含青斋共有前后两个院落，第一进正房三间，第二进正房五间。院内叠石为池，景致秀雅，有“云容水态”之称。含青斋是西山会议会址。1925年11月，邹鲁、谢持、张继等十多人反对孙中山的政策，擅自召开中国国民党一届四中全会，即西山会议。
水泉院，位于孙中山纪念堂北侧石阶下。院门开在含青斋西侧，为院墙上开的一个月亮门。院内东部有一棵“三代树”，前两代古柏均已枯死，树中心生长出第三代银杏。沼堂为主体建筑，四面环水，已毁，仅存地基。洗心亭，位于石桥南侧的假山上，1980年代重建。三仙洞位于洗心亭以西，石壁下临水池有一洞，洞内左右又各套一洞，故称“三仙洞”，洞内供奉三仙。洞外有廊亭，挂匾“清净心”。南侧岩壁下一泉为“卓锡”泉，有泉水从石壁隙中流出，潺潺有声，原是皇家的“听水佳处”，明朝时即在北京城闻名。龙王庙位于最西端的假山上，庙前假山下为一池塘。
石牌坊，是一座汉白玉的冲天石牌坊，四柱三间，仿木结构，单檐歇山顶。上枋刻飞鹤，下枋刻游龙，雕刻精美。石牌坊的匾额刻有“西方极乐世界阿弥陀佛安养道场”。石牌坊两侧有石雕八字照壁，共四面。其中两面与牌坊平齐，背面为雄狮，正面雕有八个中国历史人物浮雕，人物上方刻有题名：南侧照壁正面为蔺相如为节，李密为孝，诸葛孔明为忠，陶渊明为廉，正面小额枋刻有“精诚贯日”；北侧照壁正面为狄仁杰为孝，文天祥为忠，赵壁为廉，谢玄为节，正面小额枋刻有“节义凌霄”。另外两面向前斜伸为八字，正面为麒麟，背面为八仙（每面四位）。
乾隆御制金刚宝座塔碑亭，建于清朝乾隆十三年（1748年），南北各一座。八角重檐，上檐为圆攒尖顶，檐下装饰石雕斗拱。亭内为穹窿顶，顶部有龙头藻井。亭内有《御制金刚宝座塔碑》，左亭内为满文、蒙古文，右亭内为汉文、藏文，碑文介绍了金刚宝座塔的由来。
碑亭后面是一座砖砌的牌坊，再后面就是金刚宝座塔。砖牌坊前有一对石狮。砖牌坊三间七楼（一主楼，两夹楼，四次楼），三券门洞，券脸及上下枋无饰纹，坊额无匾。右手有2006年4月15日连战前来碧云寺拜祭孙中山先生衣冠冢时所植白皮松一株。
金刚宝座塔与真觉寺金刚宝座塔的形制相似，在建筑规模上超过了真觉寺的金刚宝座塔，此塔通高34.7米，是中国现存最高、最大的金刚宝座式塔。塔基座宏伟，分为五层，雕有弥勒佛像、天王像、龙凤、云纹、狮象等，这在其他塔上并不多见。朝东的方向开有拱券式门，上额嵌有乾隆帝御题横匾“灯在菩提”。1925年3月12日，孙中山在北京逝世后，其灵柩曾在碧云寺超度，后移灵南京中山陵，更换出的衣帽被放回到原殓的楠木棺中并封葬在金刚宝座塔石龛下，成为“孙中山先生衣冠冢”，供后人凭吊。现在无法登临。
