寺。《說文》雲「廷也」，即指宮廷的侍衛人員，以後寺人的官署亦即稱之為「寺」，如「大理寺」、「太常寺」等。大理寺是中央的審判機關，太常寺則為掌管宗廟禮儀的部門。西漢建立「三公九卿」制，三公的官署稱為「府」，九卿的官署稱之「寺」，即所謂的「三府九寺」。漢代，九卿中有鴻臚卿，職掌布達皇命，應對賓客，其官署即「鴻臚寺」，大致相當於後來的禮賓司。相傳東漢明帝時，天竺僧人以白馬馱經東來，最初住在洛陽「鴻臚寺」。後來鴻臚寺改建，取名「白馬寺」。於是寺就成了僧人住所的通稱。梵語中，「寺」叫僧伽藍摩，意思是「僧眾所住的園林。」隋唐以後，寺作為官署越來越少，而逐步成為中國佛教建築的專用名詞。
廟。古代本是供祀祖宗的地方。那時，對廟的規模有嚴格的等級限制。《禮記》中說：「天子七廟，卿五廟，大夫三廟，士一廟。」「太廟」是帝王的祖廟，其他凡有官爵的人，也可按制建立「家廟」。漢代以後，廟逐漸與原始的神社（土地廟）混在一起，蛻變為陰曹地府控轄江山河瀆、地望城池之神社。「人死曰鬼」，廟作為祭鬼神的場所，還常用來敕封、追諡文人武士，如文廟——孔子廟，武廟——關羽廟。
祠是為紀念偉人名士而修建的供舍（相當於紀念堂）。這點與廟有些相似，因此也常常把同族子孫祭祀祖先的處所叫「祠堂」。祠堂最早出現於漢代，據《漢書·循吏傳》記載，「文翁終於蜀，吏民為立祠堂。及時（指誕辰和忌日）祭禮不絶。」東漢末，社會上興起建祠抬高家族門第之風，甚至活人也為自己修建「生祠」。由此，祀堂日漸增多。
觀。《釋名》云：「觀者，於上觀望也」。觀就是古代天文學家觀察星象的「天文觀察台」。史載漢武帝在甘泉造「延壽觀」，以後，建「觀」迎仙蔚然成風。據傳，最早住進皇家「觀」中的道士是漢朝的汪仲都。他因治好漢元帝頑疾而被引進皇宮內的「昆明觀」。從此，道教徒感激皇恩，把道教建築稱之為「觀」。
庵。古時是一種小草屋，即所謂「結草為庵」。舊時文人的書齋亦稱「庵」，如「老學庵」、「影梅庵」。漢以後建了一些專供佛徒尼姑居住的庵堂，於是「庵」也就成了佛教女子出家行佛事的專用建築名稱了。
寺、廟、祠、觀、庵各有區別，不能混淆。
