二祖庵坐北向南，它原是一座完整的四合院，前有山門，東西有配殿，北有正殿。山門內供韋馱，亦稱韋馱殿；西配殿內供緊那羅，亦稱緊那羅殿；東配殿內供菩薩，亦稱菩薩殿。山門及東西配殿早已毀，僅存正殿。正殿名二祖殿，為硬山式建筑，面闊三間，前檐下有明柱兩根。今存殿堂應為明嘉靖四十四年重修留下的殿堂。殿內供二祖慧可塑像。二祖庵在明嘉靖、萬歷、天啟、崇禎及清康熙、道光時曾修。1988年，又重修二祖庵大殿，1990年又在原山門處建門庭式簡易門一座，并重建了圍墻。

在二祖庵殿東檐下有明代天順六年（1462年）正月鑄造的大鐵鐘一口，為二祖庵住持僧江耐化緣鑄造。大鐘周圍鑄有銘文，鐘重一千斤，有八唇，刻八卦。此鐘至今保存完好，鐘聲響亮。

近年庵周邊恢復了圍墻。庵內還保存明清古碑九通。二祖庵前有建于唐萬歲登封元年（696年）的無名塔、元代泰定元年（1324年）的緣公庵主之塔以及明崇禎二年（1629年）的隱光璞公之塔等三座古塔。在二祖庵院內存有明嘉靖、萬歷、天啟、崇禎及清康熙、道光石碑九通，都為記載重修二祖庵的碑刻。

二祖庵院內有古柏多株及古井四眼。四眼古井傳說為二祖慧可卓錫而成，因名“卓錫井”或“卓錫泉”。據舊志載，四井水味各異，故當地群眾稱之為“苦、辣、酸、甜”四眼井，至今有700年的歷史。庵南約500米處有一高突的山崖，晴天在臺上舉目可望伊河、洛河和黃河。