祖越寺是千山最早的庙宇建筑之一。相传昔日建寺时,有一位祖师从此路过,曾仔细察看该寺的建筑,故的寺名祖越寺。据考证,它最初建于唐朝,当时此寺建筑极为宽阔宏伟,大于现在的数倍。金、元时期山洪暴发,寺庙被毁。现在的祖越寺为明朝时所建,香火曾盛极一时,后逐渐衰微,后经清乾隆、道光、光绪几代相继重修,解放后多次修缮。现有建筑七幢:正殿(释迦殿),韦驮殿,阶下为东西配殿,配殿南有钟、鼓楼,呈东西对称。正殿东侧是胡仙堂和客室,殿堂内供奉有泥塑,木雕佛像等30余尊。寺门正对正殿释迦殿,门外是长达50米的一堵石墙。现存殿宇,经1978年重修,由比丘尼住持。
祖越寺的建筑布局严谨、规整,殿宇壮观,坐落在东西两面山峰的抱合众,寺周围峰翠欲滴,松涛波涌,山色秀丽,流水潺潺,小亭玉立。秀美山色使人留恋忘返。前人曾用“祖越多奇境,天公亦幻哉”的诗句来赞叹祖越寺的景色。
祖越寺后山石壁上刻有“独镇群岳”四个大字,据传这是明隆庆二年(1568年),一位巡侍御所题,旁边还有“含译宣气”四字,由于年代久远,只能看出字的轮廓。山门东侧有一株古松,名曰“惧松”,“惧松”旁边有石碑,上有清光绪元年刻写的“天花乱坠地涌金莲”八个大字。
祖越寺周围有玉皇阁、罗汉洞、八步紧、七步松、夹扁石、一步登天等二十四景。玉皇阁在三十三天附近,筑于峭壁之上;罗汉洞中塑有十八罗汉;八步紧在卧象峰东,在陡壁下有石阶八蹬,循蹬而上,越过七步松、夹扁石,即可达一步登天。游人无不赞叹祖越寺奇俏秀丽的景色和精湛的建筑。