北齐时的太原，佛教文化进入鼎盛时期。高齐列位皇帝在晋阳兴建佛寺，开龛造大象，著名的蒙山大佛、童子寺大佛、天龙山石窟的一部分都修建于这个时期。
北齐幼主高桓，在晋阳建起了十二院，其建筑宏伟壮丽，胜过邺都。十二院的首院即为开化，还有仙岩、甘泉等寺院。北齐开化寺的初创应早于十二院，据嘉靖《太原县志·寺观》，开化寺在“县西北十五里，北齐天祿(保)三年建，赐额开化寺，后凿石通蹊一里，依山造刻佛像”，其位置在今蒙山大佛下的开化峪。开化寺的名字在隋代曾改作“净明”，唐李渊做河东太守时来此游历，又改回开化之名。
佛经把开导蒙昧、化恶向善称作“开化”，《法华经·序品》：“妙光所开化。”《无量寿经》：“开化一切。”《坛经·机缘品》：“开化四众。”现代语词开化与蒙昧相对，是开创教化，趋向文明的意思。
宋代以后，太原府治移著唐明村，即今太原市中，信众赴开化寺礼佛路途遥远，便在城中兴建开化寺下院。据洪武《太原志·寺观》引《太原志》云：“广化寺在府正街街南葆真坊内，宋端拱二年额，分置开化、大中……十二院。其开化、甘泉、仙岩，皆有西山上寺”。
检宋代太原府坊乡，“葆真坊在街西”，此街为府南门正街第二，即今按司街、钟楼街。可知今开化寺是西山(蒙山)开化寺的下寺，只是古老的开化寺上下寺昔日风流已被雨打风吹去了。