传说从前司空山寺庙内,养了一头驴子,这驴子开头是僧人利用它专门沿村募化,山下所住的人家一看见驴子下山来了,就晓得是来化缘的,急忙争先恐后替它化些粮食和可以吃的东西,包得好好的搭在驴子背上,让它驮着上寺。驴子驮着食物上山,走到这里,正好将所驮的东西,架在两边夹路的石头上,驴子就可以休息片刻,再一肩驮上庙堂,每回都是如此,人们就叫这两块竖着的石头为“歇驴石”。