传说宿羊山的原名叫宿娘山，是因为王母娘娘路经此地住了一宿，才取名叫宿娘山的。
王母娘娘也叫西天王母，是一位容貌绝世的女神，住在昆仑山的瑶池。王母娘娘是天上所有女仙之首，她在瑶池种有一片蟠桃园，这种蟠桃得三千年才能成熟，吃了这种桃可以长生不老，据传武则天吃了王母送去的青桃，活了82岁，彭祖吃了她的桃活了800多岁。
王母娘娘的丈夫名叫东王公，他是天上众男仙之首，住在蓬莱仙岛，他的儿子也住在这里，他们一家三口一年才能相聚一次。
有一年，王母娘娘举办完蟠桃盛会后，便骑着神龙去蓬莱会丈夫看儿子。那神龙腾云驾雾驮着王母娘娘一路飞行好几个时辰，发现北面有条河，神龙又渴又累，便停下休息，神龙舌一伸，就把这条河的水给喝的半干，再一喝就把这条河给喝的弯弯曲曲，这就是宿羊山段的不老河，至今潘沙庄北还有一个口子门，就是当年石龙喝水留下的。再说王母娘娘看看四周，好一个地方，山峦起伏，三山叩头，绿树成荫，王母娘娘也觉得有些累，便叫神龙落地休息喝水，她找到一块大石头坐下，也许是凡间石头耐不住仙体的重压，她起身后，那块石头上留下了两个深深的屁股印，前面还有一个洗脸盆，这就是后来民间传说的王母娘娘犤pai腚窝，一番游览过后，不觉天色已晚，王母娘娘便在神龙停卧休息的东边山上睡了一宿，从此这座山就被叫做宿娘山，第二天，王母娘娘来到神龙跟前，崔神龙快起来赶路，这个神龙好睡懒觉，趴在那里不想起，这下惹怒了王母娘娘，她骂了几声孽障，然后嘴里不停的小声说着什么，那条神龙瞬间就变成了一条紫红色的石龙卧在今天的大武山西边的哈蟆山、山前山，新安庄山、关乡山和营子山的山坡上，因龙头卧在我们潘沙庄生产队的地里，所以，我庄的先辈们就把那块地叫做石龙地，八三年和九二年的土地承包证上还有石龙地的名字，00年之后因建高中将我庄地征用，石龙和石龙地以及王母娘娘pai腚窝、上马石都括在了高中部的院子里了。因犤腚窝，石龙，上马石都在我们生产队的地里，我们小时候经常在这玩捉迷藏，薅猪草，大人干活累的时候，会到腚窝处坐一会，顿感浑身轻松，如入仙境。
再说王母娘娘将神龙点化成石龙之后，她还得去蓬莱三口相聚，这时就看她嘴唇乱动，唤来一匹高头大马，王母娘娘只好站在一块大石上，才跨上神马，就她这一站，那块石头上又留下了她的一双脚印，后来这块石头被人们称作为上马石。
王母娘娘来到蓬莱和丈夫儿子团聚了，短短七天假期到了（现在的春节七天假，也是家人团聚）王母娘娘依依不舍离开家人，离开蓬莱，王母的儿子送母亲去西天瑶池，一路走一路哭，来到了车夫山境内，王母让儿子回蓬莱到父亲身边，她儿子也听话，不再送母而是跑向车夫山正东，现山头大桥西边的那个高山头上，向西南望着母亲远去的背影，直到看不到才回去。当地百姓为纪念王母娘娘儿子的孝心，将此山取名为望母山，望母山的名字一直沿用至今。（在我们这苏北农村，女性老人去世，她的后人们会在帐薪上写上哭送xx早赴瑶池的字样，就根据王母娘娘儿子送母赴瑶池的故事，传承下来的）。
还有一种说法，王母娘娘在宿娘山住宿，她儿子站在望母山上，向南跳望宿娘山，期盼母亲早日与家人团聚。
后来宿娘山上草木茂盛，有人常年在山上牧羊住宿，再后来就把宿娘山叫成了宿羊山，一直到宿羊山设政府至今。文革期间，林彪当军委副主席，大搞深挖洞备战洞防止老蒋反攻大陆，在宿羊山的最高峰北边，挖起了战备洞，听老人讲，我们潘沙庄就驻挖山洞的士兵有一个连，现在大武山的北边就有三个很深的山洞，七一年九一三之后，挖山洞就停止了。我们小时候很多小朋友结伴到山洞里面玩，人少不敢去，太深还拐弯，特别是夏天，里面很冷。这真是西天王母去探亲，留下座骑石龙身，歇歇留下腚窝印，上马留下脚印深，武山顶上住仙人，文革山洞拐弯深，诸君若要亲临看，沙漠绿洲愿弓身。