传说张天师初到龙虎山炼丹修道时，土地爷不肯，问张天师有什么本事，张天师说有宝剑和印、符。土地爷问：宝剑和印、符有什么法力？天师说：印、符可以召劾万灵，宝剑可以开天劈地。土地爷说：请你试一试。于是天师手提宝剑，提神运气，手指画诀，大喝一声，挥剑朝面前一座山砍去，霎时只听天崩地裂一声巨响，面前一座山自上而下被砍出一道口子。土地爷吓得连连叩头，同意天师在龙虎山修道，并愿意随时为天师效劳。后人就把这座山叫试剑石。

2002年在两山之间半空架设了“仙风桥”，从此“天堑变通途”。仙人城峰顶有道观“兜率宫”，是张天师吟诗作画的地方。世传道教教主老子曾云游此地结庐炼丹，并向祖天师张道陵传授道法玄机。第四代天师张盛从四川回到龙虎山，就在仙岩上面修建道观，奉祀老子神像。每年的农历二月十五老子诞辰日，都要在仙人城举行盛大的醮典，纪念老子。唐玄宗亲赐第十五代天师张高在老子炼丹的地方建兜率宫。

唐代大诗人顾况曾泛舟至此，遥望仙人城端坐云天而不得上，便写下一首《安仁港口望仙人城》的诗描述见闻，诗曰：

楼台采翠远分明，

闻说仙家在此城。

欲上仙城无路上，

水边花里有人声。

宋神宗熙宁年间（1068～1078年），有宝月禅师来仙岩修建仙岩上寺，随后，尼姑们也看中了这块地方，在仙人城下的洞穴中建仙姑庵修行。于是，仙人城成为道佛两教共同的圣地。鼎盛之时，仙人城有道士20人，和尚24人，尼姑18人。两教和睦相处，各奉其教，共修正果。