白牡丹的传说最早约在宋朝庆历年间就已开始广泛流传，距今约1000年。源于巢湖南岸银屏山悬崖绝壁上生长着一丛白牡丹。这丛白牡丹在几十米高的石壁间生长，生命力强，长势良好，基本上年年含苞吐蕊，开硕大白花，十分稀有。由于牡丹本身很娇贵，人们又不知道这丛牡丹为何生长在此，长年累月间，便附会其很多传说：巢湖银屏山千年白色牡丹花很神奇，它是牡丹仙子的化身，是一名平凡少女在遭遇种种变故后，不畏强暴，受仙家指点而跻身仙班，后又遭贬而扎根于此，并向人们预报旱涝，关注民生等。
北宋庆历五年，滁州太守欧阳修被庐州太守李不疑邀请来此看白牡丹花，听说吕洞宾、崔自然修行成仙和牡丹仙子下凡的故事后，有感而发，留下著名诗句：
学书学剑未封侯，欲觅仙人作浪游。
野鹤倦飞为伴侣，岩花含笑足勾留。
饶他世态云千变，淡我尘心茶半瓯。
此是南巢招隐地，劳劳谁见一官休。
