不知道許老翁是什麼地方人。他隱居在峨嵋山，也不知那是什麼年代。
唐朝天寶年間，益州的一個士曹柳某的妻子李氏，長得特別漂亮。當時節度使章仇兼瓊，新得了吐番的安戎城，派柳某到安戎城去送東西，三年沒有回來複命。李氏住在官舍，足不出戶，沒有開過院門。忽然有一個姓裴的兵曹來到她家叫門，說是李氏的表叔。
李氏說：“我家沒有姓裴的親戚。”她不讓給姓裴的開門。
於是姓裴的就叫出了李氏的小名，同時說出她家內外氏族的姓名，李氏這才讓開門，並向姓裴的下拜。準備做飯給姓裴的吃。
姓裴的很文雅，就問柳郎離家多久了。李氏回答說，已經三年了。
姓裴的說：“三年，情義已經斷絕，這是古人說的。現在你打算怎麼辦呢？我和你，已經因此應該成為夫妻了。希望你不要拒絕這件事。”
李氏到底被姓裴的迷住了，這好像不是由人決定的。這位裴兵曹，就娶了她。而章仇兼瓊聽說李氏姿色美麗，想要見一見，就讓他的夫人特意操辦了一個宴會，所有府官縣官的妻子，全都來了，隻有李氏因為丈夫在遠地而推辭了。
章仇兼瓊的妻子因為必須見到李氏，便對李氏說：“你隻管來，不要苦苦地推辭。”李氏怕受到責備，就去了。
她穿的是黃羅銀泥裙、五暈羅銀泥衫子、單絲羅紅地銀泥帔肩，是益都最華麗的衣服。
裴兵曹見了她的衣服歎道：“人世間的衣服，華麗也隻能到這種程度而已。”
他回頭對仆人說：“你回去把我的衣箱打開，把第三套衣服拿來。”李氏說：“不給我第一套，而給我第三套，為什麼？”
裴兵曹說：“這第三套已經不是人間有的了。”
不一會兒衣服取來了，滿屋飄著異香。
裴兵曹又看了看，笑著對仆人說：“衣服應當如此吧？象章仇兼瓊這種人是不能知道什麼的，隻怕許老翁知道而已。”
於是李氏就登車來到節度使家。李氏進門之後，章仇夫人及所有的座中客人，全都走下台階來行禮迎接。李氏穿了仙衣之後，容貌更加美得出眾，見到的人非常喜歡她。
坐定之後，章仇夫人讓人向章仇兼瓊稟報說：“士曹的妻子已經來了，她的容貌服飾都是絕無僅有的。”
章仇兼瓊直接走進院來，告訴大家不要站起來。
他見到李氏的衣服顏色，再三地讚歎，就把李氏的披肩借來觀賞。
一看就知道這不是人間的東西。把它放到水裏和火上試驗，也不著火也不汙染。於是散席的時候就把李氏留下盤問。李氏詳細地陳述了事情的始末。章仇兼瓊派人去到裴兵曹的住處，裴兵曹卻不見了。
章仇兼瓊就把李氏的衣服換下來，送到皇宮裏，並且向皇上奏報了許老翁的事。皇上下令讓他設法找到許老翁。
章仇兼瓊想，仙人往來，一定在藥店，於是他就讓藥師等候著許老翁的出現。等了四天就等到了。
一開始有一位小童到藥店來買藥，藥師認為這是許老翁的弟子，就把一些不好的藥賣給他。小童去而複返，而且說：“我家大人見藥不好很生氣，想要打我。”於是問他家大人是誰，童子說：“是許老翁。”
藥師非常高興，領著小童來向章仇兼瓊報告了。
章仇兼瓊立刻派出一百名身體健壯的人，還有五十名兵士，跟著小童進山，要去傳達皇帝的詔令。
山峰陡峭險絕，眾人沒有能上的。小童就在山下大聲喊。片刻間，老翁出現在石壁上，問為什麼領來這麼多人。小童詳細地說明了事情的始末。老翁問小童為什麼不上去，小童就冉冉地踩著空中而升上去。
卒吏們叩頭哀求道：“我們大人的粗暴老翁是知道的。”
老翁這才答應走一趟。老翁對卒吏們說：“你們隻管先回府，我馬上就到！”
等到吏卒們回到府中不一會兒，老翁也到了。
章仇兼瓊見了老翁，連連下拜俯身恭伏。老翁臉上沒有敬色。
於是章仇兼瓊問老翁：“那個娶李氏的人是誰？”
老翁說：“那個人是上元夫人的衣庫官，俗情未了罷了。”
章仇兼瓊求老翁到皇帝那去一趟，許老翁說：“去也不難。”於是他就和要到京城奏事的人約定了到達長安的日期。他提前到了長安。皇上下令讓人領他去見。唐玄宗對他很恭敬。