《史記·留侯世家》記載西漢名臣張良在輔助劉邦建立政權後，為保全自己，功成身退，對漢高祖說：“願棄人間事，欲從赤鬆子遊耳”。由此人們相傳此赤鬆子就是那個早年傳張良兵法的黃石公。但是在《太平廣記》中也有記載墨子年八十二歲時“世事已可知，榮位非常保，將委流俗，以從赤鬆子遊耳”之歎，與《史記》中張良語相似。所以赤鬆子可能隻是在秦漢時聲名極隆的上古神仙而已，張良和墨子也未必認識赤鬆子。近世網絡玄幻小說《搜神記》，《蠻荒記》中也有提到赤鬆子
赤鬆子相傳為晉代得道成仙的皇初平。據晉葛洪《神仙傳》載:丹溪人皇初平十五歲時外出牧羊，被道士攜至金華山石室中，四十餘年不複念家。其兄初起行山尋索，曆年不得。後經道士指引於山中見之。問羊何在，初平叱白石成羊數萬頭。初起乃棄家從初平學道，"共服鬆脂﹑茯苓，至五百歲，能坐在立亡，行於日中無影，而有童子之色。後乃俱還鄉裏，親族死終略盡，乃複還去。初平改字為赤鬆子，初起改字為魯班"。宋張淏《雲穀雜記》卷二引作"黃初平"，並雲:"今婺州金華山赤鬆觀乃其飛升之地。"常用來比喻大功既立、功高震主之後隱跡避禍。（薑維）曰（對鍾會）：“明公自淮南以來，算無遺策，司馬氏之盛，皆公之力。今複定蜀，威德震世，民高其功，主畏其謀，欲以保全得乎！夫韓信不背漢於擾攘，以見疑於既平；大夫種不從範蠡於五湖，卒伏劍而妄殛徙，豈暗主愚臣哉？利害之使然也。今君大功既立，大德已著，何不法陶朱公泛舟絕跡，登峨嵋之嶺，而從赤鬆子之遊乎？”
軒轅黃帝叩頭行禮，問赤鬆子說：“朕見到眾多百姓稟受的生命何等的不均勻！有的富貴，有的貧賤，有的命長，有的命短，有的突遭枷鎖牢獄之災，有的久病纏身，有的沒有病卻突然死亡，有的長壽且有福氣，如此的不均等，請先生為朕辨明是何原因。”赤鬆子說：“眾人孤孤單單，各人頂著一顆天上的星宿，星宿有大有小，分別主宰人的身體，決定其長短盛衰，貧富死生。做善事的人，善氣包裹著他，福祿恩惠跟隨著他，眾多邪惡離開他，神靈衛護他，人們都尊敬他，他就遠離了禍害。做惡習事的人，凶氣籠罩著他，災禍跟隨著他，祥和吉慶避開他，惡星高照著他，人們都厭惡他，衰敗憂患之事一齊集中到他身上。人每天用心行事，做了邪惡的事，暗中觸犯了天地禁忌，受到罪謫譴責的錯事積累起來，不止一件。朝夕做惡事的人，人的司命之神回奏天上星辰，就會奪去他的壽數，天上的陽氣離開他身邊，地上的陰氣附著他身上，所以說他已衰老了。”
黃帝又問說：“人一生的壽命應當是多少歲？”赤鬆子回答說：“人從落地出生，上天賜給的壽命是四萬三千八百天，總共為一百二十歲，一年由一個歲星掌管，所以人稟受的壽命都應為一百二十歲，因為犯了天地的禁忌，被奪算紀，才會（提前）命終。”黃帝又問：“有的胎死母腹，有的孩子幾歲就死，他們什麼也沒做過，犯了什麼禁忌呢？”赤鬆子回答說：“這是祖宗的罪過，殃及子孫。自古以來的英哲賢人，在《佩經》中留下了教化，都勸告人作善事，使人了解諸多惡行，這樣才能萬古流芳，子孫有福。人生在天地之中，稟承陰陽二氣。皇天雖至高至尊，其作用卻表現在地下；後地雖低插，其作用的表現卻在天上；天不說話，而四季照樣運行；地不說話，而萬物照樣生長。人在其中，隨心所欲，凡人的動靜呼吸，天地皆知，所以說天有四知。人不說回報天地之恩，而說話埋怨天地。天生眾民，用天地代表父母，用日月代表眼睛，用星辰代表人體九竅，風吹動火力為暖氣，壽命終結時，全都歸還大地。天上的三台、北辰、司錄差使太一神君持符在頭上，察到誰有罪，就奪他的算紀：如果奪算一年，頭上的星辰就無光，這個人將會坎坷多事；如果奪算十年，星辰漸漸變得破缺，這個人將會遭災衰敗得疾病；如果奪算二十年，星隕落光消失，這個人病重垂危，或遭弄獄之災；如果奪算三十年，星遊移流散，這個人就會死去；如果時運離去，算紀終了，沒活到自然的壽數，就會殃及後代子孫，子孫承傳的禍害沒完沒了，就會遭滅門之災。人不知道自己所犯的過失，隻說自己壽短，所以上天不欺騙萬物，用隱晦的方式顯示自己的意圖。晝夜陰陽，雷電雨雪，彩虹光暈，日月薄蝕，彗星流動等等，來昭示世人，這是上天的預兆。大地不欺騙萬物，用回聲響應及生長萬物來顯示自己的意圖，江河流注又變得幹涸，山崩地動，大風拔權，飛沙走石，水澇蝗蟲，饑荒大旱，瘴羞災疫等來醒示世人，這是大地的預兆。鬼神不欺騙萬物，以禍福、怪異、災祥等來警示世人，這是鬼神的預兆。國君不欺騙萬物，以天地和諧，星辰順遂，災瑞消滅，四方歸附，百姓安定等來警示世人，這是人君的預兆。人的所作所為，言語用意，無不說天地如此如此，所以聖人說：‘上天沒有親疏，隻有德行為輔助。’敬服天神的意旨，敬服道德高尚的人，敬服聖人的話。世穀人每天私下的言行，做的好事和壞事，天地都知道其情況。偷偷殺死動物性命，天神看得見身形；心中的想法，口裏的話語，鬼神聽得見其聲音；觸犯禁忌達到百條，鬼收去他的精神；觸犯禁忌達到千條，大地收捕其形體；每天行諸多惡事，枷鎖立即修成，這就是陰陽的報應。上天已經警戒，而故意造作違犯，則鬼神天地就降災禍。”