一、家庭官宦 才華出眾
唐太宗貞觀三年（629年）曾任靈州大都督的李大亮，是大唐兵部尚書、右衛大將軍，頗具文才武略，被唐太宗稱讚為“可謂忠直”，是一位品德高尚的名將。曆史往往有很多巧合，這位大將軍之家，竟然有祖孫二人，先後都曾經擔任過靈州刺史，也就是在李大亮出鎮靈州大都督七十六年後，唐中宗神龍元年（705年），李大亮的族孫，也是兵部尚書和宰相的李廻秀，也坐鎮靈州，出任朔方道行軍大總管。
李廻秀，字茂之，李大亮是他的堂祖父，他們李家是京兆涇陽（今陝西涇陽縣）人。李家世代為官，老祖先李琰曾為北魏的尚書度支之官。堂祖父李大亮是唐太宗的右衛大將軍。他自幼聰悟，才華出眾，《全唐詩》收其詩作四首。他喜飲酒，為人瀟灑，廣交朋友。《廣異記》中就有尚書李廻秀與清禪寺高僧靈貞關係“厚善”的故事。他死去數年之後，靈善還夢見李迴秀，靈善僧專門為他設齋並寫《法華經》一部。
二、王老夜聞 李侍郎上
史書上還有關於李迴秀當侍郎是有天助的神奇傳說的記載。記載說，武則天當女皇時，有一個周地官郎中名叫房穎叔的，被武則天任命為天官侍郎，第二天就要去上朝麵聖。當天夜裏，他家的廚子王老漢夜半就起來，為伺候主人上朝作準備。就在這時，王老漢忽然聽到院外有人喊道：“王老不須起，房侍郎不上，後三日李侍郎上。”於是，王老漢就接著睡覺，一直睡到大天亮。第二天房穎叔果然生病，幾天以後死去。這時，朝廷下聖旨，武則天任命李迴秀為侍郎。王老漢將他晚上聽到的話問眾人，大家都說沒有聽見。王老漢這才“方悟”到有神保佑李迴秀當侍郎，是“神明所告也”。
三、武後恩寵 官拜宰相
李迴秀才華橫溢，深得武後恩寵重用，很快由考功員外郎升遷為鳳閣（就是宰相府）舍人。大足元年（701年）初，出任檢校夏官侍郎，右奉宸內供奉。後來，再選拔文武官員，因為他“號稱職”，就晉升為同鳳閣鸞台平章事，就是同中書門下平章事，也就是大唐宰相。但是，李迴秀的仕途頗不平坦，忽上忽下。史書記載：武則天長安年間（701～704年），“夏官侍郎李廻秀納貨賄，監察禦史馬懷素奏劾之，遂罷官”，“罷知政事”，被貶為盧州刺史。
四、攀結男寵 貶至定州
武則天作為中國曆史上唯一的女皇，在位期間，政績不小，但她生活腐化驕奢淫逸。她為自己找了好幾個男寵，首任男寵就是長壽三年（694年）曾任朔方道大總管的薛懷義，後來又有張易之兄弟。張易之兄弟依靠武則天在朝廷非常驕橫，而李迴秀對他們二人“橈意諧媚”，因此，他在朝臣心目中的地位就很快下降。不但如此，武則天封二張母親韋阿驕為太夫人，二張更為阿驕用國庫錢財製作象牙床，織犀角蕈，供其享受。因為李迴秀年輕時就非常瀟灑風流，喜飲酒，廣交朋友，被武則天看中，下令“詔尚書李迴秀私侍阿驕”，有的書上說是“命鳳閣侍郎李迴秀妻之”。但是，李廻秀雖風流喜飲酒但多不亂，並不像武則天二張之輩。因是強迫為之，故他對韋阿驕既害怕又不願意，“心惡其老，薄之”。最後，韋阿驕大怒，他得罪了韋阿驕，就又被貶為定州刺史。