顯慶四年，楊清心回來長安城，曾收了一個徒弟，叫杜元紀，
此人一直是個江湖中人，混吃混喝，騙得一手好錢。
一直沒有什麼真本事，聽江湖傳聞說，楊清心是活了千歲的世外高人，手中有本惑心秘籍，聽說這書無所不能，能上知天文，下知地理，能醫天下蒼生，救黎明百姓。又有絕世武學在其中。隨便是哪一個普通人，在其中領悟一兩樣，就可發家致富，得到真本領，揚名立萬，號令天下。
這杜元紀一天吃飽了沒事幹，就耳目靈光，便聽說了這件事，多方打聽到楊清心的住處。便整天夢想著拜楊清心為師。
這一日又來王老三和李子健哥仨開的酒樓裏求楊清心收自己為徒，楊清心不屑於與這些人來往，可一聽這人叫杜元紀。
楊清心就說：“等等，讓他進來?”
杜元紀見到楊清心，楊清心說：“你當我徒弟，我可保你榮華富貴，但是有一件事，你必須答應我?”
杜元紀高興道：“師父，肯收我為徒，我便萬死不辭也會答應師父的要求的？”
楊清心笑道：“也沒什麼，我就授你風水望氣之法，在長安城裏先打出名氣來？”
杜元紀一聽，這感情好啊，隻要有真本事，再加上自己的三存不爛之舌的鼓動。再長安城打出名氣來是不在話下的。
這一來二去，杜元紀跟著楊清心學了幾年風水，在長安城幹的風生水起。也是時候要用的時候了！
這天楊清心說：“這幾日有個朝廷中的大官，要找你望氣，你盡管接下來這案子，不管怎樣說，你就說，他家風水需要大筆銀子才能震住氣場就行了！”
杜元紀一聽笑道：“師父，還有這好事啊？這可好，銀子拿來我分師父一半?”
楊清心笑道：“不用，你也不要拿，就放著他們家留著有用。但這件事不要把為師透漏出去就行了！”
杜元紀高興的就走了！這等好事，就是師父不吩咐自己，也得接，再說師父算的從來沒錯過。這不當朝宰相李義府就找到杜元紀頭上來望氣了！
之前顯慶二年（657年），唐高宗擢升李義府為中書令、檢校禦史大夫、太子賓客、河間郡公，並為他修建宅第。當時，李義府寵冠朝廷，家中子弟都被封為清要官職。他生性貪婪，與妻子、子婿大肆賣官鬻爵，又多引腹心、廣結朋黨，權勢熏天。
此前，杜正倫擔任中書侍郎，而李義府則為門下典儀，後二人一同擔任中書令。杜正倫自恃前輩，對李義府非常輕視。顯慶三年（658年），杜正倫與中書侍郎李友益謀除李義府，結果事情泄露，被李義府告知皇帝。二人在唐高宗麵前爭論，各執一詞。唐高宗以“大臣不和”為由，貶李義府為普州刺史、杜正倫為橫州刺史，並將李友益流放峰州。
顯慶四年（659年），李義府被征召回朝，兼任吏部尚書、同中書門下三品。此前，李義府自稱出身趙郡李氏，被給事中李崇德列入族譜。他貶官普州時，李崇德卻將他除名，因此懷恨在心。李義府回朝後，命人羅織罪名，將李崇德下獄。李崇德最終在獄中自殺。