翠華山的書院建築坐北朝南，中軸線依序為集賢門、太學門、政和堂、敬一亭。
主體建築兩側有二廳六堂、禦碑亭、鍾鼓樓等，形成傳統的對稱格局，這是杜構借鑒長安城街坊的格局而建的。
前院東側有敬持門與孔廟相通，構成左廟右學的格局。在夾道上立有經刻石，包括周易、尚書、詩經、周禮、儀禮、禮記、論語、孝經、孟子、爾雅共計十部。
院內除了建有射圃、倉庫、醫所、倉庫外，教室、藏書樓、宿舍、食堂，就規劃了兩千餘間。
但這裏最引人矚目的就是到處都種著槐樹。走到一顆槐樹下拍了兩下後，轉身對杜構笑道：“真是該對你杜輔民刮目相看了，連麵三槐，三公位焉這道理都懂了。”
李承乾說著話是有出處的，自周代起，就有“麵三槐，三公位焉”之說，即在皇宮大門外種植三棵槐樹，分別代表太師、太傅、太保的官位。
古人的所謂:“登槐鼎之任”，即三公之位。所以在曆朝曆代，人們就把國槐視為“公卿大夫之樹”。
在長安的太學裏也廣植槐樹，喻示著監生們可以考中高官之意。在周代，國子監的內外就廣植槐樹，所以在曆代的國子監內外就沿周禮之製，都廣植槐樹。
自隋朝實行科舉製以來，其科考的考場叫“貢院”，因為是給國家遴選人才的地方，所以在貢院裏也是廣植槐樹。
杜構苦著臉說道：“殿下，這都是李師和張師傅的注意，臣可不敢居功。”
李承乾這麼說到事戳到杜構的痛處了，為這事李剛和張玄素拿著拐棍差點沒給他腿給打折了。
所以在他的逼問下，杜構道出了原委。原來這裏都是柳樹，杜構為了省錢所以就沒動。
柳樹因通“留”，故有惜別之意。是傳說中四大鬼樹之一，有聚集陰魂的之說。柳樹為陽性樹種，在民間多用於避邪及招風水。
隋煬帝登基後，下令開鑿通濟渠，虞世基建議在堤岸種柳，隋煬帝認為這個建議不錯，就下令在新開的大運河兩岸種柳。
並親自栽植，禦書賜柳樹姓楊，享受與帝王同姓之殊榮，從此柳樹便有了“楊柳”之美稱。
可李剛和張玄素可不這麼看，他們認為這書院是為國家倫才的地方，是國家盛世和文脈的延續的象征。怎麼能種這樣招鬼，亡國之樹的呢。這是對聖人的不敬。
眾人聽後紛紛捧腹大笑，杜構現在也是朝廷大員了，竟然因為幾棵樹錢被老夫子攆著打，真真是好笑之極。
“好了，你們不要笑了。”，李承乾擺擺手示意大家不要取笑杜構。
“輔民是勤儉持家，這本就是美德。發生了這樣的事不過是因緣際會罷了。不過李師他們也沒有錯。
雖然花了一些錢財，但書院是朝廷教育興國的根本，百年大計，馬虎不得。你們今後也要時時注意才是。”
“諾，臣等謹記殿下教誨”，杜構，趙節，許敬宗等人紛紛應諾。