河陽徐家原籍安徽鳳陽，明朝正德年間徐家人徐敬川高中進士，分派來河陽任河陽縣令。
在鳳陽，徐家不是名門望族，經常受當地的大姓擠兌，徐家早就有遷出鳳陽之意。徐敬川來到河陽之後，看到河陽一縣民風淳樸，風水又極好，所以索性舉家遷至此，徐敬川就是河陽徐氏的一世祖。
徐府坐落在縣衙正北，原本是座兩進兩出的小院落，但是因為家族的興盛，徐府一擴再擴，到光緒年間徐家府宅幾乎占據了四分之一的河陽城，河陽縣曆來有句俗諺：“河陽縣，徐一半。”
自從一世祖徐敬川高中進士後，徐家的興盛時期就到來了，自明正德到清光緒年間徐家一共考出了九個進士，十四個舉人。特別需要一提的是，在清順治、康熙、雍正三朝，徐家人采取了與朝廷不合作的態度，三朝沒有參加科舉考試。康熙十八年三月，徐家八世祖徐瑜珂被強行拉到京城參加博學鴻詞科考試，結果他故意詩押錯韻，文錯抬格。正在急於籠絡人心的康熙皇帝無奈隻好放他還鄉。
一直到乾隆末年，徐家才又開始了科舉考試，這是因為一百多年沒有人出來做官，徐家在河陽的地位有些動搖，如果徐家再沒有人站出來走仕途這條路，徐家將麵臨被河陽人輕視的命運。
嘉慶元年，徐家子弟徐翻在殿試中高中一甲第二名，跨馬戴花遊街，開啟了徐家第二個興盛時代。嘉慶十八年，年僅四十的徐翻累官至戶部尚書，也就是在那一年，他的弟弟徐羽也進士及第。一門二進士，不僅在海右省名聲大振，就是在整個大清朝這樣的事情也不是很多，河陽徐家一時名動朝野。
嘉慶二十一年春天一個風和日麗的上午，剛剛進入軍機處的徐翻忽然聞到一股薺菜的清香味，這縷縷清香把他的思緒帶回到河陽老家、帶回少年時代。
在河陽老家，每到這個季節，他常常放下手中的書本，帶著他的幼弟徐羽去西嶺挖薺菜，他在前麵用小鏟子挖，弟弟徐羽提著個竹籃在後麵撿。不知為什麼，挖薺菜的畫麵多少天來始終纏繞在徐翻腦海，招之即來，揮而不去。
清明節那天，他做出了一個令人震驚的決定：寫信給在莆田做縣令的弟弟徐羽，約他一同辭官還鄉。
徐羽曆來對哥哥言聽計從，接到兄長的信後，立即上奏皇上托病辭官。徐翻和徐羽的奏折幾乎在同一天呈嘉慶帝禦覽。
一直視徐翻為肱股的嘉慶帝當然不舍得他離開，無奈徐翻徐羽弟兄兩個的去意已決。
徐翻徐羽此舉無疑是轟動朝野的大事。就徐翻來說，他可能吃透官場之情，諒透官場之險；但是徐羽是青年進士，做官的心正旺，怎麼舍得棄官而去？急流勇退實在是人情之難，然而兄弟之情，血濃於水啊！
徐翻為官十幾載，胸懷坦蕩，匿人之惡，揚人之善，心寬如海，時人皆讚其為宰相器。因此還鄉那天，文武百官相送，場麵極其感人。嘉慶帝親書一匾“乃兄乃弟是鄉是人”相贈。
從此之後，弟兄二人撫琴西山，行吟龍吟。閱遍天下古籍善本孤本，窮通三墳五典九丘八索。在書法上，徐翻習顏。徐羽追柳，二人皆於顏柳之上獨出新意，自成一體。徐翻善畫山水，徐羽則於人物上見長，二人合作把河陽縣“八景”一一畫出，他們的“龍吟行吟圖”和“西嶺春曉圖”在當時就千金難求了。
有一年，因為家族的興盛，弟兄二人決定買地建房，北鄰的王財主決定把自己家的一處房子賣給他們，但是王財主不要錢，而是要弟兄兩個合作的一幅畫，除此之外沒有商量的餘地。徐翻徐羽弟兄兩個沒有辦法，隻好合作畫了一幅“東郊春行圖”給了他，上麵有弟兄二人的題跋和徐羽的一首五言詩。光緒年間王家敗落的時候，這幅畫賣了三萬兩銀子！
自明朝正德年間以來徐家曆代收藏的名家書畫傾城傾國，徐家之富，路人皆知。