清廷嚴禁官吏經商，作知府的陳昔凡怎能開古玩鋪呢？說起來還有段故事：
光緒二十七年，八國聯軍洗劫琉璃廠後第一個年節，逛廠甸的人還不少。書商張鴻瑞和帖商張景韓、劉振之三個人擺了個書帖攤。大年初六，遇上位買主挑了兒本書，選了兒幅帖，想買書帖但手頭的錢不夠了。
張鴻瑞看這位買主麵目和善是位老年人，便主動請老人將書帖拿走，什麼時候有錢什麼時候再給。老人說：“我是東北遼陽人，一個月後才能給你們錢。”張鴻瑞說您拿走我放心，什麼時候給錢都行。”
這一年的二月初六，老人托人把錢從遼陽捎來了。此時北京古玩書畫行的生意蕭條，張鴻瑞、張景韓、劉振之三人商量，湊點路費，帶些書帖和字畫給遼陽那位老人送去，蹚蹬路子。商量好了由張鴻瑞前往。
張鴻瑞到遼陽見到這位老人。老人說：“我的錢不多，買不起這些書畫字帖。我寫封信，你拿著我的信去新民府知府衙門，那裏有位二堂老爺叫陳昔凡，他喜愛書畫法帖。他見到我的信，能見見你，你去做他的買賣吧!”從此張鴻瑞在東北蹚出了路子，做上了陳昔凡的古玩字畫買賣。
陳昔凡喜歡搜集、收藏字畫和法帖。他出生於書香門第，官宦之家，舉人出身，京師會試錄取貢生。光緒二十七年，他被清廷任命為奉天新民府五品二堂（即副知府），攜眷從安徽懷寧到奉天新民上任。
陳昔凡年近四旬，膝下無子女，上任之前，他哥哥說：“我的大兒子屢試不中，你帶他出去見見市麵，讓他照顧你，你教他讀書習字，不可荒廢學業。”州府二堂是份清閑差使，陳昔凡有充足時間賞古作畫，指導大侄兒讀書習字。
光緒三十年，新民府的知府榮升為江南某省巡撫，陳昔凡升為“四品黃堂”、新民府知府。張鴻瑞知道後，為了祝賀陳大人榮升，送去一幅王暈山水畫軸，還帶去一些書畫、文玩，請陳大人鑒賞收藏。陳昔凡將送去的東西完全收下，
照價付款，不受賀禮。張鴻瑞做了一筆大生意，賺了二百兩銀子。
這時，張鴻瑞做陳昔凡的古玩字畫生意已有四年，彼此較為熟悉。陳昔凡認為張鴻瑞這個人老實誠懇，張鴻瑞感到陳大人為人和善，沒官僚架子，像位書生。兩人投緣，兒乎無話不說，相處很隨便。
一天，張鴻瑞見陳大人很高興，便問道：“陳大人！您投點錢，我給您開家古玩鋪，您看行不？”陳昔凡說：“朝廷不準為官者開買賣經商。”張鴻瑞講琉璃廠筆彩齋是鄭王府開的，賞奇齋是醇王府的，大觀齋和延清堂是內務府總管開的，四品黃堂怎麼就不能開古玩鋪？”陳昔凡說：“他們都公開說是他們開的？恐怕他們不敢。”張鴻瑞說：“您做東家，我給您去經營當個掌櫃的，開買賣的字據上不寫東家姓名，寫上您家的堂號或齋名都行。琉璃廠可是好地界，將來您年老離任，可住在那裏讀書繪畫，欣賞古物奇珍，交往文人學士，其樂無窮r陳昔凡被張鴻瑞說活了心，欣然同意了。