朝廷得到奏報，震驚不已，遂下詔言明：“凶犯張汶詳（張文祥）膽敢伺隙行刺，戕殺總督重臣，實屬罪大惡極，必應研訊確情，從嚴懲辦，一伸國法”，最後強調，“務將行刺緣由及有無主使情事，一一審出，據實奏聞”。此後，魁玉審訊之力度越來越大，將張文祥痛打折磨，自不待言。與此相配合，他又抓捕了兩名案件相關者，分別為開設飯店並收留過凶犯的朱定齋、周廣彩二人；還有一個重要線索，也是案發時的一個細節，那就是張文祥行刺之前，有人曾跪拜在馬新貽麵前，請求他告幫。經查，此人名為王鹹鎮，山東人士，為他指引高幫處所的是馬新貽的轎夫劉學。此二人亦被監押在案。以上四人皆為與“刺馬案”之重要嫌疑人，隨時準備聽候審問。
在案情毫無進展之情下，魁玉使用“嚴刑逼供”、“疏導利誘”，均未奏效。張文祥所供之詞，怡然含糊不定，閃爍異常。此情之下，魁玉等主審官皆認為其幕後必有隱情，可能是有主使。魁玉認為，若真有主使，其家人必隱匿於鄉野之中，不敢出世。根據張文祥之供認，其家有子女二人，後經查證，卻是兩女一子，其妻已逝。很快，以上人等捉拿歸案。可疑的是，張文祥所給之地點、房屋形狀、家庭狀況幾無疑議。因此，魁玉等人又懷疑起“即有主使”之推斷。魁玉認真思考，與同事們商討，最後認為，張文祥之父子關係可能有假。於是，他讓張文祥跪於眾人之中，低頭不出聲，讓其子女辨認，誰知，他們皆正確無誤地認出親爹來。
之後，魁玉又將與張文祥同居的小妾、其妻嫂羅王氏抓捕歸案，追查是否與凶犯合謀，亦未有頭緒。最後，魁玉將著眼點依然落下張文祥身上，通過種種手段，刑訊逼供，杭文祥透露出一個線索：道光二十九年（1849年），張文祥由山東老家前往浙江寧波府做生意，遂即在此娶妻安家。後因戰亂，不能生活。鹹豐十一年（公元1861年）太平軍攻打浙江，張文祥投靠太平天國侍王李世賢部下，於多地征戰，表現頗佳。論及為何行刺時，他緘口不說，隻要求官府處死自己，犯罪之人，無須爭辯。其中，他稱在太平軍中打仗時，曾救過一個叫時金彪的人，同治七年（公元1868年）間曾找上門，見麵甚歡。此人為馬新貽差弁內為職，後又被山西巡撫李宗羲帶走，差於門下。得到此重大線索，魁玉等人喜出望外，遂下令差役赴山西搜捕此人，盡快對簿公堂，使案情水落石出。八月底，魁玉將情況上奏了朝廷。
所有涉案人員皆到之後，魁玉等人依然未對案件審理進行突破性進展。朝廷方麵心急如焚，下諭擢派漕運總督張之萬會同審理，倆人一起“複勘”，並將總督府中一幹人等牽引入案，甚至是責有“捍衛稽查”之職的中軍副將、巡捕差弁以及馬新貽的隨身家丁並歸案，認真審訊，追究責任，但此時，對張文祥之審訊，依然未有進展。
超中大臣開始議論紛紛，認為其中必有隱情，其根據就是，張文祥被監押時，曾有過“養軍千日，用軍一朝”之疑詞。大臣們紛紛表示，此必是張文祥行刺之動機，再者，他有過太平軍軍官經曆，按照“誰養之誰用之”的邏輯，不得不讓大臣們對大清朝潛在之敵產生新認識，甚至有人認為大清朝之宿敵有死灰複燃之跡象，形成新的鬥爭方式，若不查明真相，恐後患無窮，若能徹查到底，實乃“一招得力，永世安身”之功，切之誠之。
此時，一些朝廷重臣懷疑是江蘇巡撫丁日昌之子所主使。早年，丁日昌之子因作奸犯科，被馬新貽嚴懲過，後托人請情不通，致有此變。案件已審理多日，毫無進展，魁玉、張之萬等決心就此了結，按“大逆不道”問罪，群臣一致反對，認為此案件未有定讞即告結，無法說服輿論，更不能平國憤，於是，朝廷又派刑部尚書鄭敦謹赴江寧審理，與新到任之曾國藩共事複審。此時，曾國藩能拖著老邁身軀，審理此複雜案件，精神更可嘉歎。
此案以鄭敦謹為主審，曾國藩協審，在定性上，曾國藩可能無何權力，而就實際操作而論，曾國藩無疑起到至關重要之“定調”作用。同治十年（公元1871年）正月十五日，曾國藩給兩弟曾國荃、曾國潢之書信信中就稱：“鄭小山（敦謹）除夕抵江寧，初二日即關門審案，今已研訊十四日。該犯一味狡展，毫無確供，將來隻好仍照魁、張兩公原奏之法奏結。”可見，案件發展已到焦灼程度。十天之後，他再次書信給兩弟，稱“至今熬審將近一月。張文祥毫無確供，即再熬亦屬無益，隻好仍照魁將軍等上年原定之奏具案”。
曾國藩認為，此案已無疑點，隻是時間長久，越審越亂，不如“快刀斬亂麻”，果決了斷，以魁玉、張之萬等人之原定計劃奏結，此為上上之選，毫無疑議。後來，曾國藩與鄭敦謹認真商討、研究，即接受了此方案。正月二十九日，曾國藩、鄭敦謹聯名上奏，將案件之發端、醞釀、發展、結果及判決進行了係統的陳述，待朝廷定奪。
審訊時，凶犯張文祥一切身邊人，有關係往來者嚴加詰問，隔絕送審，詳細推究，得知張文祥是私通海盜，屢次為其銷贓。其離家期間，其妻羅氏攜帶全部家產，改嫁吳姓（吳炳燮），張文祥得知，控告其妻，官府將其判回，但全部家庭財產未能追回，心中鬱忿，曾乘時任江浙巡撫馬新貽巡閱之際遞交狀書，被馬回絕。之後，吳姓男子又與羅氏勾搭，並與之私奔，嗣後，張文祥將妻子追回，以絕狠之手段將羅氏逼迫自盡。
此時，張文祥心中鬱悶難當，痛苦、悔恨、仇思鬱於心中，不能解脫。一段時間之後，他到湖州新市鎮私開小押店，血本無歸，遂不原出門見人。之後，張文祥為了生存，轉行於杭州、江寧，此兩地皆曾是浙江巡撫署理之地。同治九年（公元1870年）六月初九日，他對身邊謊稱去江寧訪友，攜帶銀洋數元，身後背著被褥，由新市鎮起程前往，而對他如何抵達江寧，如何行刺，他則含糊其辭。