那是一個瘋狂的、令人恐懼的時期。當1834年劉易斯的家和商鋪遭到襲擊時，有兩個教堂執事和眾多的商人也在圍觀人群中為那些暴民鼓掌歡呼；同樣，除了塔潘自己的《紐約商務日報》外，紐約所有的日報也都對此拍手稱快。黑人的家園、學校和教堂也遭到洗劫，民主黨坦慕尼協會領袖、紐約市長科尼利厄斯·勞倫斯（Cornelius Lawrence）沒有采取措施對他們進行保護。反奴集會遭到破壞，報紙紛紛嘲弄塔潘兄弟，大肆讚揚暴徒們的公民精神。劉易斯收到一個包裹，裏麵是一隻被切下來的黑人的耳朵。在南方，有人標價懸賞要阿瑟的頭顱，阿瑟的畫像在查爾斯頓被當眾焚燒。有人在路易斯安那州的一次集會出價30000美元懸賞綁架阿瑟，而南卡羅來納州的部長將賞金升至100000美元。阿瑟則拿出英雄氣概回應這些人：“要是能把這些錢都放進紐約的銀行，或許我會考慮自己去領這份賞錢。”
商業團體和守舊的上流社會聯合聖公會教堂袖手旁觀。他們都從分裂中得到好處，但也在某種程度上受著南方奴隸製的困擾，英國於1833年在帝國管轄內徹底廢除奴隸製度也讓這些人左右為難，但這些人寧願維持現狀也不願讓任何東西影響他們的社會地位，妨礙他們的棉花交易。他們以恩賜的態度批評南方黑人遭受的待遇，盡管如此，他們還是反感黑人去他們自己的白人教堂，反感黑人在他們的公司就餐。的確，阿瑟·塔潘公司沒有黑人職員，除了搬運工，任何崗位都沒有黑人。反正很少有黑人獲得過起碼的教育，他們無法在生意場上流利地交流。盡管如此，塔潘兄弟也很少會與這個城市的黑人交往，即便芬尼還在教堂的走廊上為黑人們設置了休息座椅。
廢奴主義者中那些熱衷於改革的基督徒所發起的運動，有別於解放意義上的政治平等。政治運動要求的是國家的優先任務、憲法賦予的權利、整體意義上的社會平等；相比之下，政治手段要激進得多，更能激起民眾去實現其預期目的。劉易斯準備極力勸說大家加快前進的步伐，以消除這種區別，阿瑟則更傾向於采取漸進之道。但他們都意識到，隻要作出任何激起種族仇視的事情，首當其衝遭到報複的總是黑人團體。塔潘兄弟不是聖人，也不是現代意識的解放者，他們對激進派在倫理上的過失和戰術上的輕率越來越感到憎惡，當加瑞森作出激進的決定要為每個人的人權而開展運動時，他們同樣感到不快。他們與保守的牧師們一道，尤其反感加瑞森所提倡的婦女也要參與反奴運動。劉易斯說這很可能給婦女們帶來“不必要的譴責和困窘，並致使她們遭受奴役”，因為婦女們參政“於情於理都不合適，無論哪個國家都一樣”。1840年5月，塔潘兄弟帶頭“另立門戶”，他們基於上述分歧脫離“美國反奴協會”（American Anti-Slavery Society），建立了他們自己的“美國和國外反奴協會”（American and Foreign Anti-Slavery Society），這個協會明確規定拒絕婦女參與投票。
盡管如此，如果說塔潘兄弟偏執、傲慢、頑固、機會主義，那他們對黑人比對白人無疑更具誠摯的道德想象力和同情心。研究宗教鬥爭反奴的曆史學家伯特倫·懷亞特-布朗（Bertram Wyatt-Brown）指出，劉易斯關於南方的見解可能是淳樸的、感傷的、抽象的，但是他和其他反奴主義者都作出了很多努力來使大家達成共識：是掠奪而不是遺傳造就了黑人的境遇。真是“值得尊敬的”見解，無論在北方還是在南方，隻要不是徹頭徹尾的反動分子，就不能不為之動容。阿瑟在耶魯大學附近捐資修建了一所黑人培訓學校，但卻得不到學者們的支持，1831年8月納特·特納（Nat Turner）的奴隸起義讓這個社區心有餘悸，當時有55個白人被殺死。有一群無賴，估計是耶魯學生，他們胡作非為，擊碎了阿瑟紐約家中的窗戶，並且還大聲咒罵阿瑟及其家人。
塔潘兄弟的改革運動帶來一連串的影響。在他們的幫助下，俄亥俄州的奧伯林學院（Oberlin College）於1835年成立，這裏成為反奴主義者的指揮中心。芬尼在與全體教職員工見麵時堅持認為，自由的黑人應該有資格入學；芬尼吸引來一大批來自辛辛那提的萊恩神學院（Lane Seminary）的教職員工和學生。改革運動給塔潘帶來的負麵影響是商業活動舉步維艱。支持奴隸製度的力量組織起來聯合抵製他們的商鋪，所有的南方商人停止從塔潘那裏進貨。這種壓力致使阿瑟放寬了隻用現金交割的限製。他把賒貨的賬期放得越來越長，而又沒有提價以彌補不可避免的壞賬。在1837年的金融危機中，600家銀行破產，阿瑟還有價值110萬美元的商品積壓在倉庫裏。而他債台高築，債務相當於現在的數億美元，這使劉易斯和公眾都目瞪口呆。1837年5月1日，阿瑟向債權人宣布破產。在18個月以內，靠節衣縮食和削減開支，體弱多病的阿瑟還清了所有100個債權人的債務和年息9%~15%的累計利息。這是他正直人生的光輝一頁，但是商鋪從此一蹶不振。