作為心理學家看，這個策略的使用，首先是一個人確實“老吾老”。這個前提不具備的時候，推己及人的策略是無法使用的。“好貨”、“好色”都是比較容易的，用現代的話說就是，金錢美女誰不喜歡。但是，是否每個人都很孝敬自己的父母，對父母有濃厚的親情，這可就難於保證了。如果家庭中一向和諧還好，如果家庭中親子衝突很大，父母和孩子之間有怨恨情緒，則移情的結果隻能是“怨吾老以及人之老，煩吾幼以及人之幼”。把對自己父母孩子的不滿，無形中轉移到了別人身上，這樣不僅無助於利他行為，反而會帶來原因不明的人際衝突。
現實世界中，這種怨吾老以及人之老的事情比比皆是。電影《新警察故事》中，幾個孩子到處犯罪，甚至殺死警察，最後發現其中領頭的孩子正是某個警署領導的兒子。因為那個父親對待自己兒子過分粗暴，使兒子內心中產生了對父親的仇恨。不敢反抗父親，於是兒子就以犯罪和襲警來發泄仇恨。這也是一種移情，隻不過是仇恨的移情。一般生活中這樣嚴重的消極移情固然不多，但是，因為怨恨父母所以和老師作對這類的移情卻隨處可見。
當然，在儒家的設計中，認為這個問題並非難於解決。因為按照儒家的說法，兒童依戀父母是天性，而那種不愛父母的孩子都是天性被扭曲者。這也就是儒家之所以最重視孝道的一個重要原因，他們希望這個“推己及人”的策略能建立在“天性之愛”的堅實基礎上。如果有人連愛父母的天性都喪失了，我們就必須先把這個天性恢複，隨後的一切就都可以進行了。專從理性看，我也承認孩子依戀父母的確是人的天性，而且對父母之愛也的確是人一生中愛的最初形式。但是在實踐中，讓許許多多已經在親子關係中產生了怨恨的人，恢複對父母最早的單純的愛，這是一個非常困難的任務。有些人甚至對自己的愛都已經千瘡百孔，更談不上愛別人了，對這些人來說，使用這個策略更加困難。
三
還有一個問題恐怕更困難，就是如何能調動或恰當調動這種我們需要的移情。看到一個老人需要幫助，也許我會想：“這個老人有些像我的父母，我願意父母能夠得到幫助，所以我去幫助一下他吧。”但是我也可能會想：“他又不是我的父母，輪不到我管，我還是先管自己的父母好了。”儒家思想裏並無很係統的方法，能讓人更多地想前一種想法。
再有，有時我“老吾老”和“老別人之老”之間是有矛盾的。如果我父親和別人父親吵架了，而我對自己的父親很好，那我就不大可能在看到他們吵架時，想到“他也是別人的父親，別人也不希望父親受欺負”。我越是愛我的父親，越有可能對敢於和我父親發生爭吵的人發怒，因此，我不但不會關心那個“可惡的老家夥”，反而願意和我父親一起，對那個老家夥迎頭痛擊，讓他嚐嚐失敗的難受滋味。
我們容易移情的對象，必須和我們自己或者我們的親人比較類似。因此，借助移情而利他，也比較容易幫助這些類似於我們的人，而難於幫助那些和我們差異比較大的人。親人得癌症死去，悲傷的家人會捐錢給癌症研究基金，而往往不會捐錢研究禽流感的治療。這當然也沒有關係，不管幫助誰都是助人，隻怕的是助某些人的同時也許會有損於他人。
《宋史·範仲淹傳》記載，範仲淹在用人上十分嚴謹。在審查擔任各路按察使的人選時，每當看到名單上有不合格的人，便一筆勾之。有一次，旁邊的一位大臣勸他說：“一筆勾之甚易，焉知一家哭矣！”範仲淹說：“一家哭何如一路哭？”
旁邊的這位大臣，何嚐沒有“老吾老以及人之老”的精神，因此，想到別人不幸失去官職，“一家哭”的痛苦場景，不由得不心生戚戚焉。而“一路哭”的平民百姓和這位大臣相似性很低，大臣不容易想象他們的生活，因此，才會推己及人，不願意輕易剝奪不稱職官員的職位。範仲淹自己幼年生活貧苦，才更容易想到百姓的悲苦。中國“官官相護”的惡習，未必不是因為這些貪官們有推己及人的利他精神。
四
如果這還不夠麻煩的話，我們還有更困難的問題。有些人的心理，更不是孟子之流單純的人所能想到的。就算我們能夠做到“老吾老、幼吾幼”，或者“貪吾貪、色吾色”，但是有些人就是不會移情到別人身上。有些人就是“我自己享受的快樂，就不願意別人享受；我不願意自己受的苦，卻未必不願意別人受”。孟子曾經問齊宣王：“獨樂樂，與人樂樂，孰樂？”“與少樂樂，與眾樂樂，孰樂？”齊宣王說，和別人一起快樂比自己快樂更快樂，和多數人一起快樂比和少數人一起快樂更快樂。這倒是很符合孟子的觀點，不過，事實上未必盡是如此，獨樂樂有時會超過與人樂樂。因為通過比較自己和別人的生活，獨樂樂的人會發現自己的生活比別人的更好，這樣會在本來的幸福感上，增加一種“感到自己比別人更好”的特殊快樂，而在別人都快樂後，我的這個快樂就沒有了。在當初大家都沒有自行車的時候，我有了自行車，而後來大家紛紛買自行車的時候，我分明沒有感覺到更快樂，相反還有些失落。追求時尚的女孩子最大的快樂，就是自己的新時裝是獨此一件的，絕對不希望別人也像自己一樣快樂。退一步說，就算隻能和大家買一樣的名牌手袋，也是“與少樂樂”勝過“與眾樂樂”。心腸更狠一點的人，更會希望看到別人的不幸福，因為別人的不幸才可以反襯自己的快樂。“人生最大的快樂莫過於到處追殺敵人，搶奪他們的土地財富，聽著他們的妻兒哭泣”，成吉思汗的這段話，分明是和孟子唱反調。欺男霸女、橫行街市，如果你硬說這不是一種快樂，高俅的兒子首先要不答應，成吉思汗先生也必然要反對，就算你能駁得高衙內啞口無言，卻也未必能讓成吉思汗先生心服口服吧。