在遊俠社會來源問題上，劉若愚與馮友蘭、勞幹、陶希聖、楊聯陞諸家觀點不同，他傾向於讚同日本學者增淵龍夫的觀點：“遊俠不是特殊的社會集團，隻不過是一群具有俠客氣質的人。”
他在增淵龍夫的基礎上更進一步指出，遊俠為人大多是性格氣質問題，而不是社會出生使然，遊俠是一種習性，而不是一種職業。他舉出了兩點理由：第一，司馬遷在《史記·遊俠列傳》中多次提到“布衣之俠”、“鄉曲之俠”、“閭巷之俠”。這說明還有另外一些俠客不是平民，不是來自鄉村、閭巷；否則，就沒必要特地指明這批俠客的出身。第二，司馬遷把收留遊俠作“客”的“四公子”（齊國孟嚐君、趙國平原君、魏國信陵君、楚國春申君）也歸類為遊俠，這些人顯然不是平民。班固在《漢書》中提到“四公子”時也說他們：“皆借王公之勢，競為遊俠。”這證明，遊俠並不是來源於單一的平民階層。
劉若愚總結說，遊俠，或至少是他們當中有一部分人，並不把行俠當作謀生手段。遊俠不是一種職業，他們也未必是職業武士。遊俠之所以出名，不是靠精於劍術或嫻於戰術，而是因為助人為樂，具有正義感。基於上述理由，劉若愚認為最好不要把遊俠看成一種社會階級或職業集團，他們是具有強烈個性，為了某些信念而實施某些行為的一群人。
清人曾國藩將遊俠“分三等人，布衣閭巷之俠，一也；有土卿相之富，二也；暴豪恣欲之徒，三也”。依據曾國藩的分類原則，來看漢代的遊俠：
其一，“布衣閭巷之俠”，是生活在下層民間社會，奉行著拯救人間社會之危的俠義觀念的一群人，常急貧民之所急，全力救助貧弱，如西漢時期的朱家、郭解、劇孟就是這類代表人物；其二，戰國時期所謂的“卿相之俠”延續至西漢，幾乎已不複存在，取而代之的是亦官亦俠的“官俠”，如原涉、袁盎、欒布、鄭當時之類皆屬此類；其三，“豪暴之俠”，大抵是一些地方豪強，為謀私利結成幫派，依仗手中的財勢，淩辱鄉裏，橫行霸道，其所作所為近乎惡霸，俠義的成分淡薄，如漢代的寧成、灌夫等。
由於社會形態的轉化和變遷，使得這幾種類型的遊俠在漢代各時期各有所偏重。大抵西漢初年及中期以“閭巷之俠”最為突出，而西漢後期則以“豪暴之俠”最引人關注。透過曾國藩的分析，可以證實劉若愚的觀點：遊俠本身並不是一種職業，也不是一個固定不變的社會集團，而會因為客觀環境的改變及主體意識的轉化而不斷變動。
（四）遊俠的思想信念
遊俠憑借什麼樣的思想觀念支配他們行俠仗義的行為？劉若愚歸納為八條：
一是“助人為樂”。遊俠以扶貧救困為常事，樂於舍己救人。正如馮友蘭所指出的那樣，遊俠的行為具有“超道德”的特征。例如：“施恩不望報是道德的行為，施恩拒報則是‘超道德’的行為。”
二是“公正”。遊俠的秉持凡事必須公正的信念，這可用一句專門描寫遊俠的話來說明，即“路見不平，拔刀相助”。既然官府不能執法如山，遊俠的這種做法就很得百姓歡迎。哲學家希望統治者能夠改換心腸，隻是美好的希望而已，往往落空。遊俠走的則是另外一條路，又快又直接，而且至少能爭取到暫時的小小的公正。
三是“自由”。遊俠希望公正常在，卻又公開藐視國家法律，表現出放蕩不羈、不受約束、特立獨行的性格。他們反對任何嚴格的管束，鄙薄公認的社會規範，隻承認他們自己認可的道德準則。
四是“忠於知己”。“士為知己者死”，是遊俠行事的動機。對遊俠來說，忠於知己比忠於朝廷或孝順父母更為重要。遊俠即使為一君王而死，那也不是臣民為君王而死，而是為知己而死。這從侯贏、荊軻事跡可以得到印證。
五是“勇敢堅強”。做一個遊俠要求具有勇敢而堅強的性格特質。做事隻考慮當作不當作，從不考慮是否危險，是否有嚴重的後果，具有視死如歸、一往無前的勇敢氣魄。
六是“誠信為本”。遊俠強調言行誠實，兌現承諾。司馬遷說他們是：“其言必信，其行必果，已諾必誠。”遊俠有時甚至以自殺的行為來表明絕對不泄密。田光為了保守燕太子丹的秘密，以自殺來表明心跡，便是顯例。