馬祖，四川成都人，俗姓馬，在佛教僧侶中，以俗姓稱祖的，可能就是他了。
馬祖十二歲出家當了和尚，後來到南嶽拜懷讓為師。
懷讓看馬祖整天呆呆地坐在那裏參禪，於是便見機施教，問他：“你整天在這裏坐禪，圖個什麼？”
馬祖說：“我想成佛。”
懷讓就拿起一塊磚，在馬祖附近的石頭上磨了起來。
馬祖不解地問：“師父，您磨磚做什麼呀？”
懷讓：“我磨磚做鏡子啊。”
馬祖：“磨磚怎麼能做鏡子呢？”
懷讓：“磨磚不能做鏡子，那坐禪又怎麼能成佛呢？”
馬祖：“那要怎麼樣才能成佛呢？”
懷讓：“這道理就好比有人駕車，如果車子不走了，你是坐車呢，還是騎牛？”
馬祖無法回答。
懷讓又說：“你是學坐禪，還是學坐佛？如果學坐禪，禪並不在於坐臥。如果是學坐佛，佛並沒有一定的形狀。對於變化不定的事物不應該有所取舍。你如果學坐佛，就是扼殺了佛；如果你執著於坐禪，就是背道而行。”
馬祖聽了懷讓的教誨，如醍醐灌頂，從此真正悟了道，跟隨懷讓整整十年。馬祖離別懷讓後，到江西去作方丈。在懷讓的六位入室弟子當中，隻有他得到了心傳。努力和毅力要放到正確的方向上，否則，即使付出再多，花費的時間再長，也是緣木求魚。