堪稱“天下第一名刹”、“禪宗之祖庭”的少林寺，位於河南省登封縣少室山北的五乳峰下。因處於少室山的密林之中，故取名“少林寺”。少林寺後來遍布祖國各地，此處的少林寺被譽為少林武術的發源地。
關於少林寺的修建，有一個神話傳說，少林寺的修建是神的旨意。
據說有天，佛陀、陰陽先生和財主，分別從三個不同方向到嵩山賞少室山的奇景。當他們快到連天峰頂的時候，突然雲霧積聚，他們慌忙向連天峰爬去，最後都爬到了連天峰一個鼓形的石頭旁，但是誰也看不到誰。他們正要站起來觀賞少室山時，忽然聽到雲端有一老一少的聲音傳出。小孩對老者說：“竹林寺升天了，天下還有佛寺嗎？”老者回答說：“天上有竹林寺，天下有少林寺啊。”“可是少林寺在哪呢？”小孩不解地問道。老者用手指指了指少室山下，說：“就在那啊。”三個人循著老者指的方向看去，果然有一座金碧輝煌的寺廟，隱約在密林之中，別有一番韻味。說完，老者和小孩都消失了，山上的雲霧也隨之散去。這時，三個人各懷心思，都認為少室山是塊寶地，想占為己有。
下山後，三個人分別找地方住下了，都想著第二天去占領那塊寶地。那個佛陀最先按捺不住，睡到半夜就起來去少室山察看。當他看到兩棵翠柏，認為就是白天看到的地方就將自己的鞋子埋在了樹之間，回去接著睡覺了。等到雞剛打鳴的時候，陰陽先生也出發了，正好看到的也是那塊地，就找了一根木棍插在了樹之間。最後，財主梳洗完終於也到了翠柏之間，就隨手將自己的財主帽掛在了棍子上，以作記號。
幾天之後，三個人分別帶著一幫人，準備開發這塊寶地。可是一見麵就吵起來了，他們的爭吵讓正在附近的北魏孝文帝聽到了。於是，孝文帝根據帽子在棍子上，棍子插在鞋上的次序，將那塊寶地賜給了佛陀，少林寺也就開始建造了。後來才知道，那個佛陀就是東土傳經的印度高僧，已經在中國遊曆三年了。
傳說為少林寺增加了幾分神秘感，不過據說少林寺就是北魏孝文帝為印度僧人跋陀（印佛陀）弘揚佛法而敕建的。孝昌三年（公元527年），印度僧人菩提達摩來此弘授禪宗，佛教史上尊其為“禪宗初祖”。北魏武帝廢佛時，此寺被毀。北周大象年間（公元579—580年）重建後，改名為“陡岵寺”。隋文帝在位時（公元581—604年）敕令複名“少林寺”。隋末秦王李世民在討伐王世充時遭難，曾得到少林寺武僧的救援。李世民登基後，對少林寺大加褒獎，賞田賜物、擴建寺院，發展少林武功。少林寺從此名揚四海，曆代香火不衰，博得了“天下第一名刹”的稱號。
少林寺山門上方橫懸康熙禦題長方形黑金字匾額，上書“少林寺”三字，是康熙南下時到嵩山時所題。山門麵闊三間，吻獸生動。大門前有石獅一對，一雄一雌，係清代雕刻。山門的八字牆東西兩邊，對稱立有兩座石坊，東石坊外橫額“祖源諦本”四字，內橫額“跋陀開創”；西石坊內橫額“大乘勝地”，外橫額“嵩少禪林”。山門的整體結構配置高低相應，十分和諧。