主题曲叫《牧羊曲》。隋唐年间，著名功夫家“神腿张”抗暴助义，遭到了仁则陷杀，其子小虎逃亡至少林寺为少林武僧昙宗所救。小虎为报父仇，拜昙宗为师，习武少林，并落发为沙弥，法号觉远。一日，李世民偷渡黄河被王仁则兵马围困，觉远等施计解救。王仁则诬陷少林寺内有人通敌谋反，准备灭掉少林。众僧浴血奋战，昙宗战死。此时李世民率兵返回攻陷洛阳，王兵哗变，王仁则被觉远手刃。为继承昙宗遗志，觉远受戒为僧，兼负武林统领。唐太宗谕立僧兵，并立碑表彰众僧义勇。自此，少林习武风盛，名传四海，威震四方。电影中小虎出家受戒，头上烧戒疤，而事实上戒疤是元朝才出现，这是汉地佛教出家人的一种明显的外在标志，于是很多人都误认为凡和尚都要烧戒疤的。在一些“唐宋时代”故事的电影或电视片里如电影《少林寺》，出现在银幕或屏幕上的和尚们都煞有介事地“烧”上了戒疤，事实上都是错误的。

制片方长城公司起初邀请了香港导演陈文担任导演，拍摄季节是冬天，场景灰暗，陈文又启用了大量来自河南京剧团的演员进行拍摄，效果不佳。于是，请出张鑫炎来救场。此时《少林寺》的拍摄经费已经花掉了40万港元，但张鑫炎进组之后，却决定将此前的拍摄全部推翻，原剧本是正剧风格，他改为轻喜剧，原来的主演是长城公司的吴刚以及京剧演员，他决定由内地的武术精英出演，并在国家体协的协助下，从七个省选出了全部演员，冬天的场景，所呈现出的视觉效果太萧瑟，他就决定等到春天再开始拍摄。于是最终形成我们看到的那个故事。

《少林寺》是一部在武打电影史上具有划时代意义的作品，影片一反旧式武打片中那种纯表演的花架与镜头技巧的卖弄，通过李连杰和他的一班武术队员们朴素真实的功夫让观众真正欣赏到了中国功夫。《少林寺》的轰动，使光头和尚觉远的形象已成为了一个时代的印记。让观众着迷的是，李连杰的一招一式刚柔相济，于海的螳螂拳出神入化，胡坚强的地趟拳腾落舒展，于承惠的醉剑游龙似凤。那武戏的对打，更加精彩了得，值得琢磨。《少林寺》轰动世界，掀起了世界武术热，成了功夫片难以逾越的经典，是因为演员、拳脚都是真功夫。