电影《少林寺》讲的是：隋朝末年，小虎的父亲被奸臣大将王仁则残酷杀害，小虎幸被少林武僧昙宗救出。小虎为报父仇，拜昙宗为师，习武少林，并落发为沙弥，法号觉远。一日，李世民被王仁则兵马围困，觉远等施计解救。王诬之通敌谋反，准备灭掉少林。众僧浴血奋战，昙宗战死。李世民率兵返回，王兵哗变，王仁则被觉远手刃。为继承昙宗遗志，觉远受戒为僧，兼负武林统领。唐大宗谕立僧兵，并立碑表彰众僧义勇。自此，少林习武风盛，名传四海。
《少林寺》一片是根据少林寺中流传已久的故事——十三棍僧救唐王的传说改编的。
资金筹好后，张鑫炎带着人马来到河南选景，一连挑选演员，河南没有找到什么武术人才，张鑫炎于是来到山东济南，此时，山东济南正在举办一次武术比赛，全国各路高手云集，张鑫炎在山东挑选中了山东的于海、刘怀良、杜传扬、于承惠、孙建魁、崔志强；湖南的潘清福、陕西的寻峰、浙江的胡坚强、计春华、方平；还有北京的王珏、王群，都是武功高手，冠军人选。
但是，张鑫炎发现这些人都不适合演主角觉远，觉远是一名20岁以下的年轻人，而且是一个很有朝气，很活泼的年轻人。现在的这些人感觉都不对。
主角一事让导演张鑫炎伤透了脑筋，后来，有助手拿李连杰70年代末在香港表演武术时的画报给他看，张鑫炎马上想起这个小伙子。当时，中国武术代表团出访各国，在访美经过香港时，中国武术代表团曾在香港的新光剧院向观众表演。李连杰承担主要的表演任务，他的套路多，表演时间长。他扎实的武功根底，灵活的身手，让在座观众赏心悦目。他每表演完一个武术套路都微笑着向观众致谢，那张天真稚气的孩子脸，笑起来特别开朗，很投观众的缘。
武术团表演完后，张鑫炎还与李连杰的教练吴彬接触过，两人颇为投缘，交流过许多想法。
张鑫炎马上飞赴北京，在体校，张鑫炎再次见到了武术冠军李连杰，几年不见，李连杰长高长大了，越发清秀而帅气。张鑫炎看后，满心欢喜，吴彬教练传话，让他来试镜。
李连杰刚听到这个消息的时候，有些不相信，他忐忑不安的来到试镜的地方。表演了一套武术动作，镜头前的李连杰，举手投足都显示出明星的气质，张鑫炎马上拍板让他来演主角。
1980年5月，中国的改革开放刚刚开始，武侠巨片《少林寺》在河南嵩山少林寺实地开拍了。整部影片投资120万元，这个数目在现在只能算作是小成本投资，但是，在那时却是巨制，当时一个人的工资一月才十几块钱，一斤猪肉才5毛钱。
进入剧组之后，李连杰与一班武术队员每天拿一元钱的拍摄津贴，起早贪黑地拍戏，每天一元就是李连杰第一部影片的片酬，这与现在一天几十万的片酬相比，真是天壤之别。虽然工资低，但在影片的拍摄过程中，李连杰非常认真、刻苦，凡是不会的动作，他争分夺秒地学；凡是需要反复的动作，他做得一次比一次认真。
那一段时间，李连杰随着电影场景的转换，转战大江南北，夏至雄伟秀丽的嵩山，少林寺中的塔林；秋赴萧瑟的芦苇沟，黄叶满地的大树林；冬战浑浊苦涩的黄河水，荒无人烟的大沙滩，这些自然景观，不但使影片中的打斗场面显得自然逼真，惊心动魄，还让观众们领略了我国古老文化和大好山河。
“要练武，莫怕苦”；“要练功，莫放松。”这是影片中觉远和尚常说的口头禅，强调韧性与刻苦。这种精神，李连杰在拍片时表现得尤为突出。在一次练习对打中，对方失手，一枪刺来擦破了他的额头，鲜血直流，别人吓慌了，他却若无其事，叫随队医生缝了几针后，又参加拍摄练习。80年的冬天，《少林寺》剧组移师黄河两岸，李连杰拍在黄河水中与敌人作战的场面中，正值寒流来袭，河面上刮起阵阵北风，冷得人瑟瑟发抖，李连杰与于承惠拍对打的场面，导演要求表现出夏天的感觉，夏天作战肯定汗水泠泠，为了达到这种感觉，剧务浇了一盆冷水到他们两人身上，弄得一身透湿，然后开拍。当时，李连杰与于承惠也正是血气方刚的时候，由于运动，两人不仅感觉不到冷，反而冒出的热气把衣服都蒸干了，剧务见状，又浇完一盆水湿身后，两人又打起来，烘干后，又浇湿……如此湿了又干，干了又湿地一共拍了四天。
李连杰回忆当时之所以如此时说：“我当时觉得自己戏多任务重，不能因为自己耽误了影片的进程，所以再苦再累，也不要求休息。”剧组的人对他的敬业精神十分佩服，称他为“拼命三郎”。
影片拍完后，李连杰不凡的身手在这部片中得到了全面的体现，练长枪，他曲步行走，突然拔地腾空弓步扎枪，然后落地接枪；比刀法，他鱼跃龙门，刀走偏锋，刀法闪烁着逼人的光芒。这些高难动作他一气呵成，给人以大气磅薄，干净利落的感觉。
影片公映后，导演张鑫炎对李连杰的评价相当高。说：“他（李连杰）除了形象好，身手了得，还给人清新、纯洁的感觉。一般的武夫大都鲁莽，带江湖气，而他武艺高强，却无粗俗之举；仗义行事，又无江湖之气；勇敢坚毅，并无凶刁之貌。他气质纯朴，英武逼人，不是那种头脑简单的赳赳武夫，而是艺高胆大的帅哥。所以，李连杰以功夫真、演技好、气质纯深得观众的喜爱。”