原本林远图只是莆田少林寺的一个小和尚， 华山派高手岳肃蔡子峰二人在莆田少林寺借宿，结果走之前顺带把少林寺里面的《葵花宝典》偷走了 。

红叶禅师知道了很生气，命林远图来到华山派讨要《葵花宝典》。华山派高手岳肃蔡子峰二人自感有愧，也把书中不解之处透露给渡元和尚，渡元和尚说自己懂，后面仔细看了，并且讲给了岳蔡二人，走后凭借自己的记忆，把所记得的全部写在袈裟上。岳蔡二人也因为武学分歧，从此华山派分为剑宗和气宗。

渡元禅师走后就没有回到莆田少林寺，而选择还俗，修炼武功，在此以后，江湖上有一个人凭七十二路“辟邪剑法”，震慑江湖各门各派。一时间，威名远扬，黑白两道，人人皆知，此人就是林远图。

金庸书中提到，要练习辟邪剑法，必须自宫，后面林平之自宫练了以后，才将其威力发挥出来的。没有自宫之前，林平之怎么练，也发挥不出辟邪剑法的威力。

林远图娶妻生子是假象，都是为了掩盖他自宫的事实。做给那些江湖人士看的，有了后代，武林人士不会怀疑他自宫的事实。