林世良是蒋介石的连襟、一度曾任财政部长孔祥熙的机要助理。林开始是通过上海青帮的地下关系与孔祥熙联系上的。
林世良被任命为中央银行信托局储运处处长后，负责在国外订购军火并办理经香港的接运业务。中央信托局在香港的经理是孔祥熙的长子孔令侃，在滇缅公路通车后，他让林世良“管理”那里的运物资输业务。
这个案子实际上涉及了一批与大成公司有关联的投机分子和奸商，该公司委托林世良的助手汪继方，把存在仰光的一批车胎和五金等运到重庆。这笔交易巨款的一部分被林世良转让给孔令侃和其声名狼藉的妹妹、惯于女伴男装的二小姐孔令俊。孔祥熙的大女儿孔令仪和女婿陈继思也有牵涉。这批货分几批装运，其中有两批被缉私署缴获。
戴笠把这一消息电告蒋介石后，委员长怒火万丈，认为林世良是在利用他大姨夫的名义为自己进行走私活动。结果根据蒋介石的命令，林被逮捕，并被判10年徒刑关进重庆的土桥监狱。与此同时，那些被缴获的物资，从原价约总共1600万元，暴涨到6000万元。根据规定，缴获走私货物的官员们可得充公物总额的10%作为奖金，用来改善该组织。戴笠的人还收集了林世良吃喝嫖赌等等劣迹。蒋获悉这些腐化行为之后，盛怒之下，在原判上改批“立即枪决”。
林世良不愿替孔家负罪，于是他公开将走私阴谋归罪于孔令侃。孔令侃在父亲的怂勇下把此事整个闹到蒋夫人宋美龄那儿。这样，戴笠发现自己处于整个孔家和宋家的对立面，这两家要求蒋介石替他们解决此案。于是蒋介石面临着两难的局面：一方面是家族利益（在公众的眼里，四大家族代表了“官僚资本主义”的私人利益），另一方面是戴将军所称的对军事当局权威的冒犯（该当局现在负责原属国民党财政部长宋子文和孔祥熙的职权范围）。
蒋介石最终站到了家族一边，尤其是当相互疏远的宋家和孔家现在因共同的敌人戴笠而联合起来之时。除了判决林世良以外，委员长还指责戴笠因心怀不满和泄私愤而越权行事。于是，1943年7月戴笠被免除了缉私署署长的职务，并由孔祥熙的人、戴笠“不共戴天”的敌人宣铁吾接替。
与此同时，所有各省缉私处处长一概被撤换，军统的人统统遭到排斥。
戴笠被解除缉私署署长，被中国的盟国美国误解为是对军统过度行为的处理，其含义超过了表面现象。驻重庆的美国使馆向国务院汇报说，人们普遍认为“委员长的秘密警察和宪兵及情报组织声名狼藉的头目戴笠”被解职是由于：1.对高级官员的部下屡次擅自进行绑架、处决等，包括1942年秋天枪决中央信托储运处处长林世良，据信他把装运从缅甸到中国的政府供给品的卡车，用来替高级官员们装运“奢侈”用品；2.该组织本身腐败的“缉私活动”同“高级官员们”的“腐败利益”相冲突；3.国民党秘密警察内部发生的激烈争斗，其主要作用是对付“危险思想”领域；4.因为日本人成功的反间谍活动，戴笠在沦陷区的情报组织遭到破坏；5.对戴笠及其“盖世太保”的抨击；蒋夫人在她的访美旅程中对这些抨击有所耳闻，使她得出印象认为，“美国人相信不是委员长，而是戴笠，通过对纳粹和日本警政制度的残酷应用而在实际上控制了中国”。