杜元潮在双洋劳改农场劳动。这个农场在海边。他这种人，到哪儿哪儿有人缘。他聪明智慧，识大体，知道退让，肯在节骨眼上助人一臂之力，且又写得一手好字，看管他的人，上上下下都愿意不声不响地照顾他、重用他，更不想为难他。他感恩，但同时知道分寸，从不卑躬屈膝、感激涕零，而是不卑不亢、很有风度地承受这一切。他会经常被从地里叫到场部，做一些出黑板报之类的轻活。他还有一项经常性的劳动:看管一群鸽子。这个农场地处偏僻之处，四周上百里荒无人烟，这里的工作人员除了看海浪千篇一律地涌来退去、听涛声总是单调无趣地轰鸣与粉碎之外，就只有孤独与寂寞如苇草一般包围着农场。不知哪一年的哪一任场长，在场部养了一对鸽子，结果越繁殖越多，到了现在已有上百只了，飞过天空时，大有遮天蔽日的样子。这群鸽子，不仅给农场的工作人员带来了快乐，也给几百名更加孤独寂寞的犯人带来了生趣。鸽子成了这个农场必不可少的一部分。它们飞翔在农场的上空，给了犯人们许多幻想与希望。
杜元潮精心地管理着这群鸽子，并对这些生灵产生了羡慕。
杜元潮提前一年，在这个农场度过五年后，被释放了。离开时，他要了一对白色的、刚刚开始长出羽毛的鸽子。油麻地的人见到的杜元潮，一手拿着一只鸽子。
杜元潮很瘦，寸头，很精神，但已是一个老人，一个看上去温和、平淡的老人。他出现在乡亲们面前时，并没有不好意思，而是安详地微笑着，一手握一只鸽子，直走向那幢已经锁闭了五年的房子。
在油麻地人的感觉里，杜元潮不是被抓走坐了五年大牢，而是出了一次远门。
不久，杜元潮就在镇上走动了。没有人向他打听过去的五年，他也只字不提已过去了的五年。
街上，他与邱子东相遇了，他们握了握手。杜元潮掏出一盒香烟，抽出一支给邱子东，邱子东接住叼在嘴上，然后划亮一根火柴，用手挡着不让风吹熄，向杜元潮送去。杜元潮点着了烟，等吐出烟来，邱子东才将自己嘴上的烟点着。然后，他们谈谈天气，谈谈庄稼，谈谈今年的水势与芦苇，然后再握一握手各自走向自己要去的地方。
那对鸽子不久就飞上了油麻地的天空。
到了年底，油麻地人再看到天空的鸽子时，已经是八只，一样的白。
第二年，便有了一个有声势的鸽群。
鸽子成了杜元潮几乎全部的生活内容。他津津有味地看着一只雄鸽将尾巴展成扇形拖地而行，在雌鸽跟前绕来绕去地求爱;津津有味地看着雄鸽从外面叼回树枝与芦苇交给母鸽，母鸽将这些材料最终做成一个好看的巢;津津有味地看着刚刚出壳的雏鸽在母鸽蓬松的腹羽中动弹;津津有味地看着长出羽毛的雏鸽在窝里扇动着稚嫩的翅膀……可看的无穷无尽，有无穷无尽的看头。最使他心醉神迷的是鸽群的翱翔:一只只雪白的鸽子扇动着翅膀，在油麻地镇上空，在油麻地的田野与河流上，优美地飞翔着，它们搅动了阳光的金线，天空中出现了无数迷人的折光，它们似乎知道这种时刻，地面上会有无数张扬起的面孔在观望它们，于是飞翔便带有表演的性质，忽徐忽疾，忽高忽低，忽远忽近，忽散忽聚，变化万千。杜元潮知道，有很多双眼睛在看他的鸽群，心中十分满足。
就在这番满足之中，杜元潮会忽然地被什么思念所打扰，一时忘了他的鸽群，而显得困惑、伤感，甚至悲哀———他想到了采芹。
那场大火之后，人们再也没有见到她。有人说她投靠远方一个亲戚去了，有人说她去了苏州，艾绒给她找了一份打扫剧场的活儿。但更多的人相信，她已在那场分明是由她点燃的大火中化成灰烬随风飘去了。
杜元潮从海边回到油麻地时，一位当年与采芹要好的大姐，给了杜元潮一个包裹，说是采芹委托她日后转给他的，并转达了采芹的叮嘱:暂且别打开这个包裹，日后非要打开不可时再打开。
杜元潮照着采芹的话去做了，将包裹原封不动地放在柜子里，一动未动。
想着想着，杜元潮会流下两行浑浊的眼泪来。直到鸽群降落、翅膀与气流磨擦发出嗖嗖之声时，他才会又回过神来去注目他的宝贝鸽子。
空疏而寂寞的夜晚，有时他也会混在油麻地一般老百姓中间听范瞎子唱歌，而从前他是听也不听的。其中一曲，他很是喜欢，还能跟着范瞎子哼唱下来: 杏花村里旧生涯， 瘦竹疏梅处士家， 深耕浅种收成罢。
酒新?，鱼旋打， 有鸡豚竹笋藤花。
客到家常饭，僧来谷雨茶， 闲时节自炼丹砂……
邱子东似乎也很喜欢听范瞎子唱歌了。他有时与杜元潮坐在一张凳子上，静静地听着。
偶尔，两人会说上一两句话。
这天，邱子东走到镇子后面的田野上，本是想随便走走的，却看到杜元潮的那群鸽子正落在余四刚下种的麦地里觅食，就站住了。
他弯腰从地上捡起一块泥块儿，嘴里发出“嘘”声，将泥块朝鸽群砸去。因为，他知道，余四为了防止来年的虫害，在下种时一并拌了农药。这食是觅不得的。鸽群立即起飞，飞向空中，飞向远处。邱子东仰头看了看，便继续往前走。然而，等他走出去一段路再掉头看时，那鸽群又正在朝余四的那块地落去。他犹豫了一阵，转过身，又走了回来，一边走，一边在嘴中发出赶走鸽群的嘘声。
鸽群并没有因为他的嘘声就飞离余四家的地，依然不停地在觅食。
邱子东又捡起一块泥块儿，朝它们砸去。它们便再度飞走了———没有飞远，就在天空盘旋，不时地歪着脑袋往下看看，想等邱子东走后，再落下来。
“这里的食又有什么好吃的!”邱子东不解，仰头望着这群奇怪的小东西，在嘴里嘀咕着。
鸽群很固执，偏要往这块地落。一见邱子东走开，就呼啦啦落了下来。
邱子东便又转身回来，用泥块儿赶跑了它们。估摸着它们还要飞回来，邱子东便在田埂上坐下了。
鸽群就在他头顶上盘旋。它们觉得地上坐着的这个老头真怪:我们吃我们的食，碍你什么事！
“再吃，再吃就一个个要吃死了!”邱子东坐在那里不动，守着这块地。
有人走过来，问他坐在这里干什么。他抬头望望天空的鸽子:“它们偏要落在这块地里吃食，这地里是撒了药的。”
这人就捎信给杜元潮。