1947年3月生於重慶，在北京長大。1966年在北京高中畢業，曾參加紅衛兵運動和大串連，1968年畢業於清華大學附屬中學，去山西省太谷縣插隊，後流浪於中國東北地區、內蒙古自治區的森林草原。1974年到煤礦當木工，1977年考入晉中師專中文系。

1979年，鄭義以紅衛兵運動中的「武鬥」為背景寫出處女作《楓》，揭示了一代人的痛苦和掙扎，同名改編電影《楓》於1980年上映。1981年畢業分配到晉中文聯，任文學期刊編輯。此後，鄭義發表了中篇小說《遠村》和《老井》等，其中《遠村》獲1984年度全國優秀小說獎。1984年底到山西省作協籌辦大型文學刊物《黃河》，時為該協會的「專業作家」。1987年，由本人原著並親自改編為電影的《老井》獲東京國際電影節最高獎「金麒麟獎」。1989年，鄭義獲「中國一級作家」稱號。

1989年鄭義因參與「六四事件」遭中國大陸官方通緝，與妻子北明在大江南北四處逃亡，1992年至香港，翌年前往美國，此後加入普林斯頓中國學社。1993年，鄭義在台灣出版關於廣西文革吃人事件的《紅色紀念碑》一書，引發轟動，1996年翻譯為英文版在美國出版，此後又翻譯成其它語言。

2001年，鄭義參與創辦獨立中文筆會，2002-2003年任副主席，2005年起為榮譽理事，2007-2009年任第三屆會長。