1943年11月7日出生於陝西延安。跟著中共部隊進入北平，在北京上學。1960年轉到北京外國語學院附屬中學法語專業。1966年文革爆發後，張郎郎之父、時任中央美術學院院長的張仃被當做走資派打倒，張郎郎被拉去陪斗。1968年春，張郎郎遭到公安機關通緝。1970年初，全國開展「一打三反」運動。張郎郎在1970年3月5日宣判處死緩。但周恩來說要留下活口，才沒槍斃。1971年，張郎郎被送到河北饒陽的監獄勞改六年。1977年12月31日，張郎郎被假釋回家。

1978年至1980年，任中央美術學院美術史美術理論系教員。1980年，張郎郎離開中國。1983年至1987年，任美國凱壽律師事務所駐京辦事處中國部經理，香港科苑電子有限公司駐京首席代表。1987年至1989年，任《中國美術報》副董事長。1988年至1990年，任香港華潤集團中國廣告公司駐北京辦事處主任。1990年至1993年，任美國普林斯頓大學東亞研究所訪問學者。1993年至1994年，在美國康奈爾大學東亞研究所當住校作家，並為語言學系教中文。1997年至1998年，任德國海德堡大學漢學系及語言學系客座教授，教中國文化及中文。2003年至2013年，在美國國務院外交學院教中國文化及中文。

2010年起，任清華大學張仃藝術研究中心研究員。2017年7月8日，張郎郎首次個人畫展「一個文人的從心童畫」在清華大學美術學院美術館開幕。在北島、李陀主編的文集《七十年代》中，他寫作《寧靜的地平線》，記錄自己前半生的跌宕經歷。