1936年2月12日生於北京。12歲時加入中共地下外圍組織，後就讀於北京四中，1952年考入北京大學物理系，1955年加入中共。1956年大學畢業後，於中國科學院近代物理研究所工作。1957年，在反右運動中被劃為右派， 被第一次開除黨籍。

1978年十一屆三中全會以後，方勵之被恢復了黨籍，而且委以重任，1984年9月17日到1987年1月12日任第一副校長，曾參與創建了國內高校首個天體物理實驗室，中國科學技術大學天體物理中心主任。是當時中共黨內的民主派人士和知識份子領袖。

方勵之曾經力圖在中國科技大學搞民主辦學，主張「大學是獨立於政府的」。方勵之提出的民主辦學的八字方針，即「科學、民主、創造、獨立」。1986年12月初起，中國科學技術大學部分學生因對人大代表的「橡皮圖章」性質不滿而抗議，進而引發的全國性的八六學潮。在1986年12月4日晚上的學生集會上他說：「民主不是自上而下給予的，而是從下到上爭取的。」翌日，他阻止學生上街遊行沒有成功。方勵之在整個學潮過程中，對學生的民主訴求沒有打壓。

1986年12月，鄧小平將他與王若望等人定性為黨內反社會主義、反黨分子，要求開除黨籍。1987年，他被第二次開除黨籍，撤銷中國科學技術大學副校長職務。他與劉賓雁、王若望被中共高層視為黨內鼓吹「資產階級自由化」和「中國全盤西化」的反面典型，被 全黨批判。

1989年六四後， 因反革命煽動宣傳罪， 方勵之被開除公職。 進入美國駐華大使館尋求庇護，並在次年離開中國。

此後，方勵之於美國亞利桑那大學任職天體物理學教授，方向為天體物理學與宇宙學，至逝世前仍處於學術活躍狀態，每年皆有若干學術論文發表。2010年因宇宙學和早期宇宙的物理學方面的重要工作當選為美國物理學會會士（APS Fellow）。在美期間， 曾任中國人權理事會共同主席，2005年1月9日，因抗議中國人權理事會內部財務管理混亂而與林培瑞等理事退出中國人權理事會。

2012年4月6日早上，方勵之 於美國亞利桑那州圖森市寓所逝世。