Né en 1943 dans une famille d'artistes, Jean-Marie Rouart est le fils du peintre Augustin Rouart et l'arrière-petit-fils des peintres et collectionneurs Henri Rouart et Henry Lerolle. Il compte aussi parmi ses aïeux Julie Manet, fille de Berthe Morisot et nièce d'Edouard Manet. Après des études de philosophie et de lettres, Jean-Marie entre au Magazine littéraire en 1967 puis au Figaro, où il reste de 1967 à 1975, chroniqueur et grand reporter, avant de démissionner lors du rachat du journal par Robert Hersant.
Ses manuscrits refusés pendant plusieurs années, il faut attendre 1974 pour que soit publié La Fuite en Pologne chez Grasset.
Franc-maçon en opposition à sa famille, il collabore comme éditorialiste, à partir de 1977 au Quotidien de Paris dont il devient rédacteur en chef en 1979 et dont il dirige les pages littéraires jusqu'à son départ en 1985.
Il retourne par la suite au Figaro et devient le directeur du supplément littéraire de 1986 à 1988, puis le directeur littéraire.
En 1996, il est le premier gérant de la Société des rédacteurs du Figaro. En 2003, il est évincé de la direction du Figaro littéraire au profit d'Angelo Rinaldi. Il collabore alors à Paris Match.
Militant dans l'âme, il n'hésite pas à jouer de sa notoriété pour défendre les causes qui lui semble juste. Il a ainsi été l'un des principaux animateurs du Comité pour la révision du procès d'Omar Raddad, affaire à laquelle il a consacré un ouvrage, Omar : la construction d'un coupable (1994), ce qui lui vaudra une condamnation pour diffamation en 2002. Il mène également un combat actif contre la prostitution, préfaçant en 2000 le Livre noir de la prostitution.
En décembre 1997, après s'être présenté cinq fois, il est élu à l'Académie française. En 2014, il publie chez Gallimard Ne pars pas avant moi, roman autobiographique dans lequel il évoque la fragilité de la destinée à travers ses propres expériences. Ami de longue date de Jean d'Ormesson, Jean-Marie Rouart lui rend aussi hommage à travers ce texte.