Les collections du musée avaient auparavant été exposées en différents endroits. Tout d'abord installées dans le Musée du Luxembourg, elles furent ensuite transportées au Jeu de Paume, un pavillon dans le Jardin des Tuileries, pour prendre place définitivement au bord de la Seine dans les espaces de l'ancienne Gare d'Orsay, une gigantesque construction de fer et d'acier surmontée d'une coupole de verre qui avait été construite à l'occasion d'une Exposition Universelle puis transformée en gare de chemin de fer. La gare, désaffectée depuis les années 60, fut restaurée et aménagée par Gae Aulenti, et le musée fut inauguré en 1986.
La principale collection du musée est celle des impressionnistes. Elle vit le jour avec l'acquisition par Claude Monet de l'Olympia de Manet, pour le compte du Musée du Luxembourg où était conservé l'art moderne. Mais cela ne suffit pas à briser le mur d'indifférence des institutions et de nombre de critiques à l'égard des impressionnistes, au point que le legs Caillebotte, riche d'œuvres de Manet, de Renoir et de Cézanne, ne fut accepté qu'en partie. Par la suite, d'autres importantes donations vinrent augmenter la collection d'art moderne, comme par exemple, en 1906, le legs par un particulier du "Déjeuner sur l'herbe" de Manet et, en 1911, celui d'une précieuse collection de Degas, de Monet, de Cézanne et du premier Van Gogh. Le musée s'enrichit tant des legs de familles d'artistes (Toulouse-Lautrec en 1902, Bazille en 1904, Renoir en 1923, Monet en 1927, etc.) que de collections particulières, sans oublier les achats sollicités par les Amis du Musée du Luxembourg.
