La petite Galerie est aménagée dans un bâtiment construit en 1669. Il fait partie des agrandissements ordonnés par Louis XIV après la fête de 1668 qui avait montré l'exiguïté du petit château Louis XIII pour accueillir la Cour. Outre le Château Neuf, c’est-à-dire les façades en pierre côté jardins, deux courtes ailes vers la ville sont construites en prolongeant les pavillons N-O et S-O du château Louis XIII par un bâtiment à arcades de trois travées terminé par un pavillon carré, le tout dans le style Louis XIII d'origine.

Entre 1672 et 1682, ces pièces adossées à l'escalier des ambassadeurs, mitoyennes de l'appartement de commodité du Roi sur la Cour de Marbre, constituent l'appartement de Mme de Montespan.
Après sa disgrâce, le Roi récupère cet appartement et le transforme en une Galerie, dont les travaux de décoration devaient s'avérer très longs et coûteux : commencés en 1682 et poursuivis pendant 10 ans, il seront abandonnés en 1692 :

plusieurs projets montrent les trois salons décorés de consoles de bois doré sur lesquels sont disposés les vases et gemmes précieux des collections royales devant des miroirs et un décor de lapis-lazuli et de marqueterie Boulle

Le parquet est confié à partir de mars 1685 à Oppenordt tandis que le plafond est confié à Mignard qui achève la peinture des trois salons en novembre 1685.
En 1689 éclate la guerre de la ligue d'Augsbourg. Comme souvent, les finances royales étant mobilisées pour la guerre, les travaux coûteux sont suspendus : c'est le cas en 1692, quand Louis XIV décide l'abandon du décor mural somptueux, envoyé aux Tuileries.

Le décor de damas bleu, provisoirement présent depuis 1684 et sur lequel sont exposés les tableaux des collections royales, est alors remplacé par un damas cramoisi.

Le rythme du décor est assuré par l’alternance de damas cramoisi et de brocart dans les deux salons et par l’alternance de damas et de pilastres en tapisserie dans la Galerie.

L'entablement qui sépare les murs de la voûte comprend un appui orné de deux moulures, une frise de coquilles d'où partent des palmes et une corniche à modillons. Ce parti est repris dans la galerie et ses deux salons.

La Petite Galerie disparaît en 1753 après avoir servi un temps de théâtre privé à Louis XV, pour servir d’appartement à la fille préférée du Roi, Madame Adélaïde :  le Premier Salon devient son cabinet, la Galerie et le Second Salon la Chambre et la Seconde Antichambre de l’appartement de la princesse.
La petite galerie depuis le salon de Pandore