L'idée de fonder un observatoire à Paris n'était pas nouvelle : en 1634, Jean-Baptiste Morin proposait d'en établir un sur le Mont-Valérien. En 1665, Adrien Auzout réitère cette proposition dans sa « Dédicace au Roi » des Éphémérides de la comète de 1664. Parmi les raisons avancées, il déplore notamment les moyens mis à disposition pour faire ses observations.

« Si j'avais eu un lieu plus propre et les grands instruments nécessaires pour faire des observations très exactes, j'en aurois fait et je ne doute pas qu'elles m'eussent aidé à rencontrer mieux que je ne ferai. Mais Sire, c'est un malheur qu'il n'y en ai pas un à Paris ni que je sache dans tout Vostre Royaume (…) et c'est peut-estre la cause pour laquelle il n'y a pas un Royaume dans l'Europe dont les Cartes Géographiques soient si fautives, et où la situation des lieux soit si incertaine. » Ephémérides de la comète de la fin de l'année 1664 et du commencement de l'année 1665, dédiée au Roy par M. Auzout, Paris, 1665.

Cependant l'Observatoire ne sera pas le centre de recherches national imaginé par Colbert : dès ses débuts, il est entièrement consacré à l'activité astronomique et les académiciens ne manifestent aucun désir de travailler ou de se réunir en un lieu aussi éloigné du centre du Paris de l'époque. Pendant les cent premières années de son existence, l'Observatoire reste néanmoins placé sous la tutelle de l'Académie des sciences et n'a de ce fait ni directeur, ni budget propre.

Colbert conçoit alors le projet d'un édifice qui regrouperait dans le même lieu tout ce qui concerne les sciences : il souhaite doter les membres de l'Académie d’un observatoire pouvant accueillir leurs séances et « surpassant en grandeur, en beauté et en commodité les observatoires d’Angleterre, de Danemark et de la Chine ». La fondation de l'Observatoire et la création de l'Académie des sciences en 1666 sont donc intimement liées.