En 1669, Jean-Dominique Cassini trouve à son arrivée l’édifice élevé à hauteur du premier étage. Il critique le projet qui va être modifié : suppression d’une des trois tours octogonales, réduction de moitié du grand escalier en U - qui reste imposant avec ses 156 marches - ajout d’une grande salle au premier étage. La visite de Louis XIV en 1682 marque le quasi achèvement de l’Observatoire.

Le bâtiment se compose d'un corps central rectangulaire, flanqué à l'est et à l'ouest, sur sa façade méridionale, de deux tours octogonales. Une tour carrée est accolée à la façade nord. La façade sud est ornée de bas-reliefs de Temporiti représentant des globes et des instruments d'astronomie.

« Cassini comme de raison, trouva que le plan n’avait pas le sens commun ; jour pris avec M. Perrault pour en raisonner devant le Roy et M. Colbert, l’éloquent Perrault défendit en fort jolies phrases son plan et son architecture ; mon grand-père, qui ne sçavait que fort mal le françois, écorchait les oreilles du Roy, de M. Colbert et de Perrault en voulant plaider la cause de l’Astronomie, et ce fut au point que Perrault dans la vivacité de la dispute dit au Roy : « Sire, ce Baragouineur-là ne sçait ce qu’il dit » Cassini IV à propos de Cassini I, dans une lettre adressée au comte d'Angivilliers.