Les plans du bâtiment sont dressés par Claude Perrault, médecin, architecte et académicien. Le 21 juin 1667, jour du solstice d'été, les mathématiciens de l'Académie tracent sur le terrain, à l'emplacement actuel du bâtiment, le méridien et les autres directions nécessaires à l'implantation exacte de l'édifice. Son plan médian définit désormais le méridien de Paris ou méridien origine pour la France. La construction est lancée aussitôt. Le gros œuvre est terminé en 1672 mais les travaux d'aménagement se poursuivent jusqu'en 1683. Perrault conçoit l'Observatoire pour qu'il soit un véritable « bâtiment-instrument ».