Malgré la bienveillance de l'empereur et lʼefficacité de réformes destinées à faire de lʼObservatoire une institution « de premier ordre », Le Verrier crée par son caractère et ses méthodes un climat de tensions qui ne peut passer inaperçu.
Renvois, brimades, sanctions, appropriation des découvertes de ses subordonnés, manque dʼintérêt pour ce qui ne touche pas directement son domaine, tels sont les reproches que les astronomes de l'Observatoire adressent à Le Verrier.
La crise éclate en janvier 1870 avec un mémoire adressé au ministre de lʼInstruction publique et la démission collective de treize astronomes titulaires et adjoints de lʼObservatoire. Le ministre, Emile Alexis Segris, crée alors une commission et convoque Le Verrier pour le 5 février 1870.
Mais celui-ci, en tant que sénateur de lʼEmpire, dépose une demande dʼinterpellation de son ministre au Sénat. Cʼen est trop. Segris annule le rendez-vous et obtient de Napoléon III la révocation de Le Verrier.