Geboren 1824 te Carouge bij Genève. In 1846 was hij priester in Genève.
Hij bouwde daar de kathedraal Notre Dame 1857. In 1864 werd hij bisschop van Hebron.
Hij bewerkte de herstelling van een eigen bisdom te Genève. Het decreet, dat deze pauselijke bestelling bevatte, vond bestrijding bij den Bondsraad, omdat Genève ingedeeld was bij het bisdom Freiburg en Lausanne en door dat decreet daarvan losgescheurd werd.
Mermillod bleef bij zijn overtuiging en erkende zijn benoeming tot bisschop van Genève. Daarom werd hij door den Bondsraad uit het land gezet.
Hij ging nu wonen in het dorp Ferney, dicht bij de grenzen van Genève. Meestal was hij op reis.
In Parijs en in Rome was hij als prediker zeer geliefd. Hij had een bloemrijken stijl en hij wist de vervolging der Roomschen in Genève in levendige kleuren te schetsen.
Groote sommen gelds wist hij verkrijgen voor de bedrukte geloofsgenooten te Genève.
Mermillod behoorde onder die vooraanstaande Catholieke bisschoppen, die de leer der onfeilbaarheid van den paus van meet af krachtig hebben verdedigd.
In 1887 werd hij bisschop van Freiburg en Lausanne. In 1889 stichtte hij in Freiburg een Catholieke universiteit.
Er bestond reeds een rechtsinstituut, maar sinds 1889 kwam daar een theologische faculteit bij, die uitsluitend Dominicaner monniken tot hoogleeraren had. De leer van Thomas Aquinas vormde den grondslag van het onderwijs in de thologie.
Er werd ook nog een Faculté des Lettres aan toegevoegd. Van het ter hand nemen van de faculteit der medicijnen en evenzoo van de Faculté des Scienses zag men af.
In 1890 werd hij tot kardinaal benoemd. De Bondsraad hief toen zijn verbanning op.
Hij schreef o.a. Vie de la sainte, vierge d'apres les écritures, 1874.
Relations abregées de la vie et de la mort des prêtres, clercs et frères de la congrégation de la mission, 4 dln. 1881.