Voir aussi Fort Sainte-Marie
La maison dite « L'Ermitage » était l'un des bâtiments qui se trouvaient dans le fort Sainte-Marie bâti en 1663 par Pierre Boucher, gouverneur de Trois-Rivières, à un quart de lieue (21 arpents) de la rivière Faverel. Bourg avec bastion, le fort était une petite agglomération d'une vingtaine de personnes (environ trois familles), et comprenait divers bâtiments.