En 1699, Claude de Ramezay, gouverneur de Trois-Rivières de 1690 à 1699, se faisait construire une maison en pierre hors de l'enceinte de la ville, sur la rue Notre-Dame (des Ursulines), lorsqu'il fut muté à Montréal. En octobre 1699, la maison fut acquise par l'évêque de Québec pour les Ursulines de Trois-Rivières qui y installèrent leur nouveau couvent en 1700 (site actuel du monastère des Ursulines). À la fin de 1700 ou au début de 1701, les religieuses y emménagèrent.
Le chœur des religieuses, à gauche dans la chapelle du Sacré-Coeur, se trouve dans les murs de l'ancienne maison du gouverneur de Ramezay.