La famille Dufresne fut une grande famille trifluvienne, propriétaire notamment du meilleur hôtel de la ville, sur la rue du Fleuve: l'hôtel Dufresne (ou hôtel Saint-Maurice).
Joseph Dufresne (1822-1890) et son épouse Henriette eurent huit enfants dont Napoléon (né en 1855), Isaïe (né en 1856), Louis-Edmond (né en 1858) et Marc-Ulric.
En 1895, la famille Dufresne formait la moitié du conseil d'administration du Cercle Villa Mon Repos: J.-Ulric (président), J.-A. (secrétaire), Isaïe et Louis-Edmond (directeurs).