Fils de Joseph Dufresne (propriétaire du meilleur hôtel de la ville, sur la rue du Fleuve: l'hôtel Dufresne), Isaïe naquit en 1856. Il était le frère de Napoléon, Louis-Edmond et Marc-Ulric Dufresne.
En 1895, Isaïe Dufresne était l'un des directeurs du conseil d'administration du Cercle Villa Mon Repos. La famille Dufresne formait alors la moitié du conseil d'administration du Cercle Villa Mon Repos avec J.-Ulric (président), J.-A. (secrétaire) et Louis-Edmond (directeur).