Ngôi nhà vốn là nơi ở của gia đình ông Huỳnh Thủy Lê - là người tình đầu tiên của nữ văn sĩ người Pháp, Marguerite Duras. Mối tình này về sau trở thành hồi ký để bà viết nên tiểu thuyết nổi tiếng Người tình (The Lover) năm 1984. Tác phẩm này được đạo diễn người Pháp Jean-Jaques Annaud chuyển thể thành phim L'Amant năm 1992.
Ngôi nhà được ông Huỳnh Thuận (cha của ông Huỳnh Thủy Lê) xây dựng bằng gỗ năm 1895 và đến năm 1917, nhà được sửa chữa lại, toàn bộ vách gỗ xung quanh được thay bằng vôi và ô dước và nhà có dáng vóc như hiện nay.
Nhà cổ Huỳnh Thủy Lê là sự kết hợp hài hòa giữa kiến trúc phương Đông và phương Tây. Toàn bộ ngôi nhà được xây dựng trên diện tích 258 mét vuông có hình dáng theo kiểu nhà truyền thống người Việt, mái lợp ngói âm dương, hai bên đầu hồi cong vút hình thuyền theo kiểu đình chùa Bắc bộ nhằm tạo nét mềm mại cho mái. Tuy nhiên, kiến trúc bên trong nhà cao ráo thoáng mát, tường được xây bằng gạch đặc rất dày từ 30-40cm bao lấy kết cấu khung gỗ làm tăng khả năng chịu lực theo lối kiến trúc truyền thống của Pháp.
Nhà có ba gian, trang trí bên trong theo kiểu người Hoa. Các bao lơn, thành vọng sơn son thếp vàng, chạm khắc rất giống như chùa người Hoa, khung bao lơn chính giữa có chạm đôi Loan Phụng thể hiện “Loan Phụng hòa minh sắc cầm thỏa hiệp” có ý nghĩa là hạnh phúc trường tồn. Các khung bao hai bên chạm trổ chim muông hoa lá thể hiện sự sung túc của gia đình. Đặc biệt, giữa gian nhà chính có thờ Quan Công, một tín ngưỡng truyền thống của người Hoa; đồng thời cũng thể hiện sức mạnh và sự phồn thịnh trong cuộc sống. Các cửa gỗ, các loại tủ, giường, bàn thờ đều được chạm khắc rấtcông phu, tinh xảo.
Nhà cổ Huỳnh Thủy Lê đã được công nhận di tích lịch sử văn hóa cấp tỉnh và đang đề nghị di tích cấp quốc gia; là điểm du lịch hấp dẫn dành cho du khách đến Đồng Tháp.