La esposa de Harris es la actriz Amy Madigan . La pareja se casó el 21 de noviembre de 1983, mientras filmaban Un lugar del corazón en la que jugaron una pareja adúltera. Tienen una hija, Lily Dolores Harris, nacido en 1993. 
El 30 de marzo de 2012, el Screen Actors Guild (SAG) y la Federación Americana de Artistas de Televisión y Radio (AFTRA) completó una fusión entre iguales para formar un nuevo sindicato SAG-AFTRA. Harris, junto con Edward Asner , Martin Sheen , Valerie Harper ,Michael Bell y Wendy Schall (por nombrar algunos) se opone firmemente a esa fusión y presentó una demanda contra el presidente SAG Ken Howard y varios Vicepresidentes SAG tratando de tener la fusión volcó y los dos sindicatos separados de sus organizaciones antes de la fusión. La demanda fue desestimada el 22 de mayo de 2012.