廖正豪與太太林麗貞是台大法律系的同班同學，夫婦倆婚後生了五個女兒，全家就只有廖一人是男丁；行政院吳敦義昨天在廖府的歸寧宴上福證時，戲稱廖正豪夫婦「同窗又同床」，而且瓜瓞綿綿。吳的趣喻，引起哄堂大笑。
婚後的廖正豪始終被「女人圍繞」，他在家是慈父角色，女兒們在他身上爬上爬下的，把他當大玩偶，他也樂在其中。他常說，看到女兒們快樂的成長，在外的一切辛苦與不快，全都沒了。
朋友戲稱廖住在女生宿舍，但「舍監」不是他，是女主人林麗貞，「舍監」也負起較大的管教責任。林麗貞說，五個女兒年齡相近，為了照顧上的方便與效率，小時候常有「一字排開的管理」，例如排排坐著吃早餐，她再一個接一個的幫女兒們綁長辮子；綁完吃完早餐，大家一起上班上學。一轉眼，孩子都已三十好幾了，三個已披上了白紗。
在禮教習俗上，廖正豪屬於較傳統的人，雖然以前長年在外服公職、現在經常奔忙於兩岸的文化及公益事，但不管再忙，他都會定期回嘉義六腳老家探視父母；但對於家中五千金，雖疼愛有加，仍任其自由發展，不會要求留在身邊。
享有一片自由天空的女兒們，赫赫學歷，年紀都已逾卅；廖家六女子（包括女主人林麗貞）中，台大法律系畢業的林麗貞與么女都「只是」大學畢業，學歷最低，其餘四千金都是博士候選人，廖正豪則是法學博士。
孩子們出國念書的費用不小，做為五個女兒的父親會不會很辛苦？廖正豪說，辛苦當然是辛苦，但這是每一個父母的責任；還好，年輕時當律師存了些錢，孩子也很獨立乖巧，他對女兒們只有一個要求「要走正當的路」，其餘「爸爸一切支持妳」。