Được biết đến với vai trò là nam diễn viên nổi tiếng với hàng loạt những vai diễn trong các bộ phim đình đám và kết hôn với Lâm Tâm Như, nhưng ít ai biết được Hoắc Kiến Hoa lại xuất thân trong một gia đình rất giàu có và đầy quyền lực.
Được biết, ông nội anh - Hoắc Duy Tứ là người đứng đầu gia tộc Hoắc tại tỉnh Sơn Đông và cũng là nhân vật có tiếng nói trong quân đội Trung Quốc. Tốt nghiệp ngành luật, đam mê chính trị, thời kháng chiến, ông là cấp dưới của lãnh đạo Tôn Trung Sơn. Tháng 10/1949, ông đưa gia đình đến Đài Loan.
Ông Hoắc Duy Tứ là một trong những nhân vật nắm quyền lực đầu tiên khi Đài Loan tách khỏi Trung Quốc. Sau này, ông công tác tại Bộ Tư pháp và trở thành Chánh án Tòa án Đài Loan.
Bố anh - ông Hoắc Triệu Côn cũng công tác tại Vụ Tư pháp, anh trai Hoắc Kiến Hoa hiện là cảnh sát cấp cao Đài Loan dù còn rất trẻ. Bản thân nam tài tử cũng có thời gian học võ, am hiểu luật. Tuy nhiên, cuối cùng anh lại có hướng đi khác, chọn nghệ thuật là sự nghiệp gắn bó cả đời.
Bên cạnh đó, ông xã Lâm Tâm Như còn đầu tư bất động sản, sở hữu công ty quản lý riêng nên thù lao của anh không hề kém cạnh vợ. Tuy nhiên do cách sống kín đáo trong gia đình, Hoắc Kiến Hoa ít khi chia sẻ về gia thế của mình.