Thập niên 1990, khán giả châu Á xao xuyến vì Quan Chi Lâm trong Hoàng Phi Hồng, đóng chung với Lý Liên Kiệt. Thời còn ở đỉnh cao sự nghiệp cô vướng nhiều tin đồn tình ái và những tình tiết tình dục không mấy lành mạnh. Và cũng từng vướng tin đồn yêu đương với Lưu Đức Hoa.
Bà kết hôn năm 19 tuổi với tỷ phú Vương Quốc Tinh hơn mình 18 tuổi nhưng không hạnh phúc nên đã ly hôn sau đó nửa năm.
Sau khi ly hôn, cô thay đổi nhận thức về các mối quan hệ nam nữ và dính nhiều scandal tình ái. Có nhan sắc, được đàn ông săn đuổi, Quan Chi Lâm cho rằng cả thế giới đàn ông phải say đắm vì mình và bà đã “câu dẫn” cả những nam nhân đã có vợ. Chính bà cũng đã từng thừa nhận có hẹn hò với người đã có bạn gái, người đã có vợ.
Bị chỉ trích rằng bám theo đàn ông vì tiền, Quan Chi Lâm lại nói chuyện đó đơn giản như đàn ông bám theo cô vì danh tiếng.
Tiếng tăm như vậy nên Quan Chi Lâm là ngôi sao bị ghét nhất Hồng Kông và bà là nỗi lo sợ của nhiều người vợ.
Quan Chi Lâm có gia thế hiển hách là hậu duệ của dòng họ Qua Nhĩ Giai Thị - dòng Bát kỳ của triều Mãn Thanh. Bố bà là ảnh đế nổi tiếng, mẹ cũng là mỹ nhân một thời. Hơn thế cha mẹ bà cũng có kế hoạch cho con xinh đẹp rất công phu: dùng kem dưỡng da sớm, 12 tuổi niềng răng, 14 tuổi đi giày cao, đeo túi hiệu, uốn tóc và hẹn hò.
Ở tuổi 23 Quan Chi Lâm cặp kè với Mã Thanh Vỹ trong khi ông này đang là chồng của diễn viên Trần Mỹ Kỳ. Cô còn gọi điện cho chính thất quấy rầy khiến cho Mỹ Kỳ sinh non và mất khả năng làm mẹ. Sau đó 6 năm thì Quan Chi Lâm bị người tình bỏ rơi vì ông có tình mới.
Sau đó người ta lại thấy Quan Chi Lâm đi với Lưu Loan Hùng khi ông đang có vợ là Bảo Vịnh Cầm, đồng thời ông cũng đang có 1 người tình nữa là Lý Gia Hân.
Đến năm 2001, Quan Chi Lâm hẹn hò với người tình trẻ Hoàng Gia Nặc khiến họ bị nhiều lời bàn tán chỉ trích. Bà cũng từng có tin đồn với người Hoắc Kiến Hoa, một người trẻ hơn nhiều tuổi khi đóng chung.
Đến năm 2009, bà quen biết Trần Thái Minh một tỷ phú chịu chơi nhưng họ cũng không đi được lâu dài với nhau. Còn có tin đồn Quan Chi Lâm chen chân vào mối quan hệ Thành Long và Lâm Phụng Kiều.
Tiếng “tiểu tam” đã theo Quan Chi Lâm nhiều năm. Sau này bà có từng nói xin lỗi những người bà đã làm tổn thương.
Những năm gần đây, không còn tham gia vào nghiệp diễn, Quan Chi Lâm tập trung vào kinh doanh thời trang. Bà sở hữu khối tài sản lớn. Bà đã trở thành doanh nhân giàu có. Nhưng ở tuổi 60, Quan Chi Lâm một mình và không có con cái. Cô tập trung làm từ thiện, quyên góp lập trường và cổ vũ sinh viên khởi nghiệp.
