Lại Văn Sâm chọn cho mình lối sống bình dị và có phần khép kín trong cuộc sống thường nhật. Nhà báo Lại Văn Sâm tâm sự: “Khoảng 5-6 năm nay, tôi không nghe số điện thoại lạ. Ai có việc gì cần, gọi 5-6 lần không được, nhắn tin cho tôi. Tôi thấy người đấy cần trả lời, tôi trả lời, không thì thôi. Không phải là tôi kiêu căng, bởi vì tôi biết có những chuyện chả giải quyết vấn đề gì, đôi khi lại thành ra buồn cười”.
Sự nổi tiếng đôi khi đem lại nhiều phiền phức cho nhà báo Lại Văn Sâm. Chính vì thế, những hoạt động tưởng chừng như rất bình thường như đi ăn nhà hàng đôi khi cũng khiến ông phải suy nghĩ.
MC kỳ cựu của chương trình Ai là triệu phú chia sẻ: “Tôi ít khi đi ăn nhà hàng, ăn cũng không ngon vì đang ăn thì tự nhiên từ nhân viên phục vụ đến khách nhìn thấy mình là chạy đến, bắt tay, chạm cốc bia, trong khi tôi không thích bia, rượu rồi bắt chụp ảnh”.