Năm 1916, Phụng Hoá Công lên ngôi vua, lấy niên hiệu là Khải Định. Vĩnh Thuỷ, con trai của ông trở thành hoàng tử. Năm 1918 khi Vĩnh Thuỵ lên 6 tuổi, vua Khải Định bắt đầu chọn thầy dạy học cho con. Vấn đề này đặc biệt quan trọng bởi nó ảnh hưởng đến tương lai của hoàng tử cũng như chuyện quốc gia đại sự.
Vua Khải Định đã gọi 4 vị quan nổi tiếng trong triều, có học vấn uyên bác vào cung để lựa chọn. Họ ăn mặc chỉnh tề và chờ vua ra lệnh. Vĩnh Thuỵ lúc này cũng đi ra trình diện. Hoàng tử đi một vòng, nhìn từng người và ánh mắt dừng lại ở một vị quan có vẻ ngoài khác biệt và tỏ ra khá sợ người này. Miệng của ông hơi méo, hai mắt không bằng nhau, kém hơn hẳn về ngoại hình so với 3 vị quan còn lại. Ông chính là Lê Nhữ Lâm, Hành tẩu ở Văn phòng Nội các.
Vì vậy mà vua Khải Định quyết định chọn Lê Nhữ Lâm làm thầy dạy con mình. Bởi ngoại hình kỳ lạ của ông khiến hoàng tử Vĩnh Thuỵ kính nể. Hơn nữa, vị quan này nổi tiếng là người có học vấn uyên thâm, phẩm hạnh tốt.
Vĩnh Thuỵ sau này sang Pháp du học, Lê Nhữ Lâm cũng đi theo học trò sang xứ người. Trong 10 năm ở Pháp, ông vừa dạy Nho học cho Vĩnh Thuỵ, vừa học thêm tiếng Pháp và văn hoá Pháp.
Năm 1922, Vĩnh Thuỵ trở thành Hoàng thái tử. Đầu năm 1926, vua Khải Định băng hà, Vĩnh Thuỵ lên ngôi lấy hiệu là Bảo Đại. Đến ngày Bảo Đại bắt đầu nhấp chính vào năm 1932, Lê Nhữ Lâm vẫn là người dạy ông học.
Bảo Đại là vị vua Tây học, ngay sau khi nắm quyền ông đã cho 5 vị Thượng thư xuất thân Nho học về quê. Đó là Nguyễn Hữu Bài (Bộ Lại), Tôn Thất Đàn (Bộ Hình), Phạm Liệu (Bộ Binh), Võ Liêm (Bộ Lễ), Vương Tứ Đại (Bộ Công). Nhưng Lê Nhữ Lâm không phải ra đi mà thay vào đó là giữ chức Tổng tài Quốc sử quán kiêm nhiệm Giám đốc Thư viện Bảo Đại (nơi giữ nhiều tư liệu, sách vở viết bằng chữ Hán, chữ Pháp) từ năm 1933 đến năm 1939. Trên cương vị mới, ông tham gia tổ chức, điều khiển biên soạn các phần nối tiếp của Đệ lục kỷ Đại Nam thực lục.
Lê Nhữ Lâm sinh năm 1881, là con của Án sát Bình Thuận Lê Trí, người xã Vân Trình, huyện Phong Điền, tỉnh Thừa Thiên. Ông từng theo học ở Quốc tử giám trong 11 năm. Năm 1906, Lê Nhữ Lâm thi Hương và đậu cử nhân, đứng thứ 5/35 người thi đỗ, làm quan dưới thời vua Duy Tân. Ông giữ chức Hành tẩu ở Bộ Hộ và Văn phòng Nội các trước khi được giao nhiệm vụ dạy học cho Vĩnh Thuỵ.
Ông chính là người thầy cuối cùng dạy vua trong lịch sử phong kiến Việt Nam và cũng là Tổng tài cuối cùng của Quốc sử quan triều Nguyễn. Năm 1940, ông về hưu với hàm Hiệp tá đại học sĩ, cùng gia đình sống ở xã Vân Trình. Trong thời gian Cách mạng tháng Tám và kháng chiến chống Pháp diễn ra, Lê Nhữ Lâm đã vận động con cháu, hàng xóm tham gia cách mạng, đấu tranh vì đất nước.
