Hương Sơn là vùng đất "Địa linh, nhân kiệt", nơi hương đất, khí trời hội tụ thành "Nguyên khí" mà ít nơi nào có được. Vào năm 1746 ở thế kỷ XVIII, Lê Hữu Trác viện cớ về quê chăm sóc mẹ già để rời bỏ con đường binh nghiệp. Từ đó, cuộc đời Lê Hữu Trác gắn bó với quê mẹ ở thôn Bàu Thượng, xã Tình Diệm, huyện Hương Sơn (nay là xã Quang Diệm, huyện Hương Sơn, tỉnh Hà Tĩnh), ông đã thực sự “bẻ tên cởi giáp” rời xa cung kiếm và con đường khoa bảng để theo đuổi chí hướng mới - nghề y. Tại đây, ông bắt đầu học nghề thuốc, nghiên cứu và chữa bệnh cứu người cho đến lúc mất.

Bọn ngự y trong cung ghen tỵ với Hải Thượng Lãn Ông và không chịu chữa theo đơn của ông, nên thế tử không khỏi. Ông biết thế nhưng không hề thắc mắc với bọn thầy thuốc thiếu lương tâm này.