Là huyện miền núi vùng cao ngăn cách với đồng bằng của tỉnh bởi con đèo Khánh Sơn cao vời vợi, phía bắc giáp huyện Khánh Vĩnh, đông bắc giáp Diên Khánh, đông giáp huyện Cam Ranh, nam và tây giáp tỉnh Ninh Thuận.
Tổng diện tích tự nhiên là 336km2, tổng dân số là 16.665 người, mật độ dân số thấp, chỉ 49 người/km2. Dân cư sống chủ yếu bằng nông nghiệp, lâm nghiệp. Thị trấn Tô Hạp là huyện lỵ, nằm ngay trục tỉnh lộ 9, cách phường Ba Ngòi 40km về phía tây. Diện tích đất lâm nghiệp của Khánh Sơn chiếm đến 94% tổng diện tích tự nhiên. Đồng bào các dân tộc thiểu số đã có cuộc sống định canh định cư, đã có tập quán trồng cây lúa nước, chăm sóc và khai thác nhựa thông, trồng chè và cà phê theo lối thâm canh thành vùng chuyên canh lớn.
Văn hoá truyền thống đầy bản sắc dân tộc được thể hiện qua bộ "Đàn Đá Khánh Sơn" và "Văn hoá Cồng Chiêng" đặc trưng của vùng cao nguyên miền Trung.
Trong hai cuộc kháng chiến trường kỳ của dân tộc, Khánh Sơn từng là căn cứ cách mạng với những mặt trận ác liệt như: "Thung lũng tử thần", căn cứ Tô Hạp, sân bay Tà Nía.
Khánh Sơn có nhiều loại lâm sản có giá trị. Đặc biệt có nhựa cây Tô Hạp được dùng làm gia vị rất quí, nhựa thông ba lá (loại cây mọc thành rừng ở Khánh Sơn). Chè Khánh Sơn thơm ngon nổi tiếng và cây cà phê gần đây đã trở thành cây chủ lực giúp huyện chuyển đổi cơ cấu kinh tế nhằm đem lại một đời sống ấm no hơn cho cộng đồng dân cư.