"อำเภอบ้านนาสาร" ได้รับอารยธรรมก่อนสมัยประวัติศาสตร์จนถึงสมัยประวัติศาสตร์ มีพื้นที่อาณาเขตกว้างใหญ่อยู่ในเขตการปกครองของเมืองไชยา เมืองนครศรีธรรมราช มณฑลนครศรีธรรมราช มณฑลชุมพร มณฑลสุราษฎร์ จังหวัดสุราษฎร์ธานี ตามลำดับจนถึงปี พ.ศ. 2447 กระทรวงมหาดไทยได้โอนมาขึ้นกับจังหวัดสุราษฎร์ธานี เริ่มต้นประวัติศาสตร์ "วัดถ้ำขรม" บริเวณที่วัดถ้ำขรมมีการตั้งถิ่นฐานของมนุษย์ได้รับอารยธรรมมาตั้งแต่ก่อนสมัยประวัติศาสตร์ และมีมนุษย์ตั้งถิ่นฐานรอบอ่าวบ้านดอน ลุ่มแม่น้ำตาปี แม่น้ำพุมดวง แม่น้ำอิปัน คลองฉวาง คลองหา คลองลำพูน คลองยา คลองท่าสะท้อน มีหลักฐานความเจริญบริเวณบ้านน้ำรอบ บ้านท่าสะท้อน บ้านท่าเรือ บ้านควนท่าแร่ บ้านนาสาร ภูเขาถ้ำขรม เมืองเวียงสระ เคียนซา พระแสง ถึงสมัยประวัติศาสตร์วัดถ้ำขรม ท้องที่อู่มาต อยู่ในเขตการปกครองของอาณาจักรไชยา และเมืองนครศรีธรรมราช มีความสัมพันธ์เกี่ยวเนื่องกับประวัติศาสตร์สยาม สมัยสุโขทัย สมัยอยุธยา สมัยกรุงธนบุรีและกรุงรัตนโกสินทร์
