이 서당은 문옹汶翁 김석견金石堅, 1546~1614 선생을 봉향하기 위하여 조선 정조(正祖) 22년1798에 창건된 두산사斗山祠에 기원을 두고 있다. 그 후 고종 9년1872에 훼철(毁撤) 되었다가 1919년 고쳐 지으면서 두산서당으로 편액(扁額)되었다.
서당이면서 제향을 하는 사우(祠宇)를 갖추고 있으며, 일반적인 배치 형식에서 벗어나 지형 조건에 순응하여 서당과 전사청(典祀廳) 등을 나란히 배치한 점이 특징이다.
김석견은 임진왜란 당시 세 아들과 함께 의병을 일으켜 경주성 수복 등에 큰 공을 세웠으며, 선조 38년1605에 선무원종공신宣武原從功臣으로 문서에 기록되었다. 또한 세상을 떠난 뒤인 고종 13년1876에는 통정대부通政大夫 병조참의兵曹參議에 추증되었다.