桜山慈俊公は、楠木正成公の挙兵に呼応して、元弘元年（1331年）、この地において挙兵し、一時は備後半国をおさえ、備中や安芸にも進出するほどの勢いがありましたが、笠置山（京都府）が落城し楠木氏の赤坂城（大阪府）も陥落し、楠木正成公も戦死したとの風聞などで味方は離散し、翌年正月、吉備津神社に火を放ち、妻子および一族若党23人とともに自害したと『太平記』巻3には記されています。その後、吉備津神社境内に小祠として祀られていましたが、明治13年に桜山城跡に櫻山神社が創建され、大正2年に旧神宮寺跡の現在地に移築されました。
「桜山慈俊挙兵伝説地」として、昭和9年（1934年）、「一宮」周辺が国の史跡に指定されています。
