Türbenin muhafazasını sağlamakla görevli olan Jandarma İhtiram kıtasının ikameti için 30 Mayıs 1938 tarihinde modern bir karakol yaptırılmış, eski türbenin tamiri imkansız hale geldiğinden tarihi önem ve özelliğine uygun olarak, 1939 yılında da karakolun yanında yeni bir türbe inşa ettirilerek Süleyman Bin Kaya Alp'ın mezarı buraya nakledilmiştir.