Gasthaus Adler, Bürgler und Herger