距今约2000年，罗马人在如今的肯普腾（kempton）建立一个小的聚居地，名为Cambodunun. 当Cambodunun被阿勒曼尼人(日耳曼人的一支)攻击时，罗马人放弃了毫无防御建筑的Cambodunun，并在如今豪德堡所在的小山坡上建立了新的聚居地。随着时间流逝，罗马人在山坡上修建了一些防御工事，如城墙。

中世纪时期，城堡建成，用于军事防御。在一块创作于1567的木版画上，已经有豪德堡的身影，但城堡建成确切的日期无从得知。1703，法国军队扩建了城堡，使其能作为一个堡垒。

如今，城保内有一小博物馆，名为阿尔高(Allgäu)城堡博物馆。在城堡旁，有举行小型音乐会的舞台，夏季也可以在啤酒花园坐下休憩，享受一杯正宗的德国啤酒。