… Zwölf starke Thürme zur Wehr und Fernsicht …
Die 1191 in den Besitz des Reichslehens gekommenen Staufer erhoben den Ort um 1220 zur Stadt. Der nachfolgende wirtschaftliche Aufschwung durch Wochen- und Jahresmärkte, durch die Webindustrie, den Groß- und Fernhandel mit Tuchen, durch die damals weit gerühmte Fabrikation von Kettenhemden und Papier führte dazu, dass sich die Stadt spätestens ab 1301 von »Beuren« in »Kaufbeuren« umbenannte.
Im Zuge der Stadterhebung erhielt Beuren das Recht, sich zum Schutz seiner Bürger und zur Definierung seiner Rechtsgrenzen mit einem Mauerzug zu umgürten. Diese Ummauerung aus Tuffquadern war nur etwa 5–6 m hoch, allerdings nach Norden und Süden – wohin sich die beiden Haupttore öffneten – durch einen breiten Wassergraben gesichert.
Sie umschloss einen steilen Hügelzug im Westen, die sog. Buchleite mit der Blasiuskirche. Derart befestigt, widerstand die Stadtmauer zwar im Jahr 1315 einer Belagerung, nicht aber dem Großbrand von 1325. Im Zuge der Erneuerung erweiterte man die Stadtbefestigung nach Nordosten, um das außerhalb gelegene Spital besser zu sichern. Damals (vor 1333) entstand das Spitaltor.