Kaufbeuren, Irsee und zurück