Im 17. Jahrhundert wandelte sich der Kiez zum Quartier der armen Leute, dem sog. "Fischerkiez". Das malerische, mittelalterliche Flair der Bauten blieb lange erhalten, erst der zweite Weltkrieg zerstörte die Fischerinsel großflächig. Einziges Relikt ist das Haus Friedrichsgracht 15 aus dem Jahr 1740.
 
Nach dem Krieg wurden hier - mit wenig Rücksicht auf den historischen Stadtgrundriss - diverse Plattenbauten und zwei dominierende Doppelhochhäuser errichtet.
 
Manch einer erinnert sich vielleicht noch an die Großgaststätte Ahornblatt, in den 70ern das gesellschaftliche Zentrum des Wohngebiets, mit einem markanten Dach in ahornblattähnlicher Form. In den 90ern gab es hier unter dem Namen "Exit" wilde Technopartys.
 
Trotz zahlreicher Proteste wurde das denkmalgeschützte Gebäude im Jahr 2000 abgerissen. Heute steht dort ein Hotel.