Bis zum Bau der Stadtmauer 1480 befand sich hier ein natürlicher Hafen der von den Fischern und Schiffleuten genutzt wurde.
Es wurde um 1490 an der tiefsten Stelle des Fischerplätzle erbaut. In der Erdgeschoßhalle wurden früher Schiffsbauarbeiten erledigt. In dieser Halle befindet sich seit der Sanierung von 1977 eine Gaststätte.
In den oberen Stockwerken hatt der Schifferverein seinen Sitz, der für die Ausrichtung der Fischerstechen verantwortlich ist.