Når du kommer til Milnbergan, står du på et av landets eldste og største klippfiskberg. Brygga nedenfor ble bygd av en av grunnleggerne av klippfisknæringen i Kristiansund og Norge, William Gordon, i 1749, men har fått  navnet sitt etter dens neste eier, Walter Miln, som kjøpte den i 1772.

Stedet var svært gunstig for klippfiskproduksjon på grunn av de store områdene med svaberg rundt brygga. Sesongen startet i mars og varte hele sommeren. Torsken ble flekket, saltet og lagt i press i lasterommene på båtene. Når fisken kom til Kristiansund, ble den først vasket i fjæra, og deretter saltmodnet og vasket på nytt, før den ble lagt ut på «bergan» til tørk. Tørkingen tok rundt fire til seks uker eller lenger, avhengig av været. I sesongen kunne det arbeide 150 personer her, og en stor del av dem var kvinner og barn.