Jeszcze na początku XIX w. góra nazywana była Goryczną Skałką lub po prostu Skałką. Na zachodnich zboczach góry, tuż pod szczytem, ciągnie się system rowów grzbietowych i rozpadlin skalnych (skąd pierwotna nazwa), w których znajduje się kilka niewielkich jaskiń. Największa z nich, długości 26 m, miała być według lokalnych podań kryjówką słynnego zbójnika żywiecko-śląskiego pogranicza – Klimczoka. Od jego nazwiska w epoce romantyzmu poszła obecna nazwa szczytu, używano również nazwy Klimczak[3].
