因为这座山远看像一只巨大的乌龟，头向南，尾朝北，因此得名龟山。
举世闻名的龟山汉墓就发掘于山腹之中。据说，汉代时的黄河就流经此处，所以，这座汉墓不是从山底而是从山半腰开凿的，如此一来，大大增加了开凿的难度。
龟山汉墓主人是西汉第六代楚王刘注。该墓为两座并列相通的夫妻合葬墓，南为刘注墓，北为其夫人墓，两墓均为横穴崖洞式，开口处于龟山西麓，呈喇叭形状，均为人工开凿而成。这座墓东西长83米，南北最宽处33米，总面积约700余平方米，容积达到2600多立方。按此计算，这座古墓几乎将整个龟山的山腹掏空！也就说这座山是一个巨大的空壳。