Замковая гора — высокий мыс длинной 50-100 м. Самая высокая точка Себежа, смотровая площадка. Объект культурного наследия регионального уровня. Один из основных пунктов туристической программы.
В годы немецкой оккупации на горе было захоронение кавалеров ордена Железного креста; позже захоронение было вскрыто и перенесено за город — на немецкое мемориальное кладбище. В 1978 году на горе был установлен памятный знак, позже заменённый на монумент к 600-летию города.
Благоустройство 2011 года
21 апреля 2011 года в рамках благоустройства замковой горы старый памятный знак был демонтирован. По слухам, на этом месте планировали установить 12-метровый крест.
26 апреля глава областного комитета по культуре заявил, что работы на объекте культурного наследия запрещены и должны быть остановлены.
Алексей Петренко, тогдашний директор музея, высказался так:
На Замковой горе находилась стела, которая установлена была в 70-80 годы, с мечами, с памятными датами, которые более значимы для истории Себежа. Сейчас этот памятник, что называется, несколько морально устарел, появились новые сведения по истории города.
Галина Малютина, глава городского поселения:
Это возможно символично, потому что в этом году вся страна отмечает горестную дату — 70 лет с начала Великой Отечественной войны. Как это получится и насколько будет красиво, я думаю, что оценят себежане и гости города. Я думаю, что это будет очень достойно, очень красиво, будут соблюдены все русские традиции и вновь Замковая гора будет любимым местом у наших себежан... Памятник пришлось убрать, вместе с полуразвалившимися ограждениями. Клумбы мы вывезли, потому что они очень дороги. А монумент никуда не делся, он похоронен там же, на Замковой горе. А что появится на его месте, жители увидят ближе к празднику.