Góra Zamkowa jest to najstarsza część Rajgrodu. Wykopaliska archeologiczne potwierdziły tu osadnictwo ludzkie już w pierwszych wiekach n. e. W wiekach średnich Jaćwingowie pobudowali tu warowny gród zwany „Rajem”, który był główną siedzibą Zlińców. Jaćwieskie słowo „Raj” nie ma nic wspólnego z biblijnym Rajem, gdyż Jaćwingowie nie byli chrześcijanami. Starolitewskie słowo „raistas” oznacza tereny niedostępne i podmokłe, a więc staro jaćwieskie „raj” mogło oznaczać to samo. Warownia została zniszczona w czasie mazowiecko – ruskiej wyprawy odwetowej w poł. XIII wieku. W 1360 r. Król Polski – Kazimierz Wielki polecił zbudować tu zamek. Krzyżacy najechali jednak rozpoczętą budowę i nie dopuścili do powstania kazimierzowskiej twierdzy. Następnie Rajgród stał się grodem litewskim. W I poł. XV wieku od jednego z książąt litewskich otrzymał prawa miejskie. Po 1569 r., kiedy województwo podlaskie weszło w skład Korony Polskiej, znajdował się tu dwór kolejnych starostów rajgrodzkich. Ostatni z nich, Wojciech Rydzewski, w 1775 r. przeniósł siedzibę starosty na Podliszewo. Po istniejących tu niegdyś budowlach nie pozostał żaden ślad.
Opis powstał dzięki Pani Natalii z Rajgrodu
