В XIII веке на месте нынешнего замка была основана укрепленная ферма, окруженная каналом, которая позже была преобразована в поместье. В 1524 году купец, банкир и тайный советник императора Карла V Жерар Стерк, купил его и превратил в замок в стиле Ренессанса.
В отличие от других замков Антверпена, он не был разрушен во время войн XVI-XVII веков, но постоянно менял владельцев. В 1693 году он принадлежал христианскому ордену «Иезуиты Льера», а в 1778 году он снова был продан банкиру Яну Баптисту Когелсу, который объединил территорию замка с соседним поместьем Тер Ривьерен.
В 1921 году правительство провинции Антверпен приобрело замок, чтобы создать нынешний общественный парк Ривьеренхоф. От первоначального замка Стерксхоф сохранилась только одна башня, входные ворота и несколько хозяйственных построек.