Das sogenannte „Häuschen Peters des Großen“ wurde 1692 im Barockstil als Wohnhaus gebaut und an der Wende zwischen dem 18. und 19. Jahrhundert umgebaut. Als eines der wenigen, aus der Epoche des Polnisch-Litauischen Staates (1569-1795) erhaltenen steinernen Gebäude repräsentiert es den damals für kleine Wohnhäuser üblichen Baustil. Die Legende sagt, der russische Zar Peter I. habe in diesem Haus gewohnt, als er im Juli 1705 während des Großen Nordischen Krieges (1700-1721) zur Inspektion seiner Truppen in Polozk Halt machte.

Im Zweiten Weltkrieg wurde das Haus stark beschädigt. 1949 wurde es instandgesetzt und als Kinderbibliothek genutzt. Seit 1998 beherbergt es das kulturhistorische Museum von Polozk. Die 2008 begonnene grundlegende Sanierung war zugleich Anlass für eine Neuaufstellung der ständigen Sammlung des Museums.