Vilniemi oli alkujaan Poitsilan sivukartano, nimeltään Mukala. 1680-luvulta alkaen sitä piti hallussaan Sommar-suku, jonka ensimmäinen edustaja, luutnantti Martin Sommar, sai Nils Poitzin tyttären myötä haltuunsa myös Vilniemen kartanon. Sommarit asuivat Vilniemessä 1720-luvulle saakka, jolloin perhe muutti vasta perustettuun Haminan kaupunkiin. 1700-luvun puolivälissä venäläinen everstiluutnantti Nikita Sedov ja tämän vävy kapteeni Okunjeff ostivat Vilniemen kartanon Anders Sommarilta. Tämän jälkeen kartano vaihtoi omistajaa useita kertoja. Vuonna 1757 sen ostivat haminalaiset kauppiaat Jobst Fabritius ja Magnus Giösling, joilta se siirtyi vuonna 1771 haminalaiselle kauppiaalle Heino Erik Bruunille. Bruun myi Vilniemen rikkaalle viipurilaiselle Antony Nahtille vuonna 1790. 1800-luvun alussa kartanon omisti keisarillisen hovin virkailija Rikhard Kossoff.
Vilniemen hovin rakennukset ovat sijainneet alun perin meren rannalla, mutta maankohoamisen ja rantaniittyjen kuivatuksen myötä yhteys mereen on kadonnut. Kartanon nykyinen puinen, kaksikerroksinen päärakennus on rakennettu 1836. Toisen kerroksen siiven alaosa on rakennettu 1840-luvulla eversti Melartin aikana. Eversti rakennutti myös sivurakennuksen, navetan, aitan, jonka alla on kellarit, vilja-aitan, tallin ja vaunuliiterin. Lisäksi kartanon pihalle rakennettiin huvimaja. Nämä rakennukset Pohjanmaalta tulleet kirvesmiehet rakensivat nälkävuonna 1867. Talon yläosa on rakennettu 1880-luvulla professori Cleven muutettua Vilniemeen perheineen.
Kartanon sivurakennus, alatalo, rakennettiin alun perin kartanon muonamiesten asunnoksi. Siinä asui yhtä aikaa neljäkin perhettä, joilla oli yhteinen keittiö. Rakennus laajennettiin vuoden 1912 jälkeen kaksikerroksiseksi, ja sen yläkerran huoneistossa asui Cleven perheen jäseniä.
Vilniemen kartanon perijätär Helena Emilia Melart syntyi vuonna 1838 Loviisassa, jossa hänen isänsä, yliluutnantti Carl Fredrik Melart, palveli 3. suomalaisessa pataljoonassa vuoteen 1840. Emilian äiti, Kurkijoen pappilassa varttunut Katarina Melart (os. Kobeleff, s. 1819), kuitenkin kuoli Emilian ollessa vain parivuotias, ja pieni Emilia lähetettiin Hiitolan pappilaan kasvatettavaksi isänpuoleisten isovanhempiensa luona.
Emilian isä osti Vilniemen hovin ensimmäisen vaimonsa äidinisän, Kurkijoen rovasti Jakob Johan Slottmanin, toimeksiannosta leskentilaksi tämän puolisolle vuonna 1841. Leskiruustinna Helena Katarina Hulkovius ei kuitenkaan viihtynyt Vilniemessä eikä koskaan asunut siellä. Ruustinnan kuoltua Emilia peri tilan, ja kartano siirtyi Emilian isän, eversti Melartin, hoitoon.
Kun eversti Melart meni uusiin naimisiin Parikkalasta kotoisin olevan Karolina Wilhelmina Hulkoviuksen (s. 1815) kanssa v. 1847, hän asettui asumaan Vilniemeen ja otti Emilian luokseen. Uudesta avioliitosta syntyi Emilialle myös kolme sisaruspuolta, joista kaksi kuitenkin kuoli pienenä. Vain kolmas lapsi, tytär, Anni Elin (s. 1857), jäi eloon.
Zachris Joachim Cleve (s. 1820) oli kotoisin Rantasalmen pappilasta. Isänsä, rovasti Joachim Cleven kuollessa Zachris oli vasta 12-vuotias. Äiti Juliana Aminoff muutti armovuosien jälkeen lapsineen Anjalan Takamaan kartanoon, jossa hänen sisarensa Johanna oli Otto Rabbe Wreden rouvana. Cleven perhe asui kartanon sivurakennuksessa.
Zachris suoritti ylioppilastutkinnon ja opiskeli Helsingin yliopistossa. Filosofian tohtoriksi valmistuttuaan hän siirtyi opettajaksi Kuopioon, jossa hän tutustui taidemaalari Ferdinand von Wrightiin. Hän työskenteli Kuopiossa vuoteen 1860 saakka, jolloin hänet nimitettiin Helsingin yliopiston kasvatusopin professoriksi.
Vuonna 1863 Zachris vieraili sisarensa Augusta Wreden luona Haminassa, ja tapasi siellä Vilniemen Helena Emilia Melartin, joka oli häntä 18 vuotta nuorempi. Häitä vietettiin jo saman vuoden juhannuksena. Emilia Melart oli naimisiin mennessään 25-vuotias, aikakauden mittapuulla ikäneitouden kynnyksellä.
Perhe asui aluksi Helsingissä professorin työn vuoksi. Kesät vietettiin Vilniemen kartanossa. Lapsia syntyi yhteensä seitsemän, mutta kaksi heistä kuoli pieninä. Eloon jäi neljä tytärtä ja yksi poika: Helena Julia, Karl Zachris, Mathilda Fredrika Wilhelmina, Augusta Gunilla ja Elsa Maria.
Helsingissä Clevet seurustelivat muun sivistyneistön, kuten Krohnien perheen ja Järnefeltien kanssa. Järnefeltit olivat Augusta Gunillan kummeja, Zachris ja Emilia puolestaan Aino Järnefeltin (myöh. Sibelius) kummeja. Kodit olivat suomenmielisiä, vaikka puhekielenä oli ruotsi.
Professori Cleven jäätyä eläkkeelle virastaan 1882 perhe muutti pysyvästi Vilniemeen.
