Vuonna 1463 Viipurin linnanpäällikkö Erik Akselinpoika Tott myönsi Nils Poitzille rälssioikeuden ”kaikkiin niihin tiloihin, jotka hän on nyt omistaa ja on perinyt tai jotka vastedes saattavat joutua hänelle perintönä, sijaitsivatpa ne missä hyvänsä.” Nils Poitz pystytti asumakartanonsa, Poitsilan, Hilloniemen Hietakylän vastaiselle rannalle.
1500-luvulla Poitzien vauraus oli Vehkalahdella poikkeuksellinen. Suku omisti myös Norsbyn eli Grotilan verotilan ja Vilniemen sivukartanon. Nils Poitzin jälkeläinen alenevassa polvessa, Mårten (Martti ) Henrikinpoika Poitz (kuollut n. 1604) hoiti mm. lainlukijan tehtäviä Vehkalahdella. Mårten Poitz joutui Venäjälle sotavankeuteen 1500-luvun lopulla, ja ilmeisesti jonkinlaiseksi hyvitykseksi hän sai haltuunsa Norsbyn ja Vilniemen 1594. 1600-luvun alku olikin Poitsilan kukoistuskautta. Mårten Poitzin kuoltua suvun Vehkalahden omistukset jaettiin hänen poikiensa Hannun ja Pietarin kesken. Kartanon jako heikensi kuitenkin suvun asemaa ja varallisuutta, ja 1600-luvun mittaan suku köyhtyi ja velkaantui. Isossa reduktiossa Norsby muuttui veroratsutilaksi. Lopulta Pietarin pojanpoika Nils Poitz myi Poitsilan vuonna 1704 eversti Herman Johan von Burghausenille ja muutti pois Vehkalahdelta. Everstin leski, Anna Elisabet Rehbinder, myi kartanon 1709 vouti Carl Willandille, joka asui Poitsilassa venäläisten tuloon saakka. Willandin perikunnalle Poitsila kuului vuoteen 1746. Hattujen sodan jälkeen perhe muutti Ruotsin puolelle ja kartano myytiin. Uusi omistaja, Anders Sommar, oli Nils Poitz nuoremman tyttärenpoika. 1749 hän myi kartanon kauppias Erik Pihlille, jonka leskeltä Heino Erik Bruun osti maat 1752. Bruunin suvun hallussa kartano pysyi pitkälle 1800-luvulle. Bruunien hallussa myös torppareiden määrä kasvoi, niitä oli 1800-luvun vaihteessa Hillossa ja Poitsilassa puolen tusinaa. Vanhastaan kartanoon kuului myös alueita Vilniemeltä Lupinlahden rannoilta.
Poitsilan kartanon rakennukset ovat ainakin jo 1600-luvulla sijainneet samalla paikalla kuin nykyinen päärakennus. Nämä rakennukset tuhoutuivat suuressa pohjan sodassa. Nykyinen Theodor Deckerin suunnittelema päärakennus on rakennettu 1867. Konstantin Aladin osti Poitsilan kartanon vuonna 1888. Vuodesta 1949 siinä on toiminut Sortavalasta sotien jälkeen Haminaan siirtynyt Jamilahden kansanopisto. Opistoa ylläpitävän Karjalan Evankelisen Seuran lakkautettua toimintansa kartano on siirtynyt Hiljaisuuden Ystävät ry:n omistukseen. Siellä järjestetään mm. retriittejä ja pienimuotoista luostaritoimintaa, ja Kymenlaakson opisto vuokraa sieltä tiloja Haminan kampukselleen.
