Martin giftet seg med Ramm, Helle Alethe 12 Mai 1822. Helle (datter av Ramm, Eilert Valdemar Preben (Eidsvollsmann) og Hveberg, Petronelle Elisabeth) ble født 12 Mai 1800; døde 17 Mar 1885, Kristiania. [Gruppeskjema] [Familiediagram]

1. With, Erik Waldemar ble født 7 Feb 1823; døde 1885.
2. With, Emilie Hedevig ble født 16 Jun 1824; og døde.
3. With, Johannes Nicolay ble født 22 Mar 1826; døde 1912.
4. With, Carl Georg ble født 3 Des 1827; døde 1908.
5. With, Martin Rasmus ble født 3 Aug 1830; døde 24 Okt 1863.