Colt kocht eenin stukstik landlân aanoan de rivier Connecticut, en bouwdeboude hierdêr eenin groteregruttere fabriek genaamdfabryk, de [[''Colt Armory]]''. Hij regelderegele voorin zijnwurkdei personeel eenfan 10-urigewerkdagoeren enfoar eensyn uurpersoniel, lunchpauzein tussendoor.oere Ookskoft bouwdeen hijin voorklup hentichteby een club vlakbij deit fabriekfabryk. Op 5 junijuny 1856 troude Colt metmei Elizabeth Jarvis.
BijBy hetit uitbrekenbegjin vanfan de [[Amerikaanske Boargerkriich|Amerikaanse burgeroorlog]] werdwaard Colt door de staat Connecticut benoemd tot kolonel. De eenheid die hij kreeg toegewezen hoefde echter nooit ten strijde te trekken. Op 20 juni 1861 werd Colt ontslagen uit het leger.
Colt stierf in Hartford in 1862. Hij ligt begraven op it Cedar Hill kerkhof.
