Os Carters passaram seus primeiros dias como marido e mulher na base naval em Norfolk, Virgínia, onde Jimmy passava a maior parte da semana em tarefas e Rosalynn fazia um curso intensivo sobre tarefas domésticas.
Seu primeiro filho, filho John William “Jack” Carternasceu em 3 de julho de 1947, então o casal comemorou seu primeiro aniversário no hospital como uma família de três pessoas. No ano seguinte, Jimmy foi selecionado para a escola de submarinos em New London, Connecticut, e finalmente teve horários regulares para poder ficar em casa todas as noites com sua esposa e filho.
Eles acolheram o filho James Earl “Chip” Carter III sobre 12 de abril de 1950, enquanto moravam no Havaí. Depois seguimos para San Diego, Califórnia, e depois voltamos para New London – onde o filho Donnel Jeffrey “Jeff” Carter nasceu em 18 de agosto de 1952 – e então se mudaram para Schenectady, NY, para que Jimmy pudesse estudar energia nuclear no Union College.
Rosalynn disse que planejava ser esposa da Marinha, mudar de cidade em cidade e conhecer o mundo com o marido. O que ela finalmente fez, mas não da maneira que ela jamais teria imaginado.
