Os Carters podem ter tido uma filha pequena, mas também tinham três noras quando Jimmy se tornou presidente, e a maior parte da família se mudou para Washington.
Jack e esposa Juliette “Judy” Langford ficaram na Geórgia, onde acolheram o filho Jason James Carter em 7 de agosto de 1975, e onde a filha Sarah Alecrim nasceria em 19 de dezembro de 1978. (Após o divórcio, Jack se casou com a mãe de dois filhos Elizabeth Brasfield em 15 de maio de 1992.)
O segundo filho dos Carters, James Earl “Chip” Carter IIItrabalhou para o Comitê Nacional Democrata em Washington enquanto seu pai estava no cargo e mudou-se para a Casa Branca com a esposa Caronte Grifo, que estava grávida de oito meses no dia da posse. Ainda assim, ela passeou pela rota do desfile com o resto da família por alguns quarteirões quando o presidente e a primeira-dama fizeram o movimento sem precedentes de caminhar a milha e meia inteira do Capitólio até a 1600 Pennsylvania Avenue.
“As pessoas ao longo do percurso do desfile, quando viram que estávamos caminhando, começaram a aplaudir e a chorar”, disse Jimmy escreveu mais tarde“e foi uma experiência emocionante para nós também.”
