1904年初，斯大林从西伯利亚伊尔库茨克省新乌达村的流放地逃回到故乡。当时，他与铁路工人的女儿叶卡捷琳娜·斯瓦尼泽结了婚。她的父亲是社会民主党人，积极参加过工人的革命斗争。1906年，斯大林与斯瓦尼泽有了儿子雅可夫。1907年斯瓦尼泽去世。
1918年，40岁的斯大林与年轻漂亮的娜杰日达·阿利卢耶娃结婚。她当时才17岁，阿利卢耶娃一家人都是老布尔什维克。她的父亲是农民出身的工人，1898年入党，同加里宁一起在高加索从事革命活动。他移居彼得堡后，参加十月革命，胜利后担任过列宁格勒地区电力协会主席，1945年去世。
早在十月革命前，斯大林同阿利卢耶娃一家就很熟悉。1903年，娜杰日达只有2岁，她曾掉进河中，被斯大林救起。十月革命时，她是中学生；次年，她同比自己大22岁的斯大林结婚。她曾在列宁身边做秘书工作。
婚后，她马上就随丈夫去了最危险的南方战线。1921年，斯大林的次子瓦西里出世。1926年，娜杰日达又给斯大林添了一个女儿斯维特兰娜。
娜杰日达努力工作和学习，想缩短自己与斯大林之间的差距。国内战争结束后，她先在一家杂志社工作。1929年，在尽快实现国家工业化的号召下，共产党员和共青团员都热情地投入到工业建设的浪潮之中，娜杰日达希望进学校学习专业知识。开始，斯大林不赞成。但由于娜杰日达的坚持，斯大林作出了让步，娜杰日达进了莫斯科工业学院化纤系学习。她感到非常幸福，满怀热情地投入了学习。当时，赫鲁晓夫也是她的同学。
娜杰日达没有暴露自己的真实身份。她作为一个普通女大学生，听到许多过去在克里姆林宫里根本不可能知道的事情，有些甚至是骇人听闻的。农业集体化运动中成批人被驱逐、遭枪杀，严重的饥荒，成千上万儿童以乞讨为生。她以为斯大林不了解国内的许多情况，就将学院中所闻告诉了斯大林，斯大林却尽量回避这些话题，有时还斥责妻子不该轻信“阶级敌人和托洛茨基分子”的谣言。
在子女的心目中，娜杰日达是一位聪明、美丽、对所有的人都彬彬有礼的好母亲。她个人的生活极其朴素，平时都穿自己缝制的衣服。在上学期间，她从来不让专车去接送她，对谁也不说自己的特殊身份。
娜杰日达待人接物谦虚谨慎。她对斯大林前妻的儿子雅可夫特别和蔼、怜惜。虽然她比雅可夫只大7岁，但却受到他的敬重。真诚善良的娜杰日达对所有的亲戚都十分热情，尽心竭力地去帮他们解决困难。斯维特兰娜回忆她的母亲说：“除了她还有谁能让一家人和谐一致，更何况是和睦无间呢。她是家里公认的一家之长。”可是，当为了信念不能妥协时她却是坚定顽强，寸步不让的。她深深地爱着斯大林，但斯大林有他自己的世界，他主宰着一个大国的命运。这就决定了斯大林要具有坚强的意志，干事果断，举止沉稳，态度冷漠甚至专横跋扈。而娜杰日达对他这个内心世界的了解毕竟还是幼稚的，她总是用自己的标准去衡量这个伟人。在她看来，斯大林逐渐变成了一个冷酷生硬、不会体贴别人的人，他已不是她青年时期所憧憬的那种人了。当然，他仍然爱着她，这使她十分苦恼，也十分失望。
他们之间开始发生争吵，谁都认为对方是不可理喻的。1926年的一次争吵后，娜杰日达一气之下带着儿子瓦西里和女儿斯维特兰娜回到了列宁格勒的娘家去住。不久后，斯大林从莫斯科打电话去“求和”，于是，娜杰日达的气也就消了。她打消了准备过独立生活的打算，回到了斯大林身边。
他们另一次争吵是为贝利亚而引起的。阿利卢耶娃一家革命前后都在高加索工作过，对贝利亚国内战争时期在高加索的表现比较熟悉。当时，贝利亚曾以叛徒罪被捕，基洛夫亲自下令枪决他，后来由于战局的变化等原因，命令未被执行。后来，贝利亚开始出现在斯大林的家里。
“今后不许这个人迈进我们家的门坎一步！”
“怎么回事？拿事实来，我看不到事实，你就说服不了我！”
“我不知道你要什么事实，我看他就是个坏蛋，我绝不跟他坐在一起吃饭！”
“那么就滚你的蛋吧！这是我的同志，我信任他。”
娜杰日达有时简直难以忍受斯大林的粗暴态度，但斯大林每次事后又对她表示温情使她下不了离开他的决心。一次会议后她深夜归来，十分疲劳，斯大林抚慰着她，体贴地扶她睡下，她说：“看来你还是有点爱我。”她是多么希望这种怜爱能维持下去。她曾不止一次地向亲友表示想要离开斯大林，但又始终下不了这个决心。
1932年11月7日晚，克里姆林宫为庆祝十月革命15周年举行盛大的节日宴会。在场的有党政高级官员、外国使节和贵宾。斯大林当着大家的面高兴地喊娜杰日达：“喂，你也来喝一杯！”在这种隆重的场合，他本应遵循苏联人的礼节叫妻子的名字+父名，或叫表示亲密的爱称，可不知为什么斯大林当时疏忽了。从来就认为自己不是别人的附属品的娜杰日达，感到了莫大的羞辱，于是大喊一声：“我不是你的什么‘喂’！”接着站起来，在所有宾客的惊愕中退出了会场。
第二天清晨，克里姆林宫和往日一样宁静。女管家瓦西里耶芙娜准备好了早餐去叫斯大林的夫人，推开门，她惊呆了：娜杰日达躺在血泊中，手中握着一支袖珍手枪，尸体已冰冷了。娜杰日达的死，给斯大林的打击很大，从此他再未娶妻续弦，而是更多地关心孩子们。斯大林的晚年，一直住在莫斯科西北30公里的孔策沃别墅；他除每年到高加索度假2个月外，其余时间几乎都在这里度过。斯大林在孔策沃批阅文件，接见外国来访的客人。在一年有数的几个节日里，在红场列宁陵墓上，他才望见潮水般的群众，听到一片乌拉声，而群众也只是隐约辨认出斯大林的身影。晚年，斯大林的生活圈子相当狭小。