当时希伯来王国的三代君王（扫罗、大卫、所罗门）都来自南部的犹大和便雅悯两个部落，因此，住在北部的其他10个部落对他们互相猜忌和怨恨。所罗门死后，他的儿子罗波安继承了王位。
罗波安如何处理这个棘手的问题呢？
罗波安是一位奢侈好色、嫉贤妒能、听信谗言的无能之君，手下的臣仆也都诡计多端。在他的领导下，希伯来王国的国力由盛而衰。面对人民日益不满的呼声，罗波安不仅不缓和矛盾，满足人民的要求，反而侮辱斥责他们：
“我父亲给了你们沉重的负担，很好，我作为新国王，打算给你们更重的负担；我父亲用鞭子抽你们，我将用带刺的鞭子抽你们。”
矛盾日益激化，最后北部10个部落拒绝承认罗波安，另外推举了新国王，定都撒马利亚，称为以色列王国。而南部的犹大部落和便雅悯部落仍然效忠于罗波安，称他为犹大王，首都仍为耶路撒冷。
公元前930年，统一了100多年的犹太人国家从此一分为二。
公元前8世纪，两河流域的亚述人强大起来，改变了西亚地区的形势。亚述首先迫使以色列称臣纳贡，继而于公元前72年攻陷撒马利亚，10个部落的人民无声无息地从历史上消失了。从此他们被称为“失踪的以色列10个部落”。这至今是一个困扰后人的千古之谜。犹大王国虽继续维持了100多年，却也不比以色列强多少，犹大王国的续存是以向亚述纳贡称臣为代价换来的。
然而，犹大王国的这种状况并没有能够长期存续。公元前605年，亚述被新巴比伦所灭。新巴比伦国王尼布甲尼撒二世与埃及法老尼科争夺巴勒斯坦。尼布甲尼撒二世围攻耶路撒冷18个月，于公元前586年城陷。圣殿遭洗劫，耶路撒冷成为一片废墟。犹大王国的国王、祭司、贵族和工匠数万人被俘押往巴比伦。
犹大人被作为俘虏押往巴比伦，史称“巴比伦之囚”。
在这次大流放历程中，他们又一次被迫离开自己的家园，向东、向西、向南、向北……成为他乡不受欢迎的外来客。
幸运的是，与那些被异族同化的北部10个部落人民不同，被流放到巴比伦的犹大人，并没有被强制性地分散开来，而是聚集在一起，而且保留本民族传统信仰和习俗。他们又渐渐形成了稳定的犹大移民区，此后，犹大人及其后人被称为“犹太人”，也成为整个犹太民族的通称。
最初的时候，由于亡国之民的凄苦生活，犹太人对巴比伦具有强烈的仇恨情绪。《圣约·诗篇》就吟出了这样的诗句：
巴比伦的儿女们
我们要祝福那些
像你们对待我们那样报复你们的人
把你们的孩子摔在石崖上的人
公元前538年，新巴比伦王国又为新兴的波斯帝国所灭亡，犹太人的状况发生了改变。波斯帝国的统治者居鲁士发现犹太民族的神教思想很适合帝国巩固统治的需要。同时，由于犹太民族十分注重教育，犹太人的文化素养普遍较高，这种知识对他们来说也是一种精神财富。因此，居鲁士对犹太人采用了利用的政策。于是，犹太人以自己民族和宗教保存的优势，使自己处于了一种较为宽松的环境之中。
在波斯王的统治下，尽管物质生活很安逸，但精神生活却出现了危机。在这个充满了诱惑的环境下，犹太人要保持自己的民族性并不是件容易的事。先知们又出现了，他们将犹太民族从精神崩溃的边缘中拯救出来。
这个时期，在犹太民族的发展史上占据着特殊地位。
犹太民族在几千年的流亡之中如此顽强地维护自己民族的特性，并从中汲取力量而重新站起来。散居异乡能忠于自己的民族，这是一种非凡的力量，是犹太民族所独具的，也正是其他民族与犹太民族无与伦比之处。
公元前538年，波斯国王居鲁士允许希伯来人返回巴勒斯坦，并支持他们在耶路撒冷重建圣殿，复兴犹太教，不愿返回的仍可留在巴比伦。犹太人首批回国的约有4万人。
到公元前516年，返回耶路撒冷的人和留在当地的极少数犹太人联合起来，历经20年，重建圣殿的工程才竣工，史称“第二圣殿”，但它的规模和豪华程度远逊于所罗门圣殿。
公元前445年，波斯宫廷内的犹太裔官员尼希米被授任犹大省省长，且返回耶路撒冷，按祭司对犹太教教义、教规的观点整顿当地犹太自治社团。“大流散”的历史，是犹太民族遭受磨难、历经艰辛的历史，也是犹太民族的民族意识经历磨炼的历史。
在“大流散”的历史中，犹太民族熬过了一个个充满辛酸和屈辱的漫漫长夜，但是犹太民族又历经摧残而不变，成为一只振翅于黎明的更生的凤凰。
犹太民族之所以没有在艰难流散中消逝，主要是由宗教的超然性而保持自己民族的独立性，由民族的忠诚性又促进宗教的坚定性的缘故。这恰恰就是犹太人杰出智慧的体现。