在希伯来王国达到繁荣鼎盛的同时，危机也在悄悄地迫近。埋下危机的种子的恰恰是“智慧之王”所罗门。
所罗门被荣华富贵冲昏了头脑，终日花天酒地，沉溺于骄奢淫逸的生活。除耶路撒冷耶和华大圣殿，所罗门还下令手下人费时13年在圣殿毗邻处兴建了更为富丽堂皇的王宫。这一切自然要耗费无以计数的金银财富，以致国库逐渐入不敷出，便向推罗国王希兰一世借贷银两。到期后无力偿还，所罗门竟割让加利利一带的20个城邑作为抵偿。但这终究不能解决问题，因此所罗门对百姓赋税剥削日益加重，并且不时向民间征发无偿劳役。各地百姓不堪负担，怨声载道。
所罗门还娶了不少来自异族外邦的妻妾。为了讨好她们，他放弃对民族神耶和华的虔诚信仰，允许这些异族嫔妃在宫中建造异教神庙，甚至在耶和华大圣殿中设立异族神灵的偶像柱石公开献祭祈祷。这种对耶和华亵渎忤逆的行为，自然引起那些虔信犹太教的希伯来人的极端不满。
由于不满情绪与日俱增，各种变乱接踵而来。那些过去被征服的异族部落获得了他们等待已久的机会，都趁势掀起反抗活动。先是南面的以东王子哈达从埃及返回，兴兵起事，率领以东一些小邦脱离所罗门王朝的控制。然后北面哈大底谢部落首领以利亚大儿子利逊率众攻取大马士革，自立为王。这些反抗活动，严重削弱了所罗门在当地的统治势力。
王国北方经济发达，但因扫罗、大卫、所罗门三代王均出于南方，南方一向在政治上处于优势。沉重的赋税徭役大都摊派到北方部落。在行政区划分上，所罗门同样明目张胆地偏袒自己出生的犹大部落。北方伊弗利姆部落被划分为几个不同的行政区，而犹大部落却不受分割并不受这种行政体制的限制。这样一来，北方的10个部落对南方的犹大和便雅悯两个部落渐生嫉妒，而敌对的情绪致使南北矛盾日趋尖锐。
南边的埃及也不愿在身旁出现一个强大的希伯来王国，因而支持王国内部的分裂活动。到所罗门统治末期，北方以法莲部落的耶罗波安领导的分离运动开始酝酿。当所罗门发觉并下令处死耶罗波安时，耶罗波安逃到了埃及，受到法老的保护。
公元前930年，所罗门去世。所罗门之死标志着古代希伯来王国“黄金时代”的终结。耶罗波安便重返国内，揭竿而起。统一的希伯来王国进入南北朝时期——北方10个部落以耶罗波安为王，建都示剑（后移至撒马利亚）称以色列王国；南方的犹大和便雅悯部落以所罗门的儿子罗波安为王，仍然以耶路撒冷为都，称犹大王国。从此，一度强盛的希伯来王国在南北两方的互相争斗和外来异族的蹂躏中逐渐衰落。
由于大卫王族早已在犹大部落中建立了一种较为稳固的控制体系，南方的犹大王国在相当一段时期里政局还算平静。与此形成鲜明对照的是，北方以色列王国除首任国王耶罗波安执政、暗利家族当权和耶户家族秉政这三个时期外，由于王位之争和社会动荡几乎濒临灭亡。
所罗门去世后，从埃及流亡归来的耶罗波安在北方登基，成为以色列王国第一个君主。耶罗波安在位期间，为与南国分庭抗礼，分别在王国南北两端的伯特利城和但城修筑了神殿，各安放一金牛犊供人崇拜，禁止百姓前往南国的耶路撒冷圣殿朝觐，并且开始使用修改过的宗教历法。这一做法无疑为异族神及其他偶像崇拜在该国的流行打开了大门。
公元前909年耶罗波安死后，其子拿答继承王位。但没过两年，属于以萨迦部落的巴沙弑王夺位，并诛灭耶罗波安全族，开始了以色列王国频繁的篡权夺位的历史。
以色列王国内部10个部落之间勾心斗角、篡位内战，因而引起王位频繁更迭。在以色列王国存在的208年里，先后出现了属于9个不同家族派系的19个国王的统治。很显然，“他们多半的时候，是用在拥立和暗杀他们的国王”。其中有一位名叫心利的国王即位仅仅7天，便因兵变自缢而死。而在王国最后的22年里，竟然发生4次弑君争位的暴力事件。
与南部的犹大王国相比，北部的以色列王国有其三倍大的土地和两倍多的人口，经济发展水平也相对较高。因此，它始终想把南部王国变为自己的附庸。为争夺牧场和耕地，不时与之展开战争，结果耗费了无穷的财力和物力。另外，以色列王国又时常受到周邻亚兰、亚述等帝国铁蹄的威胁。就连国运较盛的耶户王朝为了减缓亚兰帝国的压力，也不得不向亚述大量纳贡。
南方犹大王国面积狭小，人口从未超过50万，国势弱小。除北方以色列王国以强凌弱、多次与犹大王国兵戎相见外，南面邻邦埃及的扩张政策也构成对犹大王国的主要外来威胁。在罗波安统治的第5年，埃及示撒王朝的大军便挺进到耶路撒冷城下，虽未攻占首都，却在犹大王国国土上烧杀抢掠，横行霸道。犹大王国只有大量纳贡，方才免于亡国。以后，犹大王国又遭到亚兰王国的侵略和蚕食。
与此同时，南北两王国两极分化明显加剧，阶级矛盾日趋尖锐。处于社会中层的许多自由民因天灾人祸、生计艰难，被迫向财主、富人借高利贷，由此导致的结局通常是自身或子女沦为债务奴隶，或失去田地而不得不成为财主富人的雇工、佃农。至于财主富豪们对百姓巧取豪夺霸占房宅田地使自己“以房接房、以地连地”的现象更是数不胜数。
另外，由崇拜异教偶像引起的犹太教信仰危机进一步削弱了希伯来人的内聚力。在北国以色列放纵异族偶像崇拜、犹太教信徒遭受迫害的亚哈当政时期，先知以利亚只身闯入王宫，愤怒谴责亚哈王：“你这个杀人越货的强盗，你这崇拜偶像的狂徒。凡属于你家的，死在城内，必被狗吃；死在野外，必被鸟啄。”为此甚为恼怒的亚哈王阴谋杀害了以利亚。
内部倾轧、外敌躁踊、贫富悬殊、信仰危机，日趋一日地加剧了两个王国的衰败。这两个小希伯来王国的命运就渐渐地入于危途了。
虽然巴勒斯坦资源并不富庶，但地处欧亚非三洲交通要冲的战略地位，自然引起东西强国的觊觎。公元前8世纪，以色列王国终于为亚述帝国的铁骑所灭。先是基色城被攻陷，居民被掳走，继而，到公元前721年，亚述王萨尔贡二世率军占领北部以色列王国首都撒马利亚，将国王及其臣民27000多人押回本土，王国领土成为亚述帝国的一个行省。而被掳走的以色列人被放逐到庞大的亚述帝国各地，从此他们被称为“失踪的以色列10个部落”。
极少数留下的以色列人，加上后来的犹大王国流散者，与外来居民相融合，长期生活在示剑和撒马利亚城，逐渐形成了一个被称为撒马利亚人的特殊的混合民族。他们虽然也将《托拉》奉为经典，但宗教文化已同希伯来人完全不同。
至于10个被放逐的以色列部落就再也没有他们的消息，于是“失踪的以色列10个部落”就成为一个困扰后人的千古之谜。
南部犹大王国的命运一度要比北部以色列王国幸运些。它以向亚述帝国称臣纳贡为代价继续维持了100多年，在亚述与埃及争霸的夹缝中赖以生存。公元前605年亚述帝国被美索不达米亚复兴的新巴比伦帝国灭亡。两年后新巴比伦帝国攻入耶路撒冷，使犹大王国沦为其附庸国。
公元前588年犹大王国平民发动起义，但经过两年苦战，最终被强悍的新巴比伦军队镇压。公元前586年耶路撒冷再次被攻陷，新巴比伦帝国皇帝尼布甲尼撒二世下令夷平耶路撒冷城墙，捣毁耶和华大圣殿。包括国王、贵族、祭司和工匠在内的上万名犹大国人戴着手铐脚镣，被掳往巴比伦，此即历史上著名的“巴比伦之囚”，当地只留下少数贫民。
至此，希伯来王国终于覆灭。和那些被异族同化的北国以色列10个部落百姓不同，被掳往巴比伦的犹大国人仍能集中聚居，保留本民族传统信仰和习俗。此后他们及其后裔被称为“犹太人”。犹太人也成了整个犹太民族的通称。
“巴比伦之囚”及先前亚述王掳走以色列王国居民一事，即是古代犹太民族的第一次大流散。从此，世界上其他地方的犹太人开始在数量上超过巴勒斯坦的犹太人。这对犹太民族此后的历史特别是犹太文明的发展有着极为重大而深远的影响。
此时，犹太人的文化、社会和宗教信仰作为以色列故土以外的一种独特的思想体系和生活方式而开始发展。这种情况最终保证了犹太民族的生存及其宗教信仰的特性，并使犹太民族充满活力，足以悍卫犹太人作为一个民族的未来。
公元前586年犹大王国灭亡后，巴比伦成为当时犹太人居住的中心。沦为亡国奴的犹太囚虏泣饮在巴比伦河边，思念着故乡锡安（锡安是耶路撒冷的一座山，犹太人通常用此指代耶路撒冷），盼望着有朝一日能够杀死仇敌、重返故国。
50年后，这些巴比伦囚虏的梦想竟然实现了。
公元前538年，新巴比伦帝国又为新兴的波斯帝国所灭，犹太人转而成为波斯帝国的臣民。波斯大帝居鲁士需要在地处西亚北非间要冲的巴勒斯坦由犹太人建立一个稳固而友善的据点——它既可作为进击埃及的理想跳板，又能用以抵御希腊人的东侵。同时鉴于犹太教一神观符合其巩固专制统治的利益，居鲁士便准许流亡的犹太人重返家园并支持他们在耶路撒冷重建圣殿，复兴犹太教。他下诏通告全国：“耶和华天上的上帝已将天下万国赐给我，又嘱咐我在犹大的耶路撒冷为他建造殿宇。在你们中间凡做他子民的可以上犹大的耶路撒冷，在耶路撒冷重建耶和华以色列上帝的殿。愿上帝与这人同在。凡剩下的人，无论寄居何处，都要用金银财宝牲畜帮助他们。另外，也要为耶路撒冷上帝的殿甘心献上礼物。”
但是回归的犹太人已面临着一种完全不同于公元前586年以前的社会形势：他们所居住的地区是一块环绕耶路撒冷的不大土地，成为波斯帝国大马士革总督统辖下的自治省。
到公元前516年，经过20年的修建，耶路撒冷重建圣殿的工程方才竣工。犹太历史上的第二圣殿时期开始。此后，耶路撒冷和巴比伦两地的犹太人仍然保持密切联系。
公元前445年，波斯宫廷内的犹太裔官员尼希米被授任犹大省省长，返回耶路撒冷，按照祭司对犹太一神教教义、教规的观点，整顿当地犹太自治社团。