公元前64年，正当马卡比王国内部各派为争夺耶路撒冷圣殿大祭司的职位争吵不已时，早已虎视眈眈的罗马帝国伺机而动。罗马大将庞培于东征途中率领铁骑攻陷耶路撒冷，将巴勒斯坦划入罗马帝国的叙利亚行省。公元前37年，罗马人任命了新的犹太王，哈斯蒙尼王朝正式灭亡。由此马卡比王国在存在了一百多年之后终于覆灭，一度享受到独立自由的犹太民族，重新开始了他们漫长的苦难生涯。
公元6年，迦南犹太人转归罗马直接统治。罗马帝国“铁与火”的野蛮专制、横征暴敛，激起犹太人连绵不断的武装反抗。在公元前后数度掀起反抗罗马暴政的民族大起义，在历史上称为“犹太战争”。
公元66年，罗马总督弗洛鲁斯公然抢劫耶路撒冷圣殿的财宝。愤慨万千的犹太人在爱力阿沙尔等领导下，举行暴动，歼灭罗马驻军，随后，又与前来镇压的罗马军队争战数年。公元70年阿布月9日，罗马大将梯特率兵攻入耶路撒冷，第二圣殿被焚毁。
此后，圣殿再也没有重建。后来，一些犹太人在圣殿的西外墙废墟上，用原圣殿所残留的石块垒起一堵长48米、高183米的大墙，称为“西墙”。这里后来成为犹太教的重要圣地。每年阿布月9日的圣殿被毁日，来自世界各地的犹太人都要身穿民族服装，在此或虔诚祈祷，或为民族历史上的苦难哭泣。因此西墙又称为“哭墙”。
幸存的义军退守死海之滨的马萨达要塞，与围困他们的10000名罗马大军进行了持续3年的殊死抗争。公元73年4月15日逾越节这天，960名要塞守卫者及其家属以“宁为玉碎，不为瓦全”的气概，决定集体殉难。殉难前夕，起义领袖爱力阿沙尔发表了如下演说：
“我们是最先起来反抗罗马，我们是最后失去这个抗争的人。感谢上帝给了我们这个机会，当我们从容就义时，我们是自由人！明天拂晓，我们的抵抗将终止，不论敌人多么希望我们做活的俘虏，但他们没有办法阻止我们。可以自由地选择与所爱的人一起死亡，可惜的是我们不能打败他们！让我们的妻子没有受到蹂躏而死，我们的孩子没有做过奴隶而死吧！让我们把所有的财物连同整个城堡一起烧毁。但是不要烧掉粮食，让它告诉敌人：我们之死并不是缺粮，而是自始至终，我们宁可为自由而死，不为奴隶而生！”
当罗马人最后攻陷要塞时，发现守卫在那里的只剩下两个妇女和5个孩子，从此“马萨达精神”成为犹太人捍卫自由、宁死不屈的象征。现经发掘修整，马萨达要塞已成为以色列进行历史教育、举行各种仪式的圣地。以色列军队的新兵都要去该堡作入伍宣誓，誓言中有一句是“马萨达再也不会被攻陷”。
尽管罗马军队血腥镇压了犹太起义者，焚毁第二圣殿，但犹太民族反抗意志并未消失。公元118年罗马皇帝哈德良试图在其帝国疆域内强力推行文化统一，决定在耶路撒冷的废墟上重建一座罗马式城市，以罗马宙斯神庙取代被毁的犹太教圣殿，并且颁布禁止割礼的法令。此举再次点燃了犹太人的反抗烈火。
公元132年，犹太人在大卫家族后裔巴尔·科赫巴的领导下，开始了规模空前的大起义，一度占领耶路撒冷。罗马当局连忙从不列颠调派大将塞维鲁率军征伐，将耶路撒冷攻下。起义军撤退到贝塔尔要塞，一直坚持到公元135年，终因力量对比悬殊，起义最后失败，包括科赫巴在内的犹太起义军遭到罗马军队捕杀。
出于对不驯的犹太人的极端恐惧，罗马皇帝哈德良下令将耶路撒冷犁耕为田。一座名叫埃利亚卡皮托林纳的新城陡然耸立起来，犹太人不准跨入城内一步。除此之外，到处是残壁断垣，该地人口几乎被战争和随之而来的大批贩奴消耗殆尽；故都周围再无一片土地是犹太人居住的中心了。
经过数次起义，犹太人死亡150多万，幸存者几乎全部逃离耶路撒冷。从而开始了古代犹太人长达2000多年的第三次大流散。