公元前63年，庞培率领罗马大军征服了巴勒斯坦地区，在耶路撒冷建立起隶属罗马的傀儡政权，从此犹太人就陷入了苦难的深渊。
在罗马人的统治下，苛捐杂税繁多，处于社会最底层的奴隶们首先起来反抗，但由于起义的规模比较小，很快就被镇压下去了，大批起义者被钉在十字架上。
耶路撒冷城中有一座圣殿，那是先王所罗门即位后花费10年时间建成的，在犹太人的心目中具有至高无上的地位。罗马人攻占了耶路撒冷后，听说圣殿里有一个金库，就挥舞着刀剑蜂拥般冲进去，杀死了教士僧侣，到处寻找那个金库。可是他们一连找了三天，连金库的影子也没有找到。罗马人恼羞成怒，竟然砸碎了神殿中巨大的神龛，发现了一个神秘的洞穴。他们点上火把，小心翼翼地走了进去，灿烂夺目的黄金和各种奇珍异宝出现在他们眼前。罗马人简直快要乐晕过去了，他们发疯一般扑上去，把这里的珍宝抢了个精光。
这个消息很快就传遍了约旦河流域，犹太人被激怒了，纷纷拿起武器，组成了一支浩浩荡荡的队伍，迅速包围了耶路撒冷，全歼了罗马驻军。史称“第一次犹太战争”。
犹太人的起义使尼禄大为震怒，立刻派大将韦帕芗统领大军6万人前去征讨，却遭到了犹太起义军的顽强反抗，丝毫便宜也没有占到。公元69年，韦帕芗当上罗马帝国皇帝，又命令他的儿子第度全力进攻犹太人。公元70年4月，罗马大军把耶路撒冷城团团围住。为了保卫这座圣城，起义军民英勇战斗，付出了巨大牺牲，但最终还是没有挡住武器精良的罗马人的猛烈攻势，耶路撒冷再度被攻陷。城破之日，罗马人大开杀戒，被钉在十字架上处死的起义者不计其数，被卖为奴者达7万人之众。据说在整个犹太战争中，起义人民死难者达110万，耶路撒冷古城横遭蹂躏，圣殿被洗劫一空，七宝烛台等圣物被运往罗马。
公元131年，罗马帝国皇帝哈德良突然颁布了一条禁令，禁止犹太教徒举行割礼和阅读犹太律法，在耶路撒冷城建立罗马殖民地和罗马神庙，凡是不从者一律赶走。
很多犹太人就这样失去了家园。
面临着国家被灭，圣城被占的严重危机，犹太人忍无可忍，揭竿而起，他们头上扎着白毛巾，手里举着长枪，高呼着“耶路撒冷”的口号，向圣城进军。沿途，犹太人纷纷加入进来。当这支队伍到达耶路撒冷时，差不多有80万人之多。罗马人被这支庞大的队伍吓坏了，慌忙逃离了耶路撒冷。
公元135年，哈德良调集来大批军队，再次扑向耶路撒冷。那些梦想发财的罗马人见人就杀，耶路撒冷再次被攻陷。这次征伐历时三年，罗马人毁灭了50余座城市、近1000个村庄，屠杀的犹太人达58万，幸存者不得不背井离乡，流落到欧亚各地。