莱茵河前线为迎接卡利古拉举行了军事演习，随后又在罗马举行了凯旋仪式，因此，当这么大的消息传到东方的犹太地区时，似乎变成了卡利古拉征服了日耳曼民族的信息。为此欢欣鼓舞的希腊人准备搭建供奉卡利古拉的祭坛，并在此举行牲礼祭祀。

希腊人的行为深深刺激了犹太人。愤怒的犹太人如潮水般涌来，把大理石祭坛砸得粉碎。这件事当然上报给了已返回罗马的卡利古拉。

卡利古拉原本就对犹太教徒没有任何好感，接到报告后果然大发雷霆，他武断地决定必须用武力解决。卡利古拉的决定要是发生在今天，肯定非常轰动，一定是电视里的头条新闻，以及报纸上的头版头条。卡利古拉给负责治理犹太地区的叙利亚总督佩特罗尼乌斯去信，命令佩特罗尼乌斯打造一个以卡利古拉为模特儿的最高神朱庇特神像，并将这尊雕像安放在耶路撒冷大神殿中。

作为先皇提比略起用的一位行政官，佩特罗尼乌斯看到卡利古拉的命令时大惊失色。更糟的是，卡利古拉的这个命令不只是给佩特罗尼乌斯的密令，他甚至昭告天下，因此很快在犹太人中传开了。

犹太地区爆发了大规模的游行示威，而且不分男女老幼都加入了这股洪流之中，他们把行政官的宅邸围得水泄不通，要求佩特罗尼乌斯想方设法避免亵渎神明的行为发生。对于这个消息，亚历山大和安提阿等地的海外犹太人也是忧心忡忡，毕竟耶路撒冷大神殿是犹太人崇高无比、不容亵渎的“圣地”。如果放任不管，一定会引发整个犹太人聚居区的揭竿而起。

总督佩特罗尼乌斯略施小计，他密令制作神像的泰勒斯工场尽量拖延工期。面对犹太人的要求，他一言不发，只是默默点头作为回答，没有留下任何把柄。于是，游行示威和抗议活动都暂时平息了。

罗马这边，卡利古拉满心期待自己的命令尽快执行。然而他望眼欲穿，都没有接到已经在禁止偶像崇拜的犹太教大神殿里竖起他的神像的报告，甚至连神像制作好的消息也没有影子。于是，卡利古拉再次致信总督佩特罗尼乌斯：

看来你罔顾我的命令，接受了犹太人的示好。换言之，你宁愿博取他们的好感，也不愿履行你的职责。你这是不从皇命。那么，不论现在还是将来，身为皇帝的我有必要让你们清楚不从皇命的后果。因此，我认为，你自我了断最为妥当。

一言以蔽之，卡利古拉命令佩特罗尼乌斯自裁谢罪。这中间有个操作问题，按当时的条件，从罗马到安提阿需要一个月的时间。因此，当卡利古拉的命令还在地中海向东传达时，下令的卡利古拉已经被杀了。

总督佩特罗尼乌斯侥幸捡回了一条性命，罗马皇帝和犹太人之间的全面对决也因此烟消云散。然而，卡利古拉导致的罗马帝国统治上的“裂痕”，不仅仅是犹太问题。

围绕亚美尼亚王国是亲罗马还是偏向帕提亚，罗马和帕提亚的关系开始面临危机。因此，叙利亚总督佩特罗尼乌斯不得不在与帕提亚交界的幼发拉底河畔驻扎了2个军团。

北非西部的毛里塔尼亚王国70多年来一直是罗马可信赖的盟国，这个国家也因为卡利古拉的轻率行为与罗马产生嫌隙。

毛里塔尼亚王国是一个幅员辽阔的国家，大致是今天的摩洛哥与阿尔及利亚西部地区。在奥古斯都时代，即使毛里塔尼亚王国没有王位继承人，罗马帝国也与其保持着同盟关系，并没有将它纳入行省之列。奥古斯都安排败给恺撒的努米底亚末代帝王尤巴的儿子，与马克·安东尼和克娄巴特拉的女儿结婚，并让他们统治毛里塔尼亚。到卡利古拉时代，毛里塔尼亚的国王是这两个人的后代，他的外祖父是马克·安东尼，也即卡利古拉的外曾祖父。卡利古拉继承皇位之后，无法忍受有着血缘关系的托勒密乌斯担任友好国家兼盟国的统治者，实际上就是藩属国的国王。卡利古拉把托勒密乌斯召到罗马之后立即处死，并宣布要把毛里塔尼亚变成罗马行省。为了反抗这一举动，毛里塔尼亚人掀起了反罗马运动。通常而言，治理帝国难免会发生一些问题，可是就连罗马人历来很放心的毛里塔尼亚也问题丛生。

卡利古拉的执政不仅仅让国库濒临崩溃，而且在外交方面也是困难重重。