耶路撒冷拥有几所声望很高的大学，它们都使用以色列最常用的三种语言：希伯来语、阿拉伯语和英语进行教学。耶路撒冷希伯来大学成立于1925年，今天仍是耶路撒冷和以色列学科最全的大学。该校最初的董事会由一些杰出的犹太知识分子组成，包括一些世界知名的科学家——阿尔伯特·爱因斯坦和西格蒙德·弗洛伊德。这所大学已经产生了许多诺贝尔奖得主，新近的与该校有关的诺贝尔奖得主有阿夫拉姆·赫什科(Avram Hershko)戴维·格娄斯和丹尼尔·卡尼曼(Daniel Kahneman)。这所大学最大的资产之一是犹太国家及大学图书馆，拥有超过500万册藏书。它的图书馆早在建校30多年前的1892年就已经运作，今天是世界最大的犹太文献资源之一、以色列的国家图书馆、大学的中心图书馆。

耶路撒冷大学是耶路撒冷附近另一个重要的高等教育机构，它成立较晚(1984年)这所大学是该地区阿拉伯和巴勒斯坦人的最高学府，自称是耶路撒冷唯一的阿拉伯大学。耶路撒冷大学位于城市的东南，校园面积有19万平方米耶路撒冷的其他大学还有2所与耶路撒冷希伯莱大学有关的艺术学院：耶路撒冷音乐与舞蹈学院和比撒列艺术设计学院。

耶路撒冷理工学院成立于1969年，开设工程与其他高科技产业，也进行犹太教育。耶路撒冷的许多学校—从大学到小学 —都进行宗教教育。耶希瓦和其他犹太学校遍及全市，起源于白俄罗斯的米尔耶希瓦(ישיבת מיר，Mir yeshiva)是以色列全国规模最大的一所学校。2003–2004学年，有将近8000名12年级学生在希伯来语学校。不过，由于大量人口就读于犹太教正统派学校，只有55%的学生能通过高考(Bagrut)，只有37%能大学毕业。与公立学校不同，大多数正统派学校不让学生进行标准化测验。

耶路撒冷和以色列大部分地方的巴勒斯坦人学校被批评质量低于犹太人学校。阿拉伯人聚集的东耶路撒冷，许多学校人满为患，学生超过四五千人，无法进行合理的教育。由于公立学校的巴勒斯坦学生需要通过Bagrut考试，他们很多课程与以色列人学校同轨。因此，重点放在犹太教上，即使大多巴勒斯坦学生并不接受这种宗教。