기원후 70년에 예루살렘이 로마에 의해 멸망하고, 132년 바르 코크바 반란 직후 팔레스타인은 더 이상 유대인의 땅이 아니었다. 325년 니케아 종교 회의는 기독교를 로마 제국의 국교로 받아들였다. 콘스탄티누스 대제의 통치를 시작으로 팔레스타인은 '성지(Terra Sancta)'로 변해 갔다. 상대적으로 유대인들의 지위는 제한되기 시작하였다. 콘스탄티누스 대제의 가장 큰 관심은 예수의 무덤이 있던 장소였다. 335년 그는 주피터 신전이 서 있던 곳에서 거룩한 '구원의 동굴'을 발견하고 거기에 바실리카를 지었다. 아울러 황제의 모친 헬레나는 베들레헴의 예수 탄생 마구간 동굴 위에 예수 탄생 교회와 예루살렘의 예수의 무덤 위에 아나스타시스, 즉 '부활'이라는 이름의 둥근 지붕의 성당을 세웠다.
순례자들의 발길이 줄을 이으며 번영해 가는 기독교의 팔레스타인에 비해 유대인의 예루살렘은 상대적으로 초라하기 이를 데 없었다. 4세기 말 베들레헴에 살던 성 제롬은 파괴된 예루살렘의 성전 터에 모여 슬픔에 잠긴 채 눈물 섞인 기도를 하는 유대인에 관하여 다음과 같이 묘사하였다. 하나님의 종, 하나님 자신의 아들을 가장 지독하게 죽인 이 믿음 없는 백성에게 예루살렘 출입을 금지하는 것은 정당하다. 울기 위해 들어가는 것을 제외하곤 말이다.
눈물로써, 그들의 눈물값이 얼마 되지는 않지만, 그리스도의 피값을 지불하도록 놔 둬라. 당신의 눈으로 예루살렘이 로마에 의해 포위되고 파괴되던 날(의 기념일)을 볼 수 있다(Jerome. on Zephania I. 15~16).
337년, 콘스탄티누스 대제가 서거하자 후계자를 놓고 아리안과 정통파 간의 정치적 갈등과 더불어 종교적 대립이 생겨났다. 급기야 콘스탄티누스 대제의 조카이자 신플라톤주의자인 율리아누스 황제가 이방 제의를 복원하면서 예루살렘에 유대인의 성전을 재건할 계획을 세웠다. 유대인은 대대적으로 이를 환영하였으나, 기독교인은 이를 황제의 기독교에 대한 공격으로 간주하였다. 363년 율리아누스 황제가 유대인을 위해 성전 공사를 착공하였으나, 이 공사는 천재지변(지진)으로 즉각 중단되고 황제는 수 주일 후 원정에 나갔다가 갑작스럽게 사망하고 말았다. 이 사건은 기독교와 유대교의 논쟁에 종지부를 찍고, 기독교의 합법성을 결정짓는 계기가 되었다.
예루살렘의 매력은 힘을 더해 갔다. 올리브 산 정상에 임보몬, 즉 승천 교회가 세워졌다. 거대한 돔 지붕의 교회였다. 주교의 관구가 자리하고 있는 '거룩한 시온'에도 최후의 만찬을 기념하여 교회를 세웠다. 키드론 골짜기에 세워진 겟세마네 교회는 예수의 마지막 기도에서 흘린 피땀을 기념하고 있다. 솔로몬과 헤롯이 건설한 예루살렘은 파괴되고, 그 위에 새 예루살렘이 건설되었다.
339년, 콘스탄티누스 2세는 유대인과 기독교인들 사이의 결혼을 금하였으며, 유대인의 경제 활동, 특히 농업 생산에 많은 제약을 가하였다. 유대인의 법적 지위는 차차 제약을 받게 되었는데, 이는 기독교가 반유대적 신학을 설교하고, 그 교리를 정립시켜 가는 과정에서 얻게 된 하나의 결과였다. 386년 수도승 요한이 예루살렘의 주교가 되면서 그리스도를 거부한 유대교는 성전과 도시를 빼앗겼으며, 버려진 성전 뜰은 불신앙의 증거로써 이제 교회가 성서의 진정한 상속자가 되었다는 것을 뒷받침해 주었다.
410년, 서고트족에게 패한 로마가 '바바리안(야만인)'의 지배하에 들어가자 비잔티움 제국만이 홀로 교회의 옹호자로 남게 되면서 로마 사람들이 팔레스타인으로 떼지어 몰려들었다. 자연스럽게 성지는 기독교인의 수용처가 되었다. 동방 교회 내에서 여러 종파 간에 그리스도의 인성(人性)과 신성(神性) 문제 등 신학적 논쟁과 종교적 갈등에 휩싸인 동안에도 팔레스타인의 지위는 견고해져 갔다. 급기야 451년에 열린 칼케돈 공의회에서 예루살렘은 총대교구로 승격되었다.
5세기 초, 테오도시우스 2세가 통치하는 동안 교회는 빠른 속도로 그 세력을 확장해 나갔으며, 각종 법령과 행정력으로 교회의 영향력은 커 갔다. 특히, 팔레스타인에 기독교인의 인구가 급격히 증가하면서 중흥기를 맞이하였다. 테오도시우스 황제의 아내이자 아테네 수사학자의 딸 아테나이스(그녀의 세례명은 유도시아였다.)는 예루살렘으로 올라와 빌라투스 법정 자리에 성 소피아 교회를, 가야바 궁 자리에 성 베드로 교회를, 그리고 세례자 성 요한의 교회와 히스기야 터널 옆 연못 근처에 실로암 교회 등 많은 기념 교회를 건축하면서 예루살렘의 얼굴을 크게 바꾸어 놓았다.
6세기 게르만족의 침공은 비잔티움 제국을 피로하게 만들었다. 527년 황제로 등극한 유스티니아누스는 반달족으로부터 북아프리카를, 그리고 고트족으로부터 이탈리아를 되찾았다. 그는 비잔티움을 지중해 세계의 단결을 회복하기 위한 중심으로 만든다는 거대한 프로젝트를 구상하였다. 콘스탄티노플의 성 소피아 성당은 이때 건설되었다.
팔레스타인에서 유스티니아누스 황제의 통치는 529년에 일어난 사마리아 사람들의 반란으로 막을 열었다. 이 반란은 과도한 세금의 부과로 인하여 밑바닥에 깔려 있던 종교적 차별에 대한 감정이 폭발하면서 일어났다. 냉혹한 군사적 진압은 문제를 해결하기는커녕 더욱 어렵게 만들었다. 교회는 황제에게 문제의 본질을 보고하고 중재에 나섰다. 예루살렘의 주교 베드로는 사마리아로 조사 여행을 떠났으며, 성 사바(Saint Saba)는 세금을 감면해 주는 조처를 취해 달라는 요청을 위해 콘스탄티노플을 향해 떠났다.
황제는 성 사바의 세금 감면 건의를 받아들였을 뿐만 아니라, 순례자들을 위한 병원을 짓고, 교회를 후원해 달라는 요구도 수용하였다. 유스티니아누스 황제의 교회에 대한 열정은 예루살렘에는 물론 콘스탄티노플, 라벤나, 베들레헴 등에 아낌없이 큰 교회를 지어 줌으로써 결실을 보았다. 예루살렘에는 성 사바가 요청한 200여 개의 침상을 갖춘 병원과 주교 베드로의 감독하에 건축가 테오도시우스가 설계한 '성 마리아, 하나님의 어머니, 영원한 처녀' 교회와 걸작품인 새 교회(Nea Church)가 봉헌되었다.
이 시기의 가장 중요한 혁신적인 조처 중의 하나는 유대법, 즉 토라를 국가법과 동등한 규정으로 적용시킨 것과 기독교 내의 각종 제도를 유대교의 제도들로부터 분리시켜 나간 것이었다. 나아가 성서 해석에 있어서도 유대교적인 전통과 관점으로부터 떠나 기독교적인 방식에 의해 성서를 해석해 나갔다. 이를 위해 유대인의 성서 해석서인 미쉬나를 금서로 지정하기도 하였는데, 미쉬나는 하늘의 하나님의 말씀이 아닌 지상의 인간의 작품이며, 유대 랍비들의 해석은 성서의 가치를 모두 부인하고 있기 때문이었다.
교황 그레고리 1세는 유대인을 기독교인과 맞서 하나님의 선택권을 놓고 싸우는 관계로 규정하였다. 그는 욥기를 해석하면서 유대인의 고집스러운 태도를 비판하였다. 황제는 유대인들이 메시아를 거부하고 예수를 십자가에 못 박은 일을 반복적으로 강조하면서, 하나님의 선택과 약속이 유대교로부터 기독교로 옮겨 오게 되었다고 주장하였다. 유대인은 에서요, 이방인이었던 기독교인은 야곱이었다. 동시대의 교부들 역시 이러한 관점에서 기독교와 유대교의 궁극적인 차이를 주장하였다. 황제는 이러한 신학적 입장에서 유대인들의 행동을 제약하였다. 유대인이 회당을 새로 짓는 일을 금하였으며, 기독교인이 되지 않은 유대인들을 법으로 차별하였다.
비잔티움 시대의 유대인들은 다른 어떤 제국의 통치 기간과 마찬가지로 독립을 쟁취하기 위해 투쟁하였다. 614년, 페르시아가 팔레스타인의 변방에까지 이르자, 과거 바빌로니아에서 페르시아의 고레스로부터 얻은 유대인의 해방과 같은 갑작스러운 구원을 기대하며, 극적인 메시아적 구원에 대한 흥분을 가라앉히지 못하였다. 페르시아가 팔레스타인에 이르렀을 때, 유다의 남은 자들은 페르시아와 연합하여 기독교인들과 맞서 싸웠다. 유대인들은 갈릴리로부터 가이사랴, 룻다를 거쳐서 614년 5월에 예루살렘에 입성하여 성을 정복하였다.
예루살렘을 정복한 페르시아는 마기(Magi) 승족의 명령에 따라 콘스탄티누스와 헬레나와 유도시아와 유스티니아누스의 예루살렘 교회에 불을 질러 파괴하고, 유대인의 협조를 얻어 닥치는 대로 사제와 수도자들을 살해하였으며 기독교인을 추방하였다. 이때 유다 광야에 세워진 마르 사바(Mar Saba) 같은 수도원이 불탔고, 여러 수도원에 머물던 수천 명의 수도사들이 화형에 처해지기도 하였다.
페르시아의 지원을 얻어 예루살렘에 새로 시작된 유대인 공동체의 지도자는 느헤미야 벤 후시엘과 에브라임 벤 요셉이었다. 그들은 예루살렘 성전에서 희생 제사를 재개하였다. 그러나 이러한 페르시아의 친유대 정책은 3년이 채 못 되어, 617년에 역전되어 친기독교, 반유대인 정책으로 돌아서면서 유대인의 지도자들이 처형되었고, 유대인의 지위는 예전처럼 돌아갔다.
622년, 갑바도키아 출신의 비잔티움 황제 헤라클리우스는 군대를 강화하여 페르시아 정벌에 나서, 엑바타나 전투에서 승기를 잡고 페르시아로부터 빼앗겼던 영토를 되돌려받았다. 629년, 비잔티움 황제가 예루살렘에 입성하여 기독교의 예루살렘을 복원시켰다. 여러 교회들이 보수되거나 복구가 진행되었으나, 614년 이전의 예루살렘과는 비교할 수 없을 만큼 초라한 것이었다.
그는 팔레스타인의 유대인들에게 어느 정도의 관대한 조치를 취하였으나, 얼마 후 성직자들의 강요로 깨지고 말았다. 또, 성직자들이 황제의 위증죄에 대한 책임을 강요하게 되면서, 결국 유대인을 예루살렘과 그 주변으로부터 추방하였다. 교회는 유대인을 이집트와 주변 사막으로 추방하였으며, 이에 맞서는 유대인들을 처형하기도 하였다. 또, 이러한 박해와 더불어 교회는 유대인을 강제로 개종시키려는 공적인 운동을 전개하기도 하였다. 적어도 기독교 제국 내의 유대인들은 기독교의 신앙을 거부한 구약 성서의 수호자이며, 하나님으로부터 버림받은 자들이었다.
비잔티움 제국과 페르시아 간의 갈등이 계속되면서, 아라비아에서 새롭게 일어난 '젊은 힘'에 대항할 수 없을 만큼 이 두 세력은 지쳐서 그 힘을 잃어 갔다. 즉, 유대인과 기독교인 사이의 갈등은 640년에 팔레스타인의 새 주인으로 떠오른 아랍의 등장과 함께 종말을 고하고, 팔레스타인은 이제 수 세기 동안 새로운 '악한 왕국'의 지배를 받게 되었다. 아랍의 등장과 함께 이슬람과 기독교의 갈등이 시작되었으며, 같은 뿌리를 가진 세 종교와 민족들의 갈등은 팔레스타인을 새로운 국면으로 치닫게 하였다. 이 시기에 있어서 가장 확실한 변화는, 이제 더 이상 팔레스타인이 유대인의 삶의 중심지가 아니었다는 사실이었다.
