Egipto era un lugar montañoso y boscoso, quedaba afueras de la entonces ciudad de Santafé (hoy Bogotá), en ese lugar caían rayos y fuertes tormentas que causaban diferentes reacciones de temor y pánicos de sus habitantes, tanto españoles como muiscas; es por ello que decidieron las autoridades eclesiásticas y civiles en clavar una cruz de hierro, según dicen algunos, en el año 1556.
La periferia de la ciudad de Santafé creció en el siglo XVII hacia la zona de la cruz, donde se construyeron las primeras casas de paja y adobe, dichas residencias rudimentarias formaron parte de la primera parroquia: La Catedral. El padre agustiniano Jerónimo de Guevara y Troya, tras ver que las parroquias como La Catedral, Las Nieves, Santa Bárbara y San Victorino no tenían cabida para la realización de misas hacia aquellos pobladores en condición de pobreza, los primeros mestizos, los indígenas de los lugares aledaños del antiguo pueblo de Teusaquillo y de los primeros campesinos que iban a la ciudad para vender sus productos, además de realizar las primeras fiestas anuales, dedicadas a la Santa Cruz del 3 de mayo; decidió crear una ermita en la zona donde estaba su humilde casa al frente de la cruz de hierro, por ello solicitó permiso al párroco de La Catedral y éste al arzobispo Cristóbal de Torres para su aprobación en el año 1651; mediante documento escrito a mano, pidiendo formalmente que fuera erigida el lugar del Patio de los Naranjos de su propia residencia, la ermita dedicada a la Virgen María, al esposo putativo San José y al Niño Jesús, en su destierro y huida a Egipto.
Tanto la arquidiócesis de Santafé como la parroquia de la Catedral dieron el visto bueno a la solicitud y la ermita quedó con el nombre de Nuestra Señora del Destierro y Huida a Egipto de los extramuros de la ciudad de Santafé. Con ello, el padre Guevara decidió agilizar la construcción de la primera ermita, que, a pesar de su avanzada edad, confirió en manos de Agustín Rodríguez de Zamora, con los escasos recursos que recibían de las donaciones que daban, tanto de la parroquia de la Catedral y de la arquidiócesis de Santafé, como de la caridad que aportaban fielmente los primeros vecinos y visitantes del lugar. Una de las primeras imágenes en escultura era la figura de la Sagrada Familia, de yeso y madera, hecha en uno de los primeros talleres escultóricos de Santafé que después iba a ser consagrado por parte del arzobispado, para dar indulgencias a los feligreses de la ermita en visitar y venerar la imagen. Las fiestas patronales de la ermita se hacían el día 12 de enero, seguramente de ahí se dio origen a los primeros inicios de las famosas Fiestas de Egipto en la época colonial española.
La ermita fue terminada, recibiendo donaciones de pinturas y óleos de artistas como Baltazar Figueroa, Gregorio Vásquez de Arce y Ceballos y del taller europeo de Pedro Pablo Rubens; la mayoría de ellas eran escenas de la Virgen María, del nacimiento del Niño Jesús y de los diferentes santos venerados y reconocidos de aquella época, entre ellas la imagen de Santa Orosia.
Las chozas edificadas alrededor de la ermita eran puntos de descanso para aquellos feligreses que iban en ascenso hacia otras ermitas como Guadalupe y La Peña, teniendo en cuenta con la tradición muisca de visitar a santuarios para rendirles culto.
A finales del siglo XVII, un grupo de frailes religiosos de la orden de Nuestra Señora de La Merced encabezados por el procurador Buenaventura de Poza, acordaron con el maestro Pedro Peláez Sotelo, encargado de ese tiempo de la ermita, para que ellos se asentaran, manejaran y convirtieran a la ermita como convento. Dicho acuerdo surtió efecto para la comunidad de religiosos en casi 10 años; sin embargo por una investigación del monarca español, los religiosos de La Merced reportaron en el documento Auto del proceso de expulsión que se hizo en la ciudad de Santafé, del Nuevo Reino de Granada, de la ermita y bienes de Nuestra Señora de Egipto que se le quitaron al padre procurador de la orden de la Merced Buenaventura de Poza en 1689; dejando la ermita en manos del linaje de los Garnica a comienzos del siglo XVIII.
A la vez, el Sumo Pontífice Inocencio XII expidió una bula papal en 1688, para que la ermita fuera visitada y venerada con la imagen de la Sagrada Familia y crear la Hermandad de la Bienaventurada Virgen de Egipto, para cumplir con lo establecido en la Bula de la Santa Cruzada.
Llegando al año 1736, el arzobispo de Santafé Antonio Claudio Álvarez de Quiñones erigió a la ermita de Egipto como capellanía, para cumplir con el testamento del padre Guevara y Troya, y continuar con las aplicaciones de las indulgencias establecidas por la Santa Sede. Sin embargo, la edificación sufrió de fuertes sismos en el siglo XVIII y era reparado con los escasos recursos que tenía la capellanía.
Años después de la institución del virreinato del Nuevo Reino de Granada, en 1757, el virrey José Solís Foch de Cardona, conocido en ese tiempo por ser uno de los pocos virreyes carismáticos y piadosos, estableció construcciones de infraestructura para beneficio de la ciudad de Santafé, como la construcción del Acueducto de Aguanueva y el paseo empedrado con el mismo nombre hacia el acueducto, pasando de subida por la ermita de Egipto, dichos lugares fueron visitados oficialmente por la misma autoridad virreinal, para inaugurarlos e inspeccionarlos.
Teniendo en cuenta con los reportes del arzobispado de Santafé sobre la capellanía y por los 100 años de funcionamiento de la ermita, el papa Clemente XIII estableció la siguiente bula papal en el año de 1759, para conceder más indulgencias a los feligreses, pero esa vez será de manera de jubileo permanente en un período de 15 años, contados a partir del 16 de agosto de 1776. Para cumplirla, el capellán Pedro José del Gadillo y Garnica creó la Novena Devotísima a Nuestra Señora del Destierro y Huida a Egipto y realizarla en los 9 días anteriores del 6 de enero, día de los Santos Reyes Magos, que sería la fecha indicada para continuar con las fiestas patronales de Nuestra Señora de Egipto que fueron de tres días seguidos. Dicha novena fue impresa oficialmente en 1789.
Las denominadas Fiestas de Egipto de finales del siglo XVIII y comienzos del siglo XIX eran atractivas por los vecinos pobres y humildes, entre indígenas artesanos, mestizos, pulperos, chicheros, aguadoras y campesinos de lugares cercanos. Toda fiesta de esa época comenzaba con las procesiones de los feligreses, llevando imágenes de santos por los lados de la ermita, luego se realizaba la misa del medio día, adentro de la ermita; dicha celebración eucarística era de carácter costumbrista con coro de niños, tocando instrumentos como bandolas, flautas y panderetas; después en la plazoleta se instalaban toldos para la venta de comida y bebida, la más reconocida era la chicha, a pesar de los tres intentos de las autoridades eclesiásticas y civiles para prohibir su venta; después, se realizaban los juegos de azar, como: bisbís, oca, lotería, batea, trompito, entre otros; que no eran bien vistos por las autoridades civiles españolas por considerarlas que eran gérmenes de disputas y reyertas entre los vecinos del arrabal de Egipto; por último, la pólvora era el ingrediente final con los juegos pirotécnicos, por cortesía de algunos alféreces del ejército español. Cabe destacar que la parte religiosa de las fiestas la realizaba la Capellanía de Egipto, mientras la parte de gastronomía, bebidas, bailes y juegos de azar eran efectuados por los vecinos de la ermita.
Pero no todos iban a las Fiestas de Egipto. En esos tiempos, los españoles con gran poder no estaban interesados en asistir a las fiestas patronales, ya que para ellos eran más importantes la Semana Santa, el Corpus Christi, la Jura del Rey, los cumpleaños de la familia real y de la familia virreinal, y las fiestas de Navidad. Para el 6 de enero, esa población solo asistía de paseo por los pueblos aledaños.