En el siglo XVI, bajo el pontificado de Clemente VIII, la Cámara Apostólica tomó posesión de Castel Gandolfo y Urbano VIII eligió este lugar como residencia estival. Cuatro siglos después, el Papa Francisco decidió abrir al público la tradicional residencia veraniega de los pontífices.
En torno al año 1200 fue construido el castillo de la familia genovesa de los Gandolfos: una fortaleza cuadrada, erigida en lo alto de una colina, con altos muros y un pequeño patio, rodeada por una potente defensa que la hacía casi inaccesible. Después de algunos años, pasó a ser propiedad de los Savelli, que la poseyeron durante casi tres siglos.
En julio de 1596, bajo el pontificado de Clemente VIII, la Cámara Apostólica tomó posesión de Castel Gandolfo y de Roca Priora mediante la bula Congregazione dei Baroni, como fianza por el pago de una deuda de 150.000 escudos contraída por los Savelli. Más tarde, al pagarse una parte de la deuda, Roca Priora fue devuelta a los Savelli, mientras que Castel Gandolfo fue declarado patrimonio inalienable de la Santa Sede, quedando incorporado definitivamente al dominio temporal de la Iglesia, con decreto consistorial del 27 mayo de 1604.
Una vez elegido Papa, Urbano VIII eligió Castel Gandolfo como residencia estival, decidiendo acondicionar la antigua fortaleza de los Gandolfi-Savelli para “que los Papas tuvieran la comodidad de residir en los propios palacios, no pareciéndole conveniente valerse de las casas de los demás”, según refiere su biógrafo, Andrea Nicoletti.
Su sucesor, Inocencio X no fue nunca a Castel Gandolfo en sus diez años de pontificado y raramente se alejó de Roma. No fue así con Alejandro VII, el cual residió regularmente en Castel Gandolfo dos veces al año, en primavera y en otoño, durante períodos variables de 20 a 30 días.
En los 44 años siguientes, sin embargo, ninguno de sus sucesores cambió la residencia de Roma por la estival de Castel Gandolfo. Unicamente Inocencio XII pernoctó en Castel Gandolfo el 27 de abril de 1697, con ocasión de su viaje a Anzio y Neptuno, saliendo al día siguiente. Había llegado a la plaza en una noche de niebla y lluvia por lo que encontró el lugar tan molesto que no quiso regresar.
Clemente XI pasó los primeros nueve años de su pontificado sin alejarse nunca de Roma. Tras una grave enfermedad en el verano de 1709, en mayo del año siguiente fue a Castel Gandolfo por consejo de los médicos, y vistos los buenos resultados, regresó durante seis años seguidos hasta 1715. Durante su primera estancia en esta residencia, firmó un Rescripto con el que se confería a Castel Gandolfo el título de “Villa Pontificia”.
Durante 25 años, la Villa pontificia no fue visitada por los sucesores de Clemente XI, y, en junio de 1741, el Palacio se volvió a abrir para acoger al Papa Benedicto XIV, elegido en el verano del año anterior. Fue uno de los pontífices más ligados al lugar.
Clemente XIII visitó Castel Gandolfo a partir del año siguiente. El cambio de aires que los médicos le habían aconsejado le fue tan benéfico que durante otros seis años, hasta 1765, pasó períodos de hasta un mes. Sólo en los últimos tres años, las crecientes preocupaciones de su pontificado le impidieron ir como habría deseado.
Su sucesor, Clemente XIV, ocupó el solio pontificio durante poco más de cinco años y más de cinco veces, en el otoño de cada año, pasaba sus vacaciones en Castel Gandolfo. En 1773 amplió la residencia pontificia con la compra de la anexa Villa Cybo.
Pio VI, elegido en 1775, no se alojó nunca en la residencia estival en todo el largo pontificado que duró un cuarto de siglo. El 27 febrero de 1798, tuvo lugar el sangriento combate de los habitantes de los Castillos Romanos que permanecieron fieles al Papa contra las tropas de Joaquín Murat. Los insurrectos, después de haber combatido hasta el extremo, se refugiaron en el Palacio pontificio que fue abatido a cañonazos y saqueado por los franceses.
El 14 de marzo del 1800 fue elegido en Venecia Pio VII, quien, en 1803, reabrió el Palacio de Castel Gandolfo, después de haber realizado las obras de restauración y acondicionamiento necesarias. Regresó en 1804 y 1805 hasta que la desventura napoleónica, primero con la invasión de los Estados Pontificios, y después con la prisión del Papa, hizo nuevamente imposible la estancia.
El Papa León XII estuvo en Castel Gandolfo un solo día, el 21 de octubre de 1824, huésped de los Capuchinos de Albano. Aunque visitó la Iglesia de la plaza, no puso los pies en la residencia pontificia por no resultarle simpática. Ni siquiera su sucesor, Pio VIII, en su breve pontificado de 20 meses, fue a esta residencia.
En 1831 fue elegido Papa Gregorio XVI. Sus vacaciones en Castel Gandolfo, casi siempre en octubre, fueron asiduas y estuvieron marcadas por su estilo simple de monje camaldulense.
Pío IX residió en Castel Gandolfo a temporadas breves e intermitentes en estaciones diversas. En esta residencia concedía audiencia con una prodigalidad nunca usada por sus predecesores y, en los últimos años, debido a la creciente facilidad de los viajes, la ciudadela veía llegar también grupos numerosos de peregrinos extranjeros.
En 1870, con el fin del Estado Pontificio, comenzó para la residencia papal de Castel Gandolfo un largo período de abandono que duró sesenta años. Únicamente después de los Pactos Lateranenses entre la Santa Sede e Italia, que ponían fin a la espinosa “Cuestión romana”, Castel Gandolfo volvió a ser la residencia estival de los Papas. Pío XI puede ser considerado el primer Papa de los tiempos modernos que haya residido en Castel Gandolfo.
Pío XII visitó Castel Gandolfo en su primer año de pontificado. Desde allí, el 24 de agosto de 1939, hizo por radio un último llamamiento a las naciones para evitar el conflicto: “El peligro es inminente pero todavía hay tiempo. Nada está perdido con la paz. Todo puede serlo con la guerra”. El Papa, comprometido en una incansable obra de paz, no regresó a Castel Gandolfo durante el período de guerra, y la residencia se convirtió en punto de referencia y de asilo seguro para la población local.
Tras la sucesos posteriores al 8 de septiembre de 1943, las poblaciones de Castel Gandolfo y de los pueblos vecinos, llenas de pánico, se refugiaron en las Villas Pontificias que gozaban del privilegio de la extraterritorialidad, hasta que volvió la calma.
El 22 de enero de 1944, tras el desembarque de Anzio, habiéndose convertido toda la zona en un frente de guerra, los habitantes de Castelgandolfo y de los alrededores corrieron de nuevo a las puertas de las Villas: se calcula que hasta doce mil personas encontraron refugio en aquel triste período, y allí permanecieron hasta la liberación de Roma, el 4 de junio. El apartamento papal fue reservado a las madres que estaban a punto de dar a luz, de modo que en aquellos meses pudieron nacer unos cuarenta niños.
El 22 de agosto de 1946, el Papa reemprendió su estancia veraniega en Castel Gandolfo, que continuó regularmente cada año hasta 1958 con períodos de hasta cinco meses. Fue precisamente en Castel Gandolfo donde, al alba del 9 de octubre de 1958, concluía su peregrinación en la tierra.
El 28 de octubre fue elegido Juan XXIII quien, pocos días después, visitó Castel Gandolfo. El Papa Juan XXIII instauró dos tradiciones en este lugar: el rezo del Angelus en la mañana del domingo, en el patio del Palacio, y la Santa Misa en la parroquia con ocasión de la fiesta de la Asunción.
Pablo VI, algunas semanas después de su elección, fue a Castel Gandolfo para su estancia veraniega. Allí regresó anualmente, de mediados de julio a mediados de septiembre. En el ángelus del 13 de agosto de 1972, describió cómo transcurría allí su jornada: “También Nos gozamos un poco de este don que el Señor nos regala. Respiramos este aire saludable, admiramos la belleza de este marco natural, saboreamos el encanto de su luz y silencio y también buscamos un poco de descanso para nuestras pobres fuerzas que son cada vez más escasas y ahora también un poco cansadas….”.
El 14 de julio de 1978, se desplazó hasta Castel Gandolfo esperando, como cada año, que el aire saludable le hiciera recobrar nuevas fuerzas, pero, el domingo 6 de agosto, a causa de un aumento de fiebre, no pudo asomarse al balcón del Palacio para el rezo del ángelus, y, por la tarde, entregaba su alma a Dios.
Juan Pablo I, elegido el 26 de agosto de 1978, no tuvo posibilidad de ir a Castel Gandolfo durante su breve pontificado que apenas duró 33 días.
En la tarde del domingo 8 de octubre, el cardenal Karol Wojtyla, arzobispo de Cracovia, presente en Roma para el cónclave, visitó las Villas Pontificias para pasar allí un momento de tranquilidad. Ocho días después, en la tarde del 16 de octubre de 1978, los romanos y peregrinos llegados a la Plaza de San Pedro tras la fumata blanca, le aclamaban como el primer Papa polaco de la historia que asumía el nombre de Juan Pablo II. El Pontífice no se hizo esperar en Castel Gandolfo y visitó la ciudadela la tarde del 25 de octubre.
Su sucesor, Benedicto XVI también decidió utilizar Castel Gandolfo como residencia estival y allí rezaba, leía, tocaba el piano y caminaba al aire libre. Y a este lugar decidió dirigirse tras renunciar al ministerio de obispo de Roma, sucesor de San Pedro, en febrero de 2013.
El Papa Francisco, por su parte, ha decidido renunciar a utilizar Castel Gandolfo como residencia en verano. En una rueda de prensa en el vuelo de Corea a Roma en el año 2014, Francisco afirmó que la última vez que salió de vacaciones fuera de su ciudad fue en 1975. «Desde entonces, siempre me tomo vacaciones –¡de verdad!–, pero en el hábitat: cambio de ritmo. Duermo más, leo lo que me gusta, escucho música, rezo más… Y así descanso», explicó a los periodistas.
Francisco acudió a Castel Gandolfo poco después de su elección como pontífice para mantener un encuentro con el papa emérito Benedicto XVI.
En marzo de 2015, InfoVaticana anticipó la decisión de Francisco de abrir al público el palacio y convertir la tradicional residencia veraniega de los papas en un museo. Desde octubre de 2016, se puede acceder a las habitaciones privadas de Castel Gandolfo, además de poder visitar distintos espacios del palacio y los jardines.