Jofré de Borja, pare del futur papa Alexandre VI, va adquirir el lloc al voltant de1435. Ocupat des d’època islàmica, el palau degué ser construït en el segle XIV i reformat pels Borja. Roderic de Borja-Llançol, l’últim senyor Borja de la Torre, en 1506 va vendre el palau al Consell de la ciutat de Xàtiva. L’oratori de la Santa Creu és senzill, de planta rectangular i una sola nau de tres trams. En l'oratori es conserva un xicotet retaule sobre el Judici Final, atribuïda al Mestre de Borbotó de principis del segle XVI.