Dal viale d’ingresso si accede al chiostro da un vano con arco a tutto sesto poggiante su due colonne con capitelli. Al di sopra si apre una finestra rettangolare risalente ai rifacimenti cinquecenteschi subiti; unica visibile e probabilmente funzionale ad un vano intermedio all’interno del chiostro che collegava gli ambienti esistenti parte all’interno del chiostro e parte all’esterno fra il chiostro e la torre maggiore.
L’arco ogivale decorato, presente di fianco a quello d’ingresso, probabilmente fungeva da ingresso originario al chiostro stesso. L’ipotesi che possa essere stato chiuso durante i lavori per la realizzazione degli ambienti ammezzati soprastanti è più che probabile.
Il chiostro, si sviluppa su tre bracci ad U. Molte delle decorazioni che impreziosivano l’architettura sono andate perse. Sul lato centrale restano trentasei colonnine binate, mentre, sul lato a destra dell’ingresso, due archi con sei colonnine binate. Nella parte inferiore si susseguono, per ogni lato, tre arcate ogivali sormontate da un loggiato di colonnine binate decorate con intrecci e annodamenti a foglie. Il livello superiore, con tre oculi per lato, è decorato da un fregio di colonnine tortili binate in terracotta.
Il quarto lato del chiostro è del tutto mancante. I crolli parziali che lo hanno interessato sono ragionevolmente da addebitarsi all’abbandono e al degrado, e non a calamità naturali. Ai piedi del chiostro e addossati ad esso, nel XVIII secolo, furono edificati dei ‘pilastroni’ per sorreggere le nuove edificazioni di volumi.
All’ingresso del chiostro, in basso a destra, incastonato nella muratura vi è una scena su marmo di un animale feroce che azzanna una preda. Non si conosce la provenienza della decorazione, ma la scena ricorda i fregi dei palazzi orientali dei signori assiri.

Curiosità
Il chiostro di Villa Rufolo insieme al panorama dai giardini con le due cupole ed il pino sono i posti più fotografati della Villa.
Durante i primi interventi di restauro curati dalla Direzione della Fondazione Ravello, sono stati rimossi dalle pareti interne circa 7 Kg di chiodi di varia misura e fattezza, testimoni dell’uso indiscriminato del luogo simbolo di Villa Rufolo.