La Piazza degli Olmi può essere considerata ai fini difensivi una sorta di cortile fortificato esterno. Il piazzale ha preso questo nome per la presenza di alcuni Olmi che un tempo ombreggiavano quest’area, l’ultimo dei quali fu rimosso verso gli inizi del XX secolo perché completamente secco. In epoca medievale, questa piazza era utilizzata per attività civili e di servizio: qui si svolgevano scambi, incontri e momenti di socialità tra gli abitanti del castello e del borgo. Nella piazza ci sono alcuni pozzi che il Pantanelli ipotizza servissero per riporre il grano.
Durante il Rinascimento, con la trasformazione del castello in residenza nobiliare, la piazza mantenne la sua funzione di spazio aperto, ma divenne anche luogo di rappresentanza, ornato da elementi decorativi come capitelli provenienti da varie parti del castello e utilizzato per accogliere ospiti illustri.