Il complesso trova le sue origini nel palazzo proprietà di Gio Battista Grimaldi, Doge della Serenissima Repubblica di Genova dal 1752 al 1754.
Il primo giardino risulta essere un’innovazione della Marchesa Clelia Durazzo moglie di Giuseppe Grimaldi. La marchesa, nota botanica di fama internazionale, fece realizzare non un giardino semplicemente decorativo ma un ampio giardino impreziosito da numerose piante rare di remota provenienza. L’attuale Orto Botanico, attraverso l’intitolazione alla Marchesa Clelia Durazzo ricorda l’illustre studiosa e nel contempo preserva il lavoro da lei compiuto. Non tutti i suoi studi sono però riconducibili al solo orto botanico. Parte del suo lavoro di catalogazione è oggi conservato nel Museo di Storia Naturale G. Doria in Genova.
I lavori più consistenti relativi al palazzo e soprattutto al parco, com’è stato conservato sino ai nostri giorni, si devono invece al Marchese Ignazio Alessandro Pallavicini nipote ed erede della zia materna Clelia Durazzo.
I lavori iniziarono nel 1836 e si protrassero sino al 1846 impegnando giornalmente 450 operai.
La Villa fu per la prima volta aperta al pubblico in occasione del VIII° Congresso degli Scienziati Italiani in svolgimento nella vicina Genova.