Non puoi aggiornare direttamente da OSX 10.5.8 Leopard a 10.11 El Capitan.
"
OS X El Capitan 10.11 can upgrade Yosemite, Mavericks, Mountain Lion, Lion, or Snow Leopard"
Quindi devi prima aggiornare a uno dei precedenti, io proverei a scaricare l'installer di Lion da qui:
https://support.apple.com/it-it/HT211683
Ma senza chiavetta USB, segui le istruzioni di quella pagina quindi fai partire normalmente l'installer dall'HD.
Poi fai la stessa operazione per aggiornare da Lion a El Capitan.
Però, nel tuo messaggio leggo che
non riesci ad aprire il file .dmg per poi far partire l’installer.
Io ho provato su un MacPro 2009 - Snow Leopard (10.6) con gli installer di Lion e Yosemite e funzionano. Mi sembra impossibile che non funzionino con su Leopard.
Li hai scaricati con Safari come è scritto in quella pagina Apple?