il bluray è comunque un H264 anche se ad un bitrate molto alto.
Se in fase di compressione ha "strizzato" parecchio, la seconda conversione in H265 si trova in difficoltà. Se hai il BD, riparti sicuramente da quello usando un bitrate di 3000 (o qualcosina in più).
Questo è il valore che determina la dimensione finale (insieme alla traccia audio). Ad esempio, se il tuo H264 avesse un bitrate di 6000, dimezzi la dimensione.
E poi userei StaxRip. Hai una GTX o RTX?
Nel caso, ho il mini video tutorial
Non è aggiornato all'ultima versione, ma è quasi tutto uguale
https://youtu.be/2OselaN9v9k