Assumendo che tu stia parlando di windows, non vedo nessun problema a riguardo.
Ad esempio puoi scaricare ed installare clang/llvm da
github. L'installer mette tutto in una cartella locale, senza smazzare chiavi di registro o altro, quindi puoi metterlo dove vuoi. In realta' puoi aprire l'exe anche direttamente con 7zip, per estrarre direttamente le cartelle dove vuoi.
A questo punto, il compilatore e' a posto, cosi' come le librerie base (stl ad esempio). Ti serve poi un editor, e hai l'imbarazzo della scelta. Quelli che vogliono sentirsi fighi usano robe come neovim. A me piace molto, ma sinceramente all'inizio ti consiglio un editor come visual studio code, di cui puoi
scaricare sia l'installer che semplicemente il .zip; scarica quest'ultimo e scompattalo nella chiavetta usb. Una volta scaricato e avviato, devi installare i plugin per sviluppare in c++. C'e' quello ufficiale microsoft con intellisense e tutto il resto che funziona molto bene. L'unica accortezza e' che avendo tu installato roba in percorsi diversi da quelli di default dovrai sicuramente modificare un poco la configurazione per dare i path corretti e dire all'editor dove sta il compilatore, ma una volta settato tutto non ci devi piu' pensare.
A questo punto, avresti sia il compilatore che l'editor su chiavetta, e sei a posto per poter cominciare a sviluppare.
Se devi fare progetti che devono stare su piu' file, invece di compilarne uno solo, ti consiglio anche di installare la versione portable di
cmake ed imparare a gestire progetti con cmake. Anche per lui ci sono plugin per visual studio code.
Infine, se ti servono librerie esterne (boost, qt etc), puoi clonarti
vcpkg ed utilizzarlo come package manager, per installare le librerie esterne che ti servono.
Se puoi installare roba sul pc, invece, il mio consiglio spassionato e' di cominciare subito con Visual Studio. La versione community e' completa, con le stesse feature della Professional e puoi tranquillamente utilizzarlo per progetti personale e open-source. Solo ricordati di selezionare il linguaggio c++ nelle feature dell'installer.