Я уже довольно давно использую портативную версию Firefox на внешнем жёстком диске. Не надо ничего мудрить, просто подключил диск и запустил браузер. Программа запуска сама выберет нужную разрядность. Обновляется он точно так же.
Если на компьютере Firefox любой версии уже установлен браузером по умолчанию, то и ссылки в запущенном портативном будут открываться.
Последнее меня особенно радовало до последнего времени.