D'où sort ce 105% ? Quel % donné par le gestionnaire des tâches ?
Normalement le multithreading est bien géré quand on encode en H264/H265 et un seul fichier suffit à bien exploiter son CPU. Pour moi vouloir en traiter 4 en parallèle est potentiellement contre-productif, d'autant plus que sur la fin, le nombre d'encodage en // diminue et les ressources libres ne sont pas réattribuées.
A mon avis si tu testes à nouveau Format Factory avec les 4 séquentiellement, tu devrais obtenir un temps similaire à Handbrake (même encodeur + même réglages = même résultat).