An deinem Routing liegt es also nicht, das war mein erster Gedanke.
Hm, was für Kopfhörer verwendet dein Gesprächspartner? Möglich dass du durch die dein eigenes Signal über sein Mikro hörst.