Mit Mumble geht das aber. Dafür gibt es das -m-Flag. Damit Murmur nicht wegen mehreren gleichen User-Zertifikaten auf dem gleichen Server meckert, kann man dazu noch das -n-Flag angeben.
Wir machen das so, dass ich mich praktisch für jeden entfernten Sprecher einmal mit Mumble einlogge und dann lokal die jeweils nicht gewünschten Sprecher (also alle bis auf einen) mute. Dann noch in jede Mumble-Instanz ein anderes Soundflower/USH-Device als Output eintragen und fertig ist das Ganze.