Es scheint etwas mit dem Safari 15.6 Update zu tun zu haben, damit konnte ich das nun reproduzieren. Mir ist noch unklar ob ich das fixen kann, weil auch die WebRTC Verbindung selbst teilweise bei einer Samplerate von 44,1 kHz Aussetzer bekommt (nach 2-3 Minuten). Da scheint also generell etwas beim Resampling im Safari schief zu laufen.
Workaround wäre aktuell für QuickWeb unter macOS nur Chrome oder Firefox zu nutzen.