Ich habe leider keine aktuellen Erfahrungen. Pi 4 ist aber denke ich kein verkehrter Ansatz. Lässt sich auch schnell testen: einfach USB Audio anschließen und Aufnahme/Wiedergabe (48kHz) und dann parallel mal Netzwerkverkehr erzeugen (Download großer Dateien etc.).
Die Distribution ist eigentlich Geschmackssache. Ich nutze gerne Arch Linux ARM aber Raspbian ist auch prima geeignet (für den Pi).
Hardware Alternativen gibt es auch ein paar, ich verwende z.B. ganz gerne https://www.olimex.com/Products/OLinuXino/A64/open-source-hardware
Headset wäre da auch relativ einfach über Klinke ohne Zusatzhardware möglich.
Zum Thema Headset: