Absolut går det, använd -v för volume mount där du tar en lokal sökväg och monterar den i docker-containern. När du har kompilerat kan du kopiera den till den monterade volymen så syns den lokal också.
so-filer bryr sig inte alls om den är byggt i en container eller inte. Det enda som kan göra skillnad är vilken libc som används, kör du Alpine kommer den köra musl-libc, kör du Ubuntu (eller nästan vad som helst annat) så har du gnu-libc o.s.v. Så enklast är att köra samma dist och version av dist i containern som utanför (i ditt fall Ubuntu 24.04).