Shellies senden Coap Pakete entweder per Multicast oder, was in deinem Fall zwingend erforderlich ist, per Unicast. dazu wird im Shelly der ioBroker-Container als Zieladresse hinterlegt.
Für eine etwaige Firewall ist est zwingend notwendig, dass Datenpakete auf dem Port 5683 (UDP) durchgelassen werden.
Für Docker und ContainerD ist es außerdem zwingend erforderlich, dass entweder das Netzwerk-Interface des Host benutzt wird oder, sofern ein Bridge-Netzwerk genutzt wird, die Pakete in den Bridge-Container durchgelassen werden.
Unter Docker legst du einfach ein Portmapping an, da werden local und Zielport angegeben und dann klappt das (im Screenshot hab ich das für MQTT (1883/TCP) nachträglich gemacht..
Wie man das unter Proxmox löst, kann ich dir aber auch nicht sagen.