So, das Problem hab ich gefunden. Der Shelly war defekt. Daher hat er so gestunken sobald Strom floss und konnte auch nicht kalibriert werden. Hab ihn heute durch einen anderen Shelly 2.5 getauscht.
Falls jemand den defekten Shelly zur Fehleranalyse haben will? Irgendwo muss ja irgendwas mal schief gegangen sein, er war ja eigentlich nagelneu...