Добавьте HTTPS=true в вашу команду start в package.json:
HTTPS=true
{ ... "scripts": { "start": " HTTPS=true react-scripts start", ... } }
Или сразу с указанием хоста:
{ ... "scripts": { "start": "HOST=myhost.loc HTTPS=true react-scripts start", ... } }