Почитав о переопределении CSS/JS бустрапа в yii2, становится ясно, что самый простой путь, если вы установили bootstrap4 (совместно с bootstrap 3 можно так), просто поменять
echo \yii\bootstrap\Alert::widget([
на
echo \yii\bootstrap4\Alert::widget([
в самом классе Alert, так чтобы код был (я правил common/widgets/Alert.php):
