社内SEOと動物病院関係のSEOを担当しております。
Google検索のアルゴリズムは200以上あると言われているので回答は大変難しいです。
これだけアルゴリズムがありますので僅かな変動は考えられますが、極端にプラスマイナスを考えるのは大変危険です。
結論は「速度が改善することでSEO的に少しはプラスになることが考えられますが、マイナスになることはない」です。
ネット上で見つからないのは、だれも答えを知らなかいからです。もちろんGoogleも答えてくれません。逆に言い切っている業者さんは怪しいと思ったほうが良いです。
本質して、ユーザーにとって優良な記事を重視しています。
要するにHTMLとリンク、画像があれば大丈夫なんです。
そこに装飾してCSS,JSなどが読み込まれますので重要ではありません。
補足として、プラス要因としては速度の改善があります。
これは、Googleの10の事実に含まれています。
PageSpeedテストでスコアが改善したのであればプラスに捉えて問題ないと思います。
私ならプラスと捉えます。ご参考になれば幸いです。