Phương pháp giải:

Tìm m để hàm số có 2 điểm cực trị.

Áp dụng định lý Viet cho phương trình y’ = 0 sau đó thay vào đề bài ta tìm được m sau đó thay vào S tìm S.

Lời giải chi tiết:

\(y'=2{{x}^{2}}-2mx-2\left( 3{{m}^{2}}-1 \right)\)

Hàm số có 2 cực trị khi và chỉ khi \(y'=0\) có 2 nghiệm phân biệt \(\Leftrightarrow {{x}^{2}}-mx-\left( 3{{m}^{2}}-1 \right)=0\,\,\,\left( * \right)\)  có 2 nghiệm phân biệt

\(\Leftrightarrow \Delta >0\Leftrightarrow {{m}^{2}}+4\left( 3{{m}^{2}}-1 \right)>0\Leftrightarrow 13{{m}^{2}}-4>0\Leftrightarrow m\in \left( -\infty ;-\frac{2}{\sqrt{13}} \right)\cup \left( \frac{2}{\sqrt{13}};+\infty  \right)\)

Áp dụng định lý Viet cho phương trình (*) ta có:

\(\left\{ \begin{array}{l}{x_1} + {x_2} = m\\{x_1}{x_2} =  - 3{m^2} + 1\end{array} \right.\)

Ta có: \({x_1}{x_2} + 2\left( {{x_1} + {x_2}} \right) = 1 \Leftrightarrow  - 3{m^2} + 1 + 2m - 1 = 0 \Leftrightarrow m\left( { - 3m + 2} \right) = 0 \Leftrightarrow \left[ \begin{array}{l}m = 0\left( {ktm} \right)\\m = \frac{2}{3}\left( {tm} \right)\end{array} \right.\)

Vậy a = 2; b = 3.

Giá trị của biểu thức \(S={{a}^{2}}+{{b}^{2}}={{2}^{2}}+{{3}^{2}}=13\)

Chọn B.