Phương pháp giải:

+) Tìm điều kiện để hàm số có ba điểm cực trị.

+) Tìm các điểm cực trị A, B, C.

+) Chứng minh tứ giác OBAC là tứ giác nội tiếp \( \Rightarrow \widehat {OBA} = \widehat {OCA} = {90^0} \Rightarrow \overrightarrow {OB} .\overrightarrow {AB}  = 0\)

Lời giải chi tiết:

TXĐ: \(D = R\)

Ta có: \(y' = 4{x^3} - 4mx = 0 \Leftrightarrow \left[ \matrix{  x = 0 \hfill \cr   {x^2} = m \hfill \cr}  \right.\)

Để hàm số có ba điểm cực trị \( \Rightarrow pt\,\,y' = 0\) có 3 nghiệm phân biệt \( \Leftrightarrow m > 0\).

Khi đó \(y' = 0 \Leftrightarrow \left[ \matrix{  x = 0 \Rightarrow y = 2m \Rightarrow A\left( {0;2m} \right) \hfill \cr   x = \sqrt m  \Leftrightarrow y =  - {m^2} + 2m \Rightarrow B\left( {\sqrt m ; - {m^2} + 2m} \right) \hfill \cr   x =  - \sqrt m  \Rightarrow y =  - {m^2} + 2m \Rightarrow C\left( { - \sqrt m ; - {m^2} + 2m} \right) \hfill \cr}  \right.\)

Tam giác ABC cân tại A có điểm A nằm phía trên trục Ox. Để OBAC là tứ giác nội tiếp thì \({y_B} > 0 \Leftrightarrow  - {m^2} + 2m > 0 \Leftrightarrow 0 < m < 2\) và \(\widehat {OBA} + \widehat {OCA} = {180^0}\)

Ta có: \(\widehat {OBA} = \widehat {OCA}\) (tính chất đối xứng) \( \Rightarrow \widehat {OBA} = \widehat {OCA} = {90^0} \Rightarrow \overrightarrow {OB} .\overrightarrow {AB}  = 0\)

Ta có: \(\overrightarrow {OB}  = \left( {\sqrt m ; - {m^2} + 2m} \right);\overrightarrow {AB}  = \left( {\sqrt m ; - {m^2}} \right)\)

\(\eqalign{  &  \Rightarrow \overrightarrow {OB} .\overrightarrow {AB}  = m - {m^2}\left( { - {m^2} + 2m} \right) = 0  \cr   &  \Leftrightarrow m + {m^4} - 2{m^3} = 0  \cr   &  \Leftrightarrow \left[ \matrix{  m = 0\,\,\,\left( {ktm} \right) \hfill \cr   {m^3} - 2{m^2} + 1 = 0 \hfill \cr}  \right.\mathop  \Leftrightarrow \limits^{0 < m < 2} \left[ \matrix{  m = 1 = a \hfill \cr   m = {{1 + \sqrt 5 } \over 2} = b \hfill \cr}  \right.  \cr   &  \Rightarrow 9{a^2} + 6{b^2} = 18 + 3\sqrt 5  \approx 24,7 \cr} \)

Chọn D.