Phương pháp giải:

+) Xét phương trình hoành độ giao điểm, chia cả hai vế cho \({x^2}\)

+) Đặt \(x + \dfrac{1}{x} = t;\,\left| t \right| \ge 2\) ta được phương trình ẩn \(t.\)

+) Sử dụng BĐT Bunhiacopxki để đưa về dạng \({a^2} + {b^2} \ge g\left( X \right)\)có nghiệm trên \(K.\) Suy ra \({a^2} + {b^2} \ge \mathop {\min }\limits_K g\left( X \right)\).

+) Lập BBT của hàm \(g\left( X \right)\) trên \(K\) và kết luận.

+) Lưu ý: BĐT Bunhiacopxki với hai bộ số \(\left( {a;b} \right),\left( {x;y} \right)\) là \({\left( {ax + by} \right)^2} \le \left( {{a^2} + {b^2}} \right)\left( {{x^2} + {y^2}} \right)\). Dấu “=” xảy ra khi \(\dfrac{x}{a} = \dfrac{y}{b}\).

Lời giải chi tiết:

Xét phương trình hoành độ giao điểm của đồ thị hàm số với trục \(Ox\) ta có \(3{x^4} + a{x^3} + b{x^2} + ax + 3 = 0\)

Nhận thấy \(x = 0\) không là nghiệm của phương trình nên ta chia cả hai vế cho \({x^2} \ne 0\) ta được

\(3{x^2} + ax + b + \dfrac{a}{x} + \dfrac{3}{{{x^2}}} = 0 \Leftrightarrow 3\left( {{x^2} + \dfrac{1}{{{x^2}}}} \right) + a\left( {x + \dfrac{1}{x}} \right) + b = 0\)

Đặt \(x + \dfrac{1}{x} = t;\,\left| t \right| \ge 2 \Rightarrow {t^2} - 2 = {x^2} + \dfrac{1}{{{x^2}}}\) nên ta có phương trình

\(3\left( {{t^2} - 2} \right) + at + b = 0\) \( \Leftrightarrow 3{t^2} - 6 + at + b = 0 \Leftrightarrow 6 - 3{t^2} = at + b\) (1)

Từ đề bài suy ra phương trình (1) có nghiệm thỏa mãn \(\left| t \right| \le 2\).

Theo BĐ Bunhiacopxki ta có \({\left( {at + b} \right)^2} \le \left( {{a^2} + {b^2}} \right)\left( {{t^2} + 1} \right)\)

Nên \({\left( {6 - 3{t^2}} \right)^2} = {\left( {at + b} \right)^2} \le \left( {{a^2} + {b^2}} \right)\left( {{t^2} + 1} \right) \Leftrightarrow {a^2} + {b^2} \ge \dfrac{{{{\left( {6 - 3{t^2}} \right)}^2}}}{{{t^2} + 1}}\)

Đặt \({t^2} + 1 = X\), vì \(\left| t \right| \ge 2 \Rightarrow X \ge 5.\) Ta có \({a^2} + {b^2} \ge \dfrac{{{{\left( {6 - 3\left( {X - 1} \right)} \right)}^2}}}{X}\)

Xét \(g\left( X \right) = \dfrac{{{{\left( {6 - 3\left( {X - 1} \right)} \right)}^2}}}{X} = \dfrac{{{{\left( {9 - 3X} \right)}^2}}}{X} = \dfrac{{81 - 54X + 9{X^2}}}{X} = 9X + \dfrac{{81}}{X} - 54\)  với \(X \ge 5.\)

Ta có \(g'\left( X \right) = 9 - \dfrac{{81}}{{{X^2}}} \ge 0\) với mọi \(X \ge 5\)

Suy ra \(\mathop {\min }\limits_{\left[ {5; + \infty } \right)} g\left( X \right) = g\left( 5 \right) = \dfrac{{36}}{5}\) hay \({a^2} + {b^2} \ge \dfrac{{36}}{5}\)

Dấu “=” xảy ra khi \(\left\{ \begin{array}{l}a = \dfrac{b}{t}\\X = 5\\{a^2} + {b^2} = \dfrac{{36}}{5}\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}a = bt\\\left| t \right| = 2\\{a^2} + {b^2} = \dfrac{{36}}{5}\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}{a^2} = \dfrac{{144}}{{225}}\\{b^2} = \dfrac{{36}}{{25}}\end{array} \right.\) \( \Leftrightarrow \left\{ {\left[ \begin{array}{l}a =  \pm \dfrac{{12}}{{15}}\\b =  \pm \dfrac{6}{5}\end{array} \right.} \right.\)

Vậy giá trị nhỏ nhất của \({a^2} + {b^2} = \dfrac{{36}}{5}.\)

Chọn B.