Phương pháp giải:

Gọi 3 nghiệm của phương trình đã cho là \({{x}_{1}},{{x}_{2}},{{x}_{3}}\), sử dụng định lí Vi-et cho phương trình bậc ba.

Chia cả từ và mẫu của biểu thức P cho \({{a}^{3}}\), sử dụng BĐT Cauchy để đánh giá và tìm GTNN của P.

Lời giải chi tiết:

Giả sử phương trình đã cho có 3 nghiệm \({{x}_{1}},\,\,{{x}_{2}},\,\,{{x}_{3}}\)\(\Rightarrow \)\(\left\{ \begin{align} & {{x}_{1}}+{{x}_{2}}+{{x}_{3}}={{x}_{1}}{{x}_{2}}{{x}_{3}}=\frac{1}{a}>0 \\  & {{x}_{1}}{{x}_{2}}+{{x}_{1}}{{x}_{3}}+{{x}_{2}}{{x}_{3}}=\frac{b}{a} \\ \end{align} \right..\)

Khi đó \(P=\frac{5{{a}^{2}}-3ab+2}{{{a}^{2}}\left( b-a \right)}=\frac{\frac{5}{a}-\frac{3b}{{{a}^{2}}}+\frac{2}{{{a}^{3}}}}{\frac{b}{a}-1}\) mà \({{x}_{1}}{{x}_{2}}+{{x}_{1}}{{x}_{3}}+{{x}_{2}}{{x}_{3}}\le \frac{{{\left( {{x}_{1}}+{{x}_{2}}+{{x}_{3}} \right)}^{2}}}{3}\Leftrightarrow \frac{b}{a}\le \frac{1}{3{{a}^{2}}}\)

Do \({{x}_{1}}+{{x}_{2}}+{{x}_{3}}\ge 3\sqrt(3){{{x}_{1}}{{x}_{2}}{{x}_{3}}}\Rightarrow \frac{1}{{{a}^{3}}}\ge \frac{27}{a}\Leftrightarrow a\le \frac{1}{3\sqrt{3}}\)

Suy ra \(P=\frac{\frac{5}{a}-\frac{3}{a}.\frac{b}{a}+\frac{2}{{{a}^{3}}}}{\frac{b}{a}-1}\ge \frac{\frac{5}{a}-\frac{3}{a}.\frac{1}{3{{a}^{2}}}+\frac{2}{{{a}^{3}}}}{\frac{1}{3{{a}^{2}}}-1}=\frac{15{{a}^{2}}+3}{a-3{{a}^{3}}}=f\left( a \right),\) với \(0<a\le \frac{1}{3\sqrt{3}}\)

Xét hàm số \(f\left( a \right)=\frac{15{{a}^{2}}+3}{a-3{{a}^{3}}}\ \left( a\le \frac{1}{3\sqrt{3}} \right)\Rightarrow \underset{\left( 0;\frac{1}{3\sqrt{3}} \right)}{\mathop{Min}}\,f\left( a \right)=f\left( \frac{1}{3\sqrt{3}} \right)=12\sqrt{3}.\)

Chọn D.