Lời giải chi tiết:

Câu này dùng viét sẽ dài nên dùng luôn Công thức tính S tam giác

+ Phương trình hoành độ giao điểm là:

\({x^3} - 3{x^2} + 4 = mx + m \Leftrightarrow \left( {x + 1} \right)\left( {{x^2} - 4x + 4} \right) = m\left( {x + 1} \right) \Leftrightarrow \left[ \begin{array}{l}x =  - 1\\{\left( {x - 2} \right)^2} = m\,\,\left( * \right)\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}x =  - 1\\x = \sqrt m  + 2\\x =  - \sqrt m  + 2\end{array} \right.\)

+ Để 2 đồ thị cắt nhau tại 3 điểm phân biệt thì (*) có hai nghiệm phân biệt khác -1\( \Leftrightarrow \left\{ \begin{array}{l}m > 0\\m \ne 9\end{array} \right.\)

Khi đó: \(A\left( {\sqrt m  + 2;m\sqrt m  + 3m} \right);\,\,B\left( { - \sqrt m  + 2; - m\sqrt m  + 3m} \right).\)

Ta có công thức tính diện tích tam giác biết tọa độ 3 đỉnh như sau:

\(\begin{array}{l}{S_{OAB}} = \dfrac{1}{2}\left| {\left( {{x_A} - {x_O}} \right)\left( {{y_B} - {y_O}} \right) - \left( {{x_B} - {x_O}} \right)\left( {{y_A} - {y_O}} \right)} \right|\\\,\,\,\,\,\,\,\,\,\, = \dfrac{1}{2}\left| {\left( {\sqrt m  + 2} \right)\left( { - m\sqrt m  + 3m} \right) - \left( { - \sqrt m  + 2} \right)\left( {m\sqrt m  + 3m} \right)} \right|\\\,\,\,\,\,\,\,\,\,\, = \dfrac{1}{2}\left| { - {m^2} + m\sqrt m  + 6m + {m^2} + m\sqrt m  - 6m} \right| = m\sqrt m \\ \Rightarrow m\sqrt m  = 5\sqrt 5  \Leftrightarrow m = 5.\end{array}\)

Chọn A