Phương pháp giải:

Xét phương trình hoành độ giao điểm, áp dụng định lí Vi-ét.

Lời giải chi tiết:

Phương trình hoành độ giao điểm của \(\left( C \right)\) và \(d\):   \(\frac{x}{{1 - x}} = mx - m - 1,\,\,\left( {x \ne 1} \right)\)

\( \Leftrightarrow x = mx - m - 1 - m{x^2} + mx + x \Leftrightarrow m{x^2} - 2mx + m + 1 = 0\) (1)

Để \(\left( C \right)\) cắt \(d\) tại 2 điểm phân biệt thì phương trình (1) có hai nghiệm phân biệt khác 1\( \Leftrightarrow \left\{ \begin{array}{l}m \ne 0\\\Delta ' > 0\\m{.1^2} - 2m.1 + m + 1 \ne 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}m \ne 0\\{m^2} - m\left( {m + 1} \right) > 0\\1 \ne 0\end{array} \right.\,\,\,\, \Leftrightarrow m < 0\)

Khi đó, giả sử \({x_1},{x_2}\) là nghiệm của (1), áp dụng định lsy Vi-ét ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} = 2\\{x_1}{x_2} = \frac{{m + 1}}{m}\end{array} \right.\)

Tọa độ giao điểm là: \(A\left( {{x_1};m{x_1} - m - 1} \right),B\left( {{x_2};m{x_2} - m - 1} \right) \Rightarrow \left\{ \begin{array}{l}\overrightarrow {AM}  = \left( {{x_1} + 1;m{x_1} - m - 2} \right)\\\overrightarrow {AN}  = \left( {{x_2} + 1;m{x_2} - m - 2} \right)\end{array} \right.\)

Gọi I là trung điểm của MN \( \Rightarrow \left\{ \begin{array}{l}{x_I} = \frac{{{x_1} + {x_2}}}{2} = \frac{2}{2} = 1\\{y_I} = \frac{{m{x_1} - m - 1 + m{x_2} - m - 1}}{2} =  - 1\end{array} \right.\,\, \Rightarrow I\left( {1; - 1} \right)\)

Ta có: \(A{M^2} + A{N^2} = {\left( {\overrightarrow {AI}  + \overrightarrow {IM} } \right)^2} + {\left( {\overrightarrow {AI}  + \overrightarrow {IN} } \right)^2} = 2A{I^2} + 2\overrightarrow {AI} .\left( {\overrightarrow {IM}  + \overrightarrow {IN} } \right) + I{M^2} + I{N^2} = 2A{I^2} + \frac{1}{2}M{N^2}\)

Do vậy, \({\left( {A{M^2} + A{N^2}} \right)_{\min }}\) khi và chỉ khi \(M{N_{\min }}\)

Ta có:  \(\overrightarrow {MN}  = \left( {{x_2} - {x_1};m{x_2} - m{x_1}} \right) \Rightarrow MN = \sqrt {\left( {1 + {m^2}} \right){{\left( {{x_2} - {x_1}} \right)}^2}}  = \sqrt {\left( {1 + {m^2}} \right)\left( {{{\left( {{x_2} + {x_1}} \right)}^2} - 4{x_1}{x_2}} \right)} \)

\( = \sqrt {\left( {1 + {m^2}} \right)\left( {4 - \frac{{4\left( {m + 1} \right)}}{m}} \right)}  = \sqrt {\frac{{ - 4\left( {1 + {m^2}} \right)}}{m}}  = \sqrt {\frac{4}{{\left( { - m} \right)}} + \left( { - 4m} \right)}  \ge \sqrt {2.\sqrt {\frac{4}{{ - m}}.\left( { - 4m} \right)} }  = 2\sqrt 2 \)

 \( \Rightarrow M{N_{\min }} = 2\sqrt 2 \) khi và chỉ khi \(\frac{4}{{ - m}} =  - 4m \Leftrightarrow {m^2} = 1 \Leftrightarrow \left[ \begin{array}{l}m = 1\;\;\left( {ktm} \right)\\m =  - 1\;\;\left( {tm} \right)\end{array} \right.\)

Vậy để \({\left( {A{M^2} + A{N^2}} \right)_{\min }}\) thì  \(m =  - 1\).

Chọn: D