Phương pháp giải:

- Xác định thiết diện của hình lăng trụ cắt bởi mặt phẳng $\left( {AMN} \right)$.

- Công thức thể tích khối chóp cụt: $V = \dfrac{1}{3}\left( {B + B' + \sqrt {BB'} } \right)h$ trong đó $B,\,\,B'$ lần lượt là diện tích hai đáy, $h$ là chiều cao của khối chóp cụt.

Lời giải chi tiết:

Gọi $ME = \left( {AMN} \right) \cap \left( {A'B'C'} \right)$ , ta có:$\left\{ \begin{array}{l}\left( {ABC} \right)//\left( {A'B'C'} \right)\\\left( {ANM} \right) \cap \left( {ABC} \right) = AN\\\left( {ANM} \right) \cap \left( {A'B'C'} \right) = ME\end{array} \right.\,\, \Rightarrow AN\parallel ME.$ Khi đó thiết diện của lăng trụ cắt bởi $\left( {AMN} \right)$ là tứ giác $AMEN$.

Đặt ${V_1} = {V_{ANC.MEC'}},\,\,{V_2} = {V_{ABN.A'B'EM}}$ với $ANC.MEC'$ là hình chóp cụt.

Gọi $F$ là trung điểm của $AB$ $\Rightarrow CF \bot AB$ (trung tuyến đồng thời là đường cao).

Mà $CC' \bot AB \Rightarrow AB \bot \left( {CFC'} \right) \Rightarrow AB \bot C'F.$

Ta có: $\left\{ \begin{array}{l}\left( {ABC'} \right) \cap \left( {ABC} \right) = AB\\\left( {ABC'} \right) \supset C'F \bot AB\\\left( {ABC} \right) \supset CF \bot AB\end{array} \right.$ $\Rightarrow \angle \left( {\left( {ABC} \right);\left( {ABC'} \right)} \right) = \angle CFC' = {60^0}$.

Xét tam giác $ABC$ vuông cân tại $C$ có $AB = 2a \Rightarrow CF = \dfrac{1}{2}AB = a$.

Xét $\Delta CC'F$ có: $CC' = CF.\tan {60^0} = a\sqrt 3 .$

Xét $\Delta ANC$ và $\Delta MEC'$ có $\angle C = \angle C' = {90^0}$, $AC\parallel A'C',\,\,AN\parallel ME$ $\Rightarrow \angle CAN = \angle C'ME$.

$\Rightarrow \Delta ANC \sim \Delta MEC'\,\,\left( {g.g} \right)$ theo tỉ số $k = \dfrac{{AC}}{{MC'}} = 2$.

$\Rightarrow {S_{ANC}} = {k^2}{S_{MEC'}} = 4{S_{MEC'}}$.

Ta có: ${S_{ABC}} = \dfrac{1}{2}AB.FC = \dfrac{1}{4}A{B^2} = \dfrac{1}{4}{\left( {2a} \right)^2} = {a^2}$.

      $\Rightarrow S = {S_{ANC}} = \dfrac{1}{2}{S_{ABC}} = \dfrac{1}{2}{a^2}$ và $S' = {S_{MEC'}} = \dfrac{1}{4}.{S_{ANC}} = \dfrac{1}{8}{a^2}$

Thể tích khối chóp cụt $ANC.MEC'$ là: ${V_1} = \dfrac{h}{3}\left( {S + S' + \sqrt {S.S'} } \right)$$= \dfrac{{a\sqrt 3 }}{3}.\left( {\dfrac{1}{2}{a^2} + \dfrac{1}{8}{a^2} + \sqrt {\dfrac{1}{2}{a^2}.\dfrac{1}{8}{a^2}} } \right)$$= \dfrac{{7\sqrt 3 }}{{24}}{a^3}.$

Thể tích khối lăng trụ là: ${V_{ABC.A'B'C'}} = CC'.{S_{ABC}} = a\sqrt 3 .{a^2} = {a^3}\sqrt 3$.

$\Rightarrow {V_2} = {V_{ABC.A'B'C'}} - {V_1} = \dfrac{{17\sqrt 3 {a^3}}}{{24}}$.

Vậy thể tích của phần nhỏ hơn bằng $\dfrac{{7\sqrt 3 }}{{24}}{a^3}.$

Chọn A.