Phương pháp giải:

- Áp dụng công thức tính tích vô hướng của 2 véctơ: \(\overrightarrow a .\overrightarrow b  = \left| {\overrightarrow a } \right|.\left| {\overrightarrow b } \right|.\cos \angle \left( {\overrightarrow a ;\overrightarrow b } \right)\).

- Áp dụng định lí Pytago và tỉ số lượng giác của góc nhọn trong tam giác vuông.

Lời giải chi tiết:

Ta có

\(\begin{array}{l}\overrightarrow {AB'} .\overrightarrow {AB}  = AB'.AB.cos\left( {\overrightarrow {AB'} ;\overrightarrow {AB} } \right)\\\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, = AB'.AB.cos\angle BAB'\end{array}\)

Tam giác \(ABB'\) vuông tại \(B\) có \(AB = a;\,\,BB' = 2a\).

Áp dụng định lí Pytago ta có: \(AB' = \sqrt {A{B^2} + BB{'^2}}  = a\sqrt 5 .\)

\(\cos \angle BAB' = \frac{{AB}}{{AB'}} = \frac{a}{{a\sqrt 5 }} = \frac{1}{{\sqrt 5 }}\).

Vậy \(\overrightarrow {AB'} .\overrightarrow {AB}  = a\sqrt 5 .a.\frac{1}{{\sqrt 5 }} = {a^2}.\)

Chọn A.