Phương pháp giải:

Đường tròn (C) nội tiếp tam giác OAB, suy ra \(\left( C \right)\)có bán kính nhỏ nhất và tiếp xúc \(\text{Ox},Oy,AB\)

\(\Rightarrow R=d\left( I,\text{Ox} \right)=d\left( I,Oy \right)=d(I,AB)\)

Áp dụng công thức tính khoảng cách từ điểm \(I({{x}_{0}};{{y}_{0}})\) đến \(\Delta :\text{ax+by+c=0}\)

\(d(I;\Delta )=\frac{\text{ }\!\!|\!\!\text{ a}{{\text{x}}_{0}}+b{{y}_{0}}+c|}{\sqrt{{{a}^{2}}+{{b}^{2}}}}\)

Lời giải chi tiết:

Phương trình đường thẳng AB là: \(\frac{x}{3}+\frac{y}{4}=1\Leftrightarrow 4x+3y-12=0\)  

 Giả sử đường tròn (C) có tâm \(I\left( a,b \right)\).

 Đường tròn (C) nội tiếp tam giác OAB, suy ra \(\left( C \right)\)có bán kính nhỏ nhất và tiếp xúc \(\text{Ox},Oy,AB\)

\(\Rightarrow R=d\left( I,\text{Ox} \right)=d\left( I,Oy \right)=d(I,AB)\)

\(\Rightarrow R=\left| b \right|=\left| a \right|=\frac{\left| 4a+3b-12 \right|}{5}\)

TH1: Nếu a=b , ta có  \(\left| a \right| = \frac{{\left| {4a + 3a - 12} \right|}}{5} \Leftrightarrow 5\left| a \right| = \left| {7a - 12} \right| \Leftrightarrow \left[ \begin{array}{l}5a = 7a - 12\\5a = 12 - 7a\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}a = 6\\a = 1\end{array} \right.\)

TH2: Nếu –a=b , ta có  \(\left| a \right| = \frac{{\left| {4a - 3a - 12} \right|}}{5} \Leftrightarrow 5\left| a \right| = \left| {a - 12} \right| \Leftrightarrow \left[ \begin{array}{l}5a = a - 12\\5a = 12 - a\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}a =  - 3\\a = 2\end{array} \right.\)

Vì (C ) có bán kính nhỏ nhất nên chọn \(R=\left| a \right|=1\).

Suy ra (C ) có tâm \(I(1;1)\) và R = 1  \(\Rightarrow \left( C \right):{{\left( x-1 \right)}^{2}}+{{\left( y-1 \right)}^{2}}=1\Leftrightarrow {{x}^{2}}+{{y}^{2}}-2x-2y+1=0\)

Chọn C.