単位円周上にあるので
A(1,0),B(cosα,sinα),C(cosβ,sinβ)
とおく。
AB･AC=(cosα-1,sinα)･(cosβ-1,sinβ)
=sinαsinβ+cosα(cosβ-1)+(1-cosβ)
ここで、合成を行う
AB･AC=√{2(1-cosβ)}･sin(α+γ)+1-cosβ
したがって√(1-cosβ)=tとおけば
AB･AC=√(2t)･sin(α+γ)+t^2
ゆえに、最大値はt^2+√2t、最小値t^2-√2t(0≦t≦√2)と表すことができる。
よって、最大値はt=√2のときで4、最小値はt=1/√2のときで-1/2
確か問題は相異なる3点だった気がするので、最大値は題意に不適である。
以上より、最大値なし、最小値-1/2としとく