ofの意味に「〜の中で」って意味があるはず。

例文
He is the tallest of the three(文合ってるか微妙だが)
これとおんなじ感じだと思う。