Откровения Ивана Фролкова :). Пока не забыл.
btree - 98% случаев;
gin - для массивов (т.е. когда столбец - это anyarray);
gist - для геометрии (правильнее сказать - для n-мерных интервалов и всего такого прочего, при n=1, до бесконечности).
brin - непонятно, но оно ломается, однако, на одном из расширений (пока ломается).