不定詞や動名詞を使った決まり文句は、受験やTOEICという試験を目的とするのであれば、頻出のものは覚えてしまうと良いでしょう。
まさに慣用表現と言われるとおり慣用的に使われるものなので、理屈抜きで覚えてしまいましょう。

独立不定詞

まずは独立不定詞ですが、次のものはおさえておきたいところです。
英文解釈だけでなく、英作文にも役立ちます。

to say the least of it : 控えに言っても
to begin with : まず第一に
to start with : まず第一に
needless to say, ~ : ~は言うまでもない
t goes without saying that ~ : ~は言うまでもない
to tess the truth 、 to speak the truth : 実を言うと
to be frank with you : 率直に言って
strange to say : 奇妙なことに
not to mention A : Aは言うまでもなく
to say nothing of A : Aは言うまでもなく
not to speak of A : Aは言うまでもなく
not to say A : Aとは言わないまでも
to be brief : 要するに、手短に言えば
to sum up : 要約すれば
to make a long story short : 早い話が、かいつまんで言うと
to do A justice : Aを公平に評すると
to make matters worse : さらに悪いことに
to add to A : Aに加えて
to conclude : 結論として言えば
to put it in another way : 別の言葉で言えば
to be accurate : 正確(厳密)に言うと
to be exact : 正確(厳密)に言うと

不定詞の慣用表現

不定詞の慣用表現は、最低次のものは覚えよう
~ enough to do … : とても~なので…する、…するほど~
so ~ as to do … : とても~なので…する、…するほど~
so ~ that S + V … : とても~なので…する、…するほど~
too ~ to do … : あまりに~なので…しない(できない)

動名詞の慣用表現

動名詞の慣用表現はよく出てきます。次のものは覚えておきたいものです
there is no doing ~  : ~できない
It is no use doing ~  : ~しても無駄だ
It is no good doing ~  : ~しても無駄だ
never ~ without doing …  : ~すれば必ず…する
cannot ~ without doing …  : ~すれば必ず…する
of one’s own doing  : 自分自身で~した
A is worth doing ~  : Aは~する価値がある
spend A (in) doing ~ 〔Aは金・時間〕  : ~することにAを費やす
feel like doing ~  : ~したい気がする
in doing ~  : ~する場合には
on doing ~  : ~するや否や、~する時
be busy (in) doing ~  : ~するのに忙しい
go doing ~  : ~しに行く
cannot help doing ~  : ~せずにはいられない
be on the point of doing ~  : まさに~しようとしている
prevent A from doing ~   : Aが~するのを妨げる
stop A from doing ~   : Aが~するのを妨げる
hinder A from doing ~  :  Aが~するのを妨げる
How about doing doing ~  : ~してはいかがですか
It goes without saying that ~  : ~は言うまでもない
be in the habit of doing ~  : ~する癖がある
make a habit of doing ~  : ~することにしている
make a rule of doing ~  : ~することにしている
make a point of doing ~  : ~することにしている
make a practice of doing ~  : ~することにしている