First(ly) употребляется при перечислении следующих друг за другом действий. Например: «First we think, then we make a decision».

First  может быть прилагательным или наречием и относится к человеку или предмету, который стоит перед всеми остальными по порядку, времени, количеству, качеству или значимости. Например:   What is the name of your first teacher? (имя прилагательное)  This teacher always comes first to school. (наречие).

Firstly - более формально, чем First. Например:

First(ly) I would like to thank you for your help.

 

At first означает «в начале» и используется, когда мы делаем контрасты или говорим об изменившемся решении (положении). Например:

Nobody listened to him at first, but then he changed the topic.

At first we wanted to go to the city center, but then we decided to walk in the park.