1) Запускаешь IDA
2) Скармливаешь ей engine.dll
3) Находишь в коде приватный класс CClientSocket
4) Находишь в этом классе приватные функции Encrypt/Decrypt
5) Придумываешь как можно найти экземпляр объекта CClientSocket и находишь ссылку на него
6) По найденному объекту и его VMT находишь указатель
7) Если на сервере стоит какая-либо защита, то тихо плачешь в уголке, т.к. защита использует свои методы шифрации