[xkor]

peacefully, на нейронную сеть похоже)
хранить.., ну alexteam, хороший вариант предложил, но если памяти всё равно не хватает, то надо кэшировать данные на диск и извлекать по маленьку куски с которыми работаешь, правда при данных условиях не представляю себе структуру которую при каждом шаге не придётся полностью пересоздавать так как каждый элемент будет расширяться, а в виду того что элементов тож заоблачно, то и хранить каждый элемент в отдельном файле не выход.

думаю тут надо писать программу не на 32битной а 64битной адресации, тогда операционка сможет выдать мнооого гигов программе сама складывая не помещающееся на диск (ток виртуальную память надо будет сделать огромной, ну и ОС и компилятор должны быть 64разрядными, тоесть дельфи не катит)