Importera listan till en databas. Det här är anledningen till att relationsdatabaser uppfanns, för att hålla koll på jättestora filer av text.
SQL server är gratis från microsoft om du väljer developer edition. Sen kör du bara import wizard för att namnge dina kolumner.
Sen skriver du en relativt enkelt select-sats som tar ut datat åt dig.
Hur stor är "gigantisk" förresten?