40G的数据不可能存放到一条记录中(因为你不可能申请一块40G的内存来存放这些数据),一定需要分割后再逐条插入,有两个方案:
写一个小工具,将txt分割成若干小的txt
在你的数据库操作程序中,添加一段一边读文件一边向数据库插数据的代码。
Ultra File Splitter用这个,支持16EB文件