利用Google Colab的超大带宽来进行网盘资源的互转
众所周知,GCP拥有巨大带宽(>10GBPS),而colab的cpu计算实例大多使用的gcp的机器,因此可以借用colab来实现临时的网盘资源互传需求。 以下是具体实现: 可以看到,3小时大概传输了600GB的数据,平均网速为60MB/s,峰值在120MB/s左右。
第一段代码,安装了pm2和rclone
%%shell
{
npm install pm2 -g
sudo -v ; curl https://rclone.org/install.sh | sudo bash
mkdir -p /root/.config/rclone/
rm -f /root/.config/rclone/rclone.conf
wget -q -O /root/.config/rclone/rclone.conf 这里为rclone config外链
} > /dev/null 2>&1
第二段,用以重启或添加任务
%%shell
{
pm2 del all
pm2 start --name OD "rclone move A:/B B:/A --ignore-existing -u -v -P --transfers=12 --ignore-errors --buffer-size=200M --check-first --checkers=50"
} > /dev/null 2>&1
使用时勿关网页