利用Google Colab的超大带宽来进行网盘资源的互转

24 天前(已编辑)
24
摘要
众所周知,GCP拥有巨大带宽(>10GBPS),而colab的cpu计算实例大多使用的gcp的机器,因此可以借用colab来实现临时的网盘资源互传需求。

利用Google Colab的超大带宽来进行网盘资源的互转

众所周知,GCP拥有巨大带宽(>10GBPS),而colab的cpu计算实例大多使用的gcp的机器,因此可以借用colab来实现临时的网盘资源互传需求。 以下是具体实现:

image.png

image.png
可以看到,3小时大概传输了600GB的数据,平均网速为60MB/s,峰值在120MB/s左右。

第一段代码,安装了pm2和rclone

%%shell
{
  npm install pm2 -g
  sudo -v ; curl https://rclone.org/install.sh | sudo bash
  mkdir -p /root/.config/rclone/
  rm -f /root/.config/rclone/rclone.conf
  wget -q -O /root/.config/rclone/rclone.conf 这里为rclone config外链
} > /dev/null 2>&1

第二段,用以重启或添加任务

%%shell
{
  pm2 del all
  pm2 start --name OD "rclone move A:/B B:/A --ignore-existing -u -v -P --transfers=12 --ignore-errors --buffer-size=200M --check-first --checkers=50"
} > /dev/null 2>&1

使用时勿关网页

使用社交账号登录

  • Loading...
  • Loading...
  • Loading...
  • Loading...
  • Loading...