Skip to content

Commit

Permalink
[Fix] add WAIT_FOR_NEXT_FETCH to download wall media
Browse files Browse the repository at this point in the history
  • Loading branch information
HoangTran0410 committed Oct 1, 2021
1 parent 5aeb4dc commit cfbb35c
Show file tree
Hide file tree
Showing 2 changed files with 9 additions and 1 deletion.
2 changes: 1 addition & 1 deletion config.js
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
// you can modify all the variables below
export const ACCESS_TOKEN = "YOUR_ACCESS_TOKEN";
export const NUMBER_OF_DOWNLOAD_THREADS = 20; // số lượng luồng tải ảnh/video cùng 1 lúc (càng lớn tải càng nhanh, nhưng dễ nghẽn mạng)
export const NUMBER_OF_DOWNLOAD_THREADS = 20; // số lượng luồng tải ảnh/video cùng 1 lúc (lớn thì sẽ tải song song cùng lúc nhiều ảnh/video, nhưng sẽ ko tải nhanh hơn, do vẫn dùng toàn bộ băng thông có thể)
export const WAIT_BEFORE_NEXT_FETCH = 0; // thời gian chờ (ms) trước mỗi lần fetch tiếp theo
export const ID_LINK_SEPERATOR = ";";
export const PHOTO_FILE_FORMAT = "png"; // OR jpg
Expand Down
8 changes: 8 additions & 0 deletions scripts/download_wall_media.js
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,7 @@ import {
ID_LINK_SEPERATOR,
PHOTO_FILE_FORMAT,
VIDEO_FILE_FORMAT,
WAIT_BEFORE_NEXT_FETCH,
} from "../config.js";
import {
createIfNotExistDir,
Expand All @@ -14,6 +15,7 @@ import {
limit,
myFetch,
saveToFile,
sleep,
} from "./utils.js";

// Lấy ra các thông tin cần thiết (id, ảnh, video) từ dữ liệu attachment.
Expand Down Expand Up @@ -150,6 +152,12 @@ const fetchWallMedia = async ({

// get next paging
url = fetchData?.paging?.next;

// wait for next fetch - if needed
if (WAIT_BEFORE_NEXT_FETCH) {
console.log(`Sleeping ${WAIT_BEFORE_NEXT_FETCH}ms...`);
await sleep(WAIT_BEFORE_NEXT_FETCH);
}
} else {
break;
}
Expand Down

0 comments on commit cfbb35c

Please sign in to comment.