TikTok Data Collector

TikTok投稿自動収集・DB保存システム 運用マニュアル

自動ブラウザ操作(Chrome)によるTikTok投稿URLの巡回収集とサーバー側DBへの自動保存手順

【事前準備】 ※初回または設定変更時のみ

1 Xサーバー側の準備(窓口の設置)
  • api_receiver.php 内のデータベース接続情報($dsn, $user, $password)をXサーバーの環境に合わせて書き換えます。
  • Xサーバーの tools.bitlabo-the-final.com ディレクトリに api_receiver.php をアップロードします。
2 Python側の準備(合言葉の統一)
  • tiktok_scraper.py 内の payload にある "key": "your_secret_token" と、PHP側の $secret_key を同じ文字列(パスワード)にしておきます。

【日々の使い方】 ※データ収集を行う際の基本ステップ

データ収集を行う際は、常に以下の順番でコマンドを実行します。

ステップ 1

専用のChromeを起動する

普段使っているブラウザとは完全に切り離された、自動操作専用の真っさらなChromeを起動します。
PowerShell(ターミナル)を開き、以下のコマンドを実行します。

PowerShell
& "C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:\chrome_debug_temp"
ステップ 2

収集スクリプトを実行する

ステップ1とは別のPowerShellのタブ(または新しいウィンドウ)を開き、スクリプトを配置したディレクトリ(tiktok_scraper)へ移動した後、以下のコマンドを実行します。

PowerShell
python tiktok_scraper.py
ステップ 3

自動処理の完了を待つ

スクリプトが以下の動作を自動で行います。

  • 1
    ステップ1で開いたChromeの新しいタブでTikTokの検索結果(千歳市)を開く。
  • 2
    一番下の動画を引っ張り上げる形で画面をスクロールし、追加の動画を読み込む(デフォルト5回)。
  • 3
    画面内の動画URL(/video/を含むもの)をすべてリストアップする。
  • 4
    Xサーバー(api_receiver.php)へリストを送信する。
  • 5
    Xサーバー側で重複を弾きながら、新しいURLのみをデータベースへ保存する。
ターミナルに「サーバーからの応答: DB保存完了...」と表示されれば作業完了です。
専用のChromeは手動で閉じて構いません。