12 sections

Wiki

Référence OpenTeam — pipeline, dashboard, scrapers et intégrations

Tout pour faire tourner OpenTeam : fonctionnement du pipeline, rôle de chaque page du dashboard, et exploitation des scrapers TikTok et Instagram.

01

Vue d'ensemble

OpenTeam ingère des tendances live via des microservices scrapers, les filtre avec Mistral AI, génère des packs de contenu OpenPro et envoie un digest Telegram. Le dashboard est votre salle de contrôle.

Démarrage rapide

Lancez le pipeline quotidien depuis le Centre de commande une fois les scrapers OK. Revoyez les packs dans la File, puis itérez les prompts dans Prompt Lab.

02

Pipeline quotidien

Le pipeline exécute ingestion → filtre → génération → digest. Déclenchez-le depuis le Centre de commande ou via POST /api/v1/jobs/daily-run.

  1. 1Ingestion : récupère les tendances de tous les scrapers activés
  2. 2Filtre : score de pertinence avec filter-v1.md + brand-rules.md
  3. 3Génération : accroches, scripts, légendes avec generate-v1.md
  4. 4Digest : résumé Telegram des idées approuvées

03

Pages du dashboard

Chaque entrée du menu couvre une étape du workflow contenu.

  1. 1Aujourd'hui — briefing du jour et stats rapides
  2. 2File — approuver, ignorer ou publier les packs générés
  3. 3Backlog — tendances filtrées mais à sauver les jours calmes
  4. 4Historique & Packs — parcourir les exécutions et contenus passés
  5. 5Tendances brutes — tendances ingérées non filtrées
  6. 6Exécutions — timeline pipeline et résultats scrapers

04

Prompt Lab

Modifiez les prompts filtre, génération et marque directement dans le dashboard. Les changements sont enregistrés dans prompts/ du repo.

  1. 1filter-v1.md — règles de scoring de pertinence
  2. 2generate-v1.md — format de sortie des packs contenu
  3. 3brand-rules.md — ton et garde-fous OpenPro partagés

05

Flotte de scrapers

Services FastAPI indépendants exposant GET /health et GET /trends. Configurez les URLs avec SCRAPER_BASE_URL_* dans .env.local. TikTok et Instagram exposent aussi POST /scrape.

  1. 1tiktok, capcut, google-trends — flotte active
  2. 2tiktok (:8085), capcut (:8088) — scrapers interactifs dans le dashboard
  3. 3Santé visible sur Scrapers et Centre de commande
  4. 4Démarrage local : bash env/scripts/up.sh scrapers

06

Vue d'ensemble

Le service TikTok tourne sur le port 8085. Le dashboard proxy via /api/tiktok/*. Tous les scrapers utilisent Chromium headless.

07

Scraper vidéo

Scrapez des vidéos TikTok par URL. Retourne légende, stats, métadonnées créateur, musique/vidéo et téléchargements optionnels.

Le scraper vidéo TikTok extrait des données structurées à partir des vidéos que vous choisissez.

  • Données vidéo : légende, URL, vues, cœurs, commentaires, partages, mentions, pays, horodatage, statut pub, hashtags, métadonnées vidéo et musique.
  • Infos créateur : nom, ID, avatar, bio, statut du compte, abonnés, abonnements, likes donnés/reçus, etc.

Comment scraper des vidéos TikTok

  1. Collez une ou plusieurs URLs vidéo TikTok dans le formulaire ci-dessous.
  2. Activez optionnellement les vidéos liées, téléchargements ou sous-titres.
  3. Cliquez sur Lancer le scrape et attendez les résultats.
  4. Consultez le tableau ou téléchargez le JSON brut.

Utilisations possibles des données

  • Analyse de sentiment et avis produits authentiques
  • Données pour recherche et social listening
  • Analyse de tendances, campagnes virales et contenus de créateurs
  • Repérage de contenus non vérifiés à forte valeur publique
  • Préparation ou analyse d'une campagne marketing TikTok

Exemple d'entrée

{
  "postURLs": [
    "https://www.tiktok.com/@apifytech/video/7398101551744552225"
  ],
  "shouldDownloadCovers": false,
  "shouldDownloadSlideshowImages": false,
  "shouldDownloadSubtitles": false,
  "shouldDownloadVideos": false
}

Exemple de sortie

{
  "authorMeta.name": "apifytech",
  "text": "📣 Yes, you can scrape job listings #data in a minute!!   #webscraping #techtiktok #job #automation ",
  "diggCount": 15,
  "shareCount": 0,
  "playCount": 243,
  "commentCount": 0,
  "videoMeta.duration": 23,
  "musicMeta.musicName": "original sound",
  "musicMeta.musicAuthor": "apifytech",
  "createTimeISO": "2024-08-01T09:32:32.000Z",
  "webVideoUrl": "https://www.tiktok.com/@apifytech/video/7398101551744552225"
}

La transcription audio (options Apify TRANSCRIBE_*) n'est pas supportée localement — téléchargement de sous-titres uniquement.

08

Analytics hashtag

Scrapez les analytics TikTok Creative Center par hashtag, pays et période (7/30/120 jours).

TikTok Hashtag Analytics extrait les données Creative Center pour les hashtags, le pays et la période choisis.

  • Données vidéo : vidéos liées, URLs, hashtags recommandés, vues totales, nombre de posts, URL hashtag.
  • Données audience : âges, proportions, intérêts, pays et labels.
  • Autre : info pays, industrie, longévité pub et tendance.

Utilisations possibles

  • Analyser tendances, campagnes virales et contenus de créateurs
  • Préparer ou analyser une campagne marketing TikTok
  • Analyse de sentiment et avis produits authentiques
  • Données pour recherche et social listening

Comment exporter les analytics hashtag

  1. Saisissez un ou plusieurs hashtags, le pays et la période.
  2. Cliquez sur Lancer le scrape et attendez les données Creative Center.
  3. Consultez le tableau analytics ci-dessous.
  4. Téléchargez le JSON brut pour export CSV/Excel.

Exemple d'entrée

{
  "adsCountryCode": "us",
  "adsTimeRange": "120",
  "hashtags": [
    "thailand",
    "coffee"
  ]
}

Exemple de sortie

{
  "hashtagName": "thailand",
  "period": "7",
  "countryCode": "US",
  "publishCnt": 3771,
  "videoViews": 25822635,
  "publishCntAll": 5828545,
  "videoViewsAll": 84739142571,
  "isPromoted": false,
  "audienceAges": [
    {
      "score": 67,
      "ageLevel": 3
    }
  ],
  "relatedHashtags": [
    {
      "hashtagName": "bangkok"
    }
  ]
}

09

Hashtags, profils & recherche

L'onglet scraper vidéo supporte aussi hashtags, profils et recherche via POST /scrape.

  1. 1Hashtags : vidéos contenant un hashtag
  2. 2Profils : vidéos, reposts, abonnés, abonnements
  3. 3Recherche : top, vidéos seules ou profils seuls
  4. 4Modes partagés : resultsPerPage, filtres dates, options de téléchargement

10

Utilisation API

Appelez le scraper directement sur SCRAPER_BASE_URL_TIKTOK (défaut http://localhost:8085). Health : GET /health. Tendances pipeline : GET /trends?limit=50.

GET/health
GET/trends?limit=50
POST/scrape
{
  "searchQueries": [
    "recruitment tips"
  ],
  "resultsPerPage": 20
}
POST/hashtag-analytics
{
  "hashtags": [
    "fyp"
  ],
  "adsCountryCode": "US",
  "adsTimeRange": "7"
}

11

Formats de sortie

Toutes les réponses JSON avec items[] et meta{}. Utilisez le dump JSON du dashboard ou branchez votre ETL. Vidéos = format Apify clockworks/tiktok-scraper. Analytics = format Apify hashtag analytics.

12

Développement local

Tournez sans Docker avec SQLite et Celery synchrone (CELERY_EAGER=1).

  1. 1cp .env.local.example .env.local et définir MISTRAL_API_KEY
  2. 2Orchestrateur sur :8000 · Dashboard sur :3000
  3. 3Les scrapers doivent tourner — pas de données mock
  4. 4Doc API sur http://localhost:8000/docs
Définissez CELERY_EAGER=1 dans .env.local pour un pipeline synchrone sans Redis.