Sources d’extraction et prise en charge des plateformes

Sweepy trouve des emplois de deux façons. Il interroge directement quatre sites ATS publics et un site d’emploi new-yorkais. Il peut aussi lire des flux d’agrégateurs via python-jobspy. Cette page liste chaque source et montre comment orienter Sweepy vers votre secteur.

Sources par défaut

D’origine, Sweepy balaie cinq sources déterministes plus un chemin d’agrégateur. Les sources déterministes utilisent des points d’accès publics que tout le monde peut ouvrir. Elles n’exigent ni compte, ni connexion, ni service payant.

Source	Clé de configuration	Fichier d’amorçage	Point d’accès
Greenhouse	`sources.greenhouse.boards`	`data/sources/greenhouse_boards.txt`	`boards-api.greenhouse.io/v1/boards/{board}/jobs?content=true`
Ashby	`sources.ashby.orgs`	`data/sources/ashby_orgs.txt`	`api.ashbyhq.com/posting-api/job-board/{org}`
Lever	`sources.lever.companies`	`data/sources/lever_companies.txt`	`api.lever.co/v0/postings/{company}?mode=json`
Workable	`sources.workable.slugs`	`data/sources/workable_slugs.txt`	`apply.workable.com/api/v1/widget/accounts/{slug}`
Built In NYC	`sources.builtinnyc.categories`	`data/sources/builtin_categories.txt`	`builtinnyc.com/{category}`
Glassdoor	`sources.jobspy.glassdoor`	Aucun	via `python-jobspy`

Règles d’activation

Sweepy exécute une source déterministe quand les deux conditions ci-dessous sont réunies :

Vous définissez sources.<name>.enabled à true.
Vous définissez platforms.<name> à true là où un paramètre correspondant existe.

Les deux clés valent true par défaut.

Gardez ces exceptions en tête :

Built In NYC n’a pas de paramètre platforms.builtinnyc. Le moteur honore sources.builtinnyc.enabled seul. Chaque fiche inclut l’entreprise, le lieu de travail, l’emplacement et le salaire de la page d’annonce. Définissez sources.builtinnyc.detail_pages: true pour lire aussi le texte complet des offres. Built In bloque ces pages après quelques requêtes, donc Sweepy s’arrête au premier blocage.
Glassdoor passe par python-jobspy et honore sources.jobspy.glassdoor. Aucune clé platforms.glassdoor n’existe, donc cette clé sources suffit à la désactiver.

Pour désactiver une source, définissez l’une de ses clés à false.

Si votre profil précède la v2.2.0

avertissement

Greenhouse et Lever tournent désormais par défaut. Sweepy a changé ce comportement en v2.2.0. Les profils existants découvrent les nouvelles offres sauf si vous désactivez ces sources. Aucune valeur par défaut d’option n’a changé.

Les options platforms.ashby: false, platforms.workable: false, platforms.greenhouse: false et platforms.lever: false arrêtent maintenant ces sources d’amorçage déterministes. Avant la v2.2.0, elles filtraient uniquement les résultats de python-jobspy.

Désactivez une source avec sources.<name>.enabled: false ou son platforms.<name>: false.

Fonctionnement des fichiers d’amorçage

Sweepy utilise les fichiers d’amorçage de data/sources/ comme repli quand votre profil laisse les listes de sources vides.

Une liste vide, comme boards: [], se rabat sur le fichier d’amorçage préparé.
Une liste explicite remplace entièrement les amorces. Votre liste remplace les amorces, donc le moteur ne fusionne pas les deux.

Votre liste gagne. Vous choisissez les sites et les catégories d’emploi.

Exemples pour votre secteur

Ajoutez les sites ATS, organisations, entreprises, identifiants et catégories qui vous intéressent dans la section sources de votre profil.

Juridique

profiles/paralegal_nyc.yaml
sources:
  ashby:
    orgs:
      - "crosby"
      - "normlaw"
      - "hargrove-firm"
      - "lawhive"
  workable:
    slugs:
      - "shegerianand-associates-1"
      - "harper-james"
      - "legalvision"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/legal"
      - "jobs/legal/search/paralegal"

Rédaction technique

profiles/tech_writer.yaml
sources:
  greenhouse:
    enabled: true
    boards:
      - "gitlab"
      - "cloudflare"
  ashby:
    orgs:
      - "modal"
      - "perplexity"
      - "replit"
  lever:
    enabled: true
    companies:
      - "spotify"
  workable:
    slugs:
      - "soda-data-nv"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/technical-writer"

Santé et biotechnologie

profiles/healthcare.yaml
sources:
  workable:
    slugs:
      - "bask-health-1"
      - "atria-health"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/healthcare"

astuce

Copiez le bloc le plus proche de votre secteur, puis remplacez les entreprises que vous suivez déjà. Les jetons de site viennent de l’adresse carrières publique de l’entreprise.

Plateformes personnalisées

Enregistrez des domaines ATS personnalisés sous platforms.custom. Le moteur lit chaque lien d’offre qu’il découvre et le compare à vos domaines. Sweepy place les correspondances dans leur propre répertoire de rapport.

profiles/paralegal_nyc.yaml
platforms:
  custom:
    - name: "LawCrossing"
      domain: "lawcrossing.com"
      enabled: true
    - name: "Indeed Legal"
      domain: "indeed.com/legal"
      enabled: true

Chaque entrée prend trois champs :

Champ	Obligatoire	Ce qu’il fait
`name`	Oui	Le libellé que Sweepy affiche pour cette plateforme dans les rapports.
`domain`	Oui	Le domaine web ou le chemin que le moteur compare à chaque lien d’offre.
`enabled`	Non	Mettez `false` pour garder l’entrée mais ignorer la correspondance. Vaut `true` par défaut.

Moteurs optionnels

Sweepy inclut les moteurs ats et jobspy par défaut. Les moteurs optionnels ajoutent des sites quand vous les téléchargez.

Moteur	Sites	Avant l’installation
`hirehunt`	LinkedIn, Indeed, Naukri, Shine, Internshala, Unstop, Google Careers, Amazon, Meta, Apple, Netflix, Microsoft	Aucun
`openroles`	Sites Greenhouse, Lever, Ashby et Workday que vous nommez	Identifiants `companies`
`jobdrop`	33 sites, dont Google, Wellfound, Workday, iCIMS, Dice et USAJobs	Passez `--allow-engine-conflicts` avec JobSpy
`apify`	LinkedIn via un acteur géré	`APIFY_TOKEN` et facturation Apify

Installez tous les moteurs compatibles d’un coup :

Terminal
sweepy --install-engines all

L’ensemble all ignore JobDrop car il épingle curl-cffi<0.8 alors que JobSpy exige curl_cffi>=0.16.2.

Pour installer JobDrop séparément :

Terminal
sweepy --install-engines jobdrop --allow-engine-conflicts

L’option Download job engines de l’assistant de configuration lance les mêmes installations. Listez ensuite le moteur sous sources.enabled et définissez ses options de sites :

profiles/paralegal_nyc.yaml
sources:
  enabled: [jobspy, ats, openroles]
  openroles:
    companies:
      - "figma"
      - "stripe"

Compromis sur la bande passante

Les sites Greenhouse demandent le contenu complet en une requête par site en ajoutant ?content=true. Les descriptions, services et métadonnées de salaire arrivent alors prêts pour la notation. Certains sites renvoient des centaines d’offres, donc un balayage peut tirer quelques dizaines de mégaoctets sur l’ensemble des sites amorcés.

Sweepy borne ce coût de trois façons :

Il préfiltre les offres selon les titles de votre profil pendant la normalisation de chaque enregistrement.
Il envoie une requête par source d’amorçage à la fois, jamais en parallèle.
Il patiente pendant l’intervalle SWEEPY_SOURCE_DELAY entre les requêtes, qui vaut 0,2 seconde par défaut.

Des listes d’amorçage plus courtes finissent plus vite. Si un balayage vous semble lent, réduisez d’abord vos listes d’amorçage.

Compatibilité des plateformes

Comme Sweepy extrait du HTML brut et tourne sans navigateur sans interface, certains types de plateformes renvoient moins de données que d’autres.

Type de plateforme	Exemples	Compatibilité	Réserves
ATS publics	Greenhouse, Ashby, Lever, Workable, SmartRecruiters, Breezy HR	Entièrement pris en charge	Sweepy analyse les pages d’offre standard rendues par le serveur et vérifie la réponse de chaque lien.
SPA rendues côté client	Workday sur `myworkdayjobs.com`, Oracle HCM	Limitée	Ces plateformes rendent les pages d’offre avec du JavaScript côté client. Sans navigateur sans interface, les charges HTML initiales peuvent manquer de descriptions.
Portails derrière authentification	Handshake, intranets d’entreprise	Non pris en charge	Ces portails exigent des cookies de session ou des identifiants SSO.
Agrégateurs protégés contre les bots	Sites avec Cloudflare Turnstile ou PerimeterX	Débit limité	Les requêtes HTTP automatisées peuvent déclencher des blocages HTTP 403 sans rotation de proxy.

Remarque

Vous pouvez quand même voir des offres Workday dans les rapports quand un flux d’agrégateur les inclut. Sweepy vérifie le lien et note le poste à partir du texte que contient la charge utile.

Sources par défaut​

Règles d’activation​

Si votre profil précède la v2.2.0​

Fonctionnement des fichiers d’amorçage​

Exemples pour votre secteur​

Juridique​

Rédaction technique​

Santé et biotechnologie​

Plateformes personnalisées​

Moteurs optionnels​

Compromis sur la bande passante​

Compatibilité des plateformes​