Fuentes de extracción y plataformas compatibles

Sweepy encuentra empleos de dos maneras. Consulta directamente cuatro plataformas ATS públicas y una plataforma de empleo de Nueva York. También puede leer canales de agregadores a través de python-jobspy. Esta página enumera todas las fuentes y te muestra cómo orientar Sweepy hacia tu sector.

Fuentes predeterminadas

De entrada, Sweepy revisa cinco fuentes deterministas y una ruta de agregador. Las fuentes deterministas usan endpoints públicos que cualquiera puede abrir. No necesitan cuenta, inicio de sesión ni servicio de pago.

Fuente	Clave de configuración	Archivo semilla	Endpoint
Greenhouse	sources.greenhouse.boards	data/sources/greenhouse_boards.txt	boards-api.greenhouse.io/v1/boards/{board}/jobs?content=true
Ashby	sources.ashby.orgs	data/sources/ashby_orgs.txt	api.ashbyhq.com/posting-api/job-board/{org}
Lever	sources.lever.companies	data/sources/lever_companies.txt	api.lever.co/v0/postings/{company}?mode=json
Workable	sources.workable.slugs	data/sources/workable_slugs.txt	apply.workable.com/api/v1/widget/accounts/{slug}
Built In NYC	sources.builtinnyc.categories	data/sources/builtin_categories.txt	builtinnyc.com/{category}
Glassdoor	sources.jobspy.glassdoor	None	mediante python-jobspy

Reglas de activación

Sweepy ejecuta una fuente determinista cuando se cumplen estos dos ajustes:

1. Configuras sources.<name>.enabled en true.
2. Configuras platforms.<name> en true cuando existe un ajuste equivalente.

Ambas claves valen true por defecto.

Ten en cuenta estas excepciones:

• Built In NYC no tiene la configuración platforms.builtinnyc. El motor solo respeta sources.builtinnyc.enabled. Cada ficha incluye empresa, lugar de trabajo, ubicación y salario de la página de listados. Configura sources.builtinnyc.detail_pages: true para leer también el texto completo de la publicación. Built In bloquea esas páginas con un desafío tras algunas peticiones, así que Sweepy se detiene ante el primer desafío.
• Glassdoor funciona a través de python-jobspy y respeta sources.jobspy.glassdoor. No existe la clave platforms.glassdoor, por lo que solo esa clave sources lo desactiva.

Para desactivar una fuente, configura una de sus claves en false.

Si tu perfil es anterior a la v2.2.0

aviso

Ahora Greenhouse y Lever se ejecutan por defecto. Sweepy cambió este comportamiento en la v2.2.0. Los perfiles existentes descubren las nuevas publicaciones a menos que desactives esas fuentes. El valor por defecto de las banderas no cambió.

Las banderas platforms.ashby: false, platforms.workable: false, platforms.greenhouse: false y platforms.lever: false ahora detienen esas fuentes semilla deterministas. Antes de la v2.2.0, solo filtraban resultados de python-jobspy.

Desactiva una fuente con sources.<name>.enabled: false o su platforms.<name>: false.

Cómo funcionan los archivos semilla

Sweepy usa los archivos semilla en data/sources/ como respaldo cuando tu perfil deja vacías las listas de fuentes.

• Una lista vacía, como boards: [], recurre al archivo semilla curado.
• Una lista explícita anula las semillas por completo. Tu lista reemplaza a las semillas, por lo que el motor no fusionará ambas.

Tu lista gana. Tú eliges las plataformas y las categorías de empleo.

Ejemplos para tu campo

Añade las plataformas ATS, organizaciones, empresas, slugs y categorías que te interesan en la sección sources de tu perfil.

Legal

profiles/paralegal_nyc.yaml

sources:
  ashby:
    orgs:
      - "crosby"
      - "normlaw"
      - "hargrove-firm"
      - "lawhive"
  workable:
    slugs:
      - "shegerianand-associates-1"
      - "harper-james"
      - "legalvision"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/legal"
      - "jobs/legal/search/paralegal"

Redacción técnica

profiles/tech_writer.yaml

sources:
  greenhouse:
    enabled: true
    boards:
      - "gitlab"
      - "cloudflare"
  ashby:
    orgs:
      - "modal"
      - "perplexity"
      - "replit"
  lever:
    enabled: true
    companies:
      - "spotify"
  workable:
    slugs:
      - "soda-data-nv"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/technical-writer"

Salud/biotecnología

profiles/healthcare.yaml

sources:
  workable:
    slugs:
      - "bask-health-1"
      - "atria-health"
  builtinnyc:
    enabled: true
    categories:
      - "jobs/healthcare"

consejo

Copia el bloque más cercano a tu campo y luego reemplaza las empresas por las que ya sigues. Los tokens de las plataformas provienen de la página pública de empleo de la empresa.

Plataformas personalizadas

Registra los dominios ATS personalizados en platforms.custom. El motor lee cada enlace de empleo que descubre y lo compara con tus dominios. Sweepy enruta las coincidencias a su propio directorio de informes.

profiles/paralegal_nyc.yaml

platforms:
  custom:
    - name: "LawCrossing"
      domain: "lawcrossing.com"
      enabled: true
    - name: "Indeed Legal"
      domain: "indeed.com/legal"
      enabled: true

Cada entrada usa tres campos:

Campo	Obligatorio	Qué hace
name	Sí	La etiqueta que Sweepy muestra para esta plataforma en los informes.
domain	Sí	El dominio web o ruta que el motor compara con el enlace de cada oferta.
enabled	No	Establécelo en false para mantener la entrada pero omitir la coincidencia. Por defecto es true.

Motores opcionales

Sweepy incluye los motores ats y jobspy por defecto. Los motores opcionales añaden plataformas cuando los descargas.

Motor	Plataformas	Antes de instalar
hirehunt	LinkedIn, Indeed, Naukri, Shine, Internshala, Unstop, Google Careers, Amazon, Meta, Apple, Netflix, Microsoft	Ninguno
openroles	Plataformas de Greenhouse, Lever, Ashby y Workday que indiques	slugs en companies
jobdrop	33 plataformas, incluyendo Google, Wellfound, Workday, iCIMS, Dice y USAJobs	Pasa --allow-engine-conflicts junto a JobSpy
apify	LinkedIn a través de un actor gestionado	APIFY_TOKEN y facturación de Apify

Instala todos los motores compatibles a la vez:

Terminal

sweepy --install-engines all

El conjunto all omite JobDrop porque fija curl-cffi<0.8, mientras que JobSpy necesita curl_cffi>=0.16.2.

Para instalar JobDrop por separado:

Terminal

sweepy --install-engines jobdrop --allow-engine-conflicts

La opción Download job engines del asistente de configuración ejecuta las mismas instalaciones. Después, añade el motor en sources.enabled y configura las opciones de su plataforma:

profiles/paralegal_nyc.yaml

sources:
  enabled: [jobspy, ats, openroles]
  openroles:
    companies:
      - "figma"
      - "stripe"

Impacto en el ancho de banda

Las plataformas de Greenhouse piden el contenido completo en una solicitud por plataforma al añadir ?content=true. Así, las descripciones, departamentos y metadatos salariales llegan listos para su evaluación. Algunas plataformas devuelven cientos de ofertas. Por eso, un barrido puede descargar algunas decenas de megabytes entre todas las plataformas configuradas.

Sweepy limita este consumo de tres maneras:

• Filtra previamente las ofertas según los titles de tu perfil mientras normaliza cada registro.
• Envía una solicitud por cada fuente configurada a la vez. Nunca lo hace en paralelo.
• Hace una pausa durante el intervalo SWEEPY_SOURCE_DELAY entre solicitudes. Su valor por defecto es de 0.2 segundos.

Las listas de fuentes más pequeñas terminan más rápido. Si notas lento un barrido, recorta tus listas de fuentes primero.

Compatibilidad de plataformas

Como Sweepy extrae HTML plano y se ejecuta sin un navegador headless, algunos tipos de plataforma devuelven menos datos que otros.

Tipo de plataforma	Ejemplos	Compatibilidad	Advertencias
ATS público	Greenhouse, Ashby, Lever, Workable, SmartRecruiters, Breezy HR	Totalmente compatible	Sweepy analiza las páginas de empleo estándar renderizadas en el servidor y comprueba que cada enlace responda correctamente.
SPA renderizadas en el cliente	Workday en myworkdayjobs.com, Oracle HCM	Limitada	Estas plataformas renderizan las páginas de empleo con JavaScript del lado del cliente. Sin un navegador headless, las cargas útiles HTML iniciales pueden no tener descripciones.
Portales con autenticación	Handshake, intranets corporativas	No compatible	Estos portales requieren cookies de sesión o credenciales SSO.
Agregadores anti-bots	Plataformas con Cloudflare Turnstile o PerimeterX	Límite de tasa	Las solicitudes HTTP automatizadas pueden activar bloqueos HTTP 403 sin rotación de proxies.

nota

Aún puedes ver ofertas de Workday en los informes cuando el feed de un agregador las incluye. Sweepy valida el enlace y evalúa el puesto a partir de cualquier texto que contenga la carga útil.