Scraper de People Also Ask: perguntas, respostas e fontes do Google

TL;DR

• Ele extrai as perguntas do People Also Ask do Google, o conteúdo de resposta atrás delas, os links de fonte e os metadados, em escala.
• O diagnóstico do README sobre os scrapers existentes é específico: ferramenta só HTTP recebe casca vazia porque o Google exige JavaScript, Selenium é detectado, e a maioria coleta o texto da pergunta sem a resposta.
• A correção tem três partes: Playwright com Chrome real, perfil de navegador persistente que reduz gatilho de captcha e clique para expandir que extrai resposta, fonte e pergunta nova.
• A recursão em largura tem controle de profundidade, então uma pergunta semente vira grafo em vez de lista.

O que é e para quem

O People Also Ask é um scraper em Python para a caixa PAA do Google, feito com Playwright. Ele vem como CLI e como biblioteca, e escreve JSON ou CSV.

É para quem faz pesquisa de palavra-chave e quer a pergunta que as pessoas realmente digitam, não a que a ferramenta de palavra-chave inventa; e para quem já leu suficiente "ferramenta de PAA" para saber que metade devolve texto de pergunta sem resposta atrás.

Por que os scrapers existentes quebram

Os três diagnósticos do README valem repetir porque explicam o projeto:

• Scraper só HTTP falha. O Google exige JavaScript para renderizar resultado, então um requests.get() devolve casca vazia, não a caixa PAA.
• Scraper com Selenium quebra. O sistema anti-bot do Google detecta ChromeDriver com facilidade, e seletor interno jsname muda sem aviso.
• Sem extração de resposta. A maioria coleta só o texto da pergunta, perdendo o conteúdo de resposta que aparece quando você clica.

Como este resolve

1. Playwright com Chrome real (channel="chrome") renderiza a página completa, incluindo a caixa PAA.
2. Um perfil de navegador persistente guarda cookie e histórico, o que o README diz reduzir bastante o gatilho de captcha.
3. Clique para expandir extrai resposta e link de fonte, e descobre pergunta nova por recursão em largura.
4. Seletor resiliente com várias estratégias de fallback usa o atributo data-q como chave principal em vez de token jsname frágil.
5. Detecção de captcha levanta erro claro em vez de fazer parsing silencioso de lixo.

O último ponto é o que salva a execução: scraper que lê página de captcha como se fosse resultado produz dataset plausível e vazio, o que é pior que uma falha.

Recursos

• Pergunta e resposta — o texto da pergunta mais o conteúdo de resposta e os links de fonte, não só a pergunta.
• Recursão em largura — clicar numa pergunta a expande e revela duas ou três perguntas novas, com travessia controlada por profundidade.
• Multi-idioma e geo — hl para idioma e gl para país, para resultado localizado.
• Cache em SQLite — cache persistente opcional que evita re-scraping da mesma consulta.
• Defesa anti-bot — perfil de Chrome persistente, rotação de user-agent, script stealth e detecção de captcha.
• CLI e biblioteca — ferramenta de linha de comando, ou biblioteca Python importável.
• Saída JSON e CSV — pergunta, resposta, fontes, profundidade e perguntas relacionadas.

Início rápido

pip install people-also-ask
playwright install chromium

O README registra que channel="chrome" exige o Google Chrome instalado no sistema, e que passar channel=None no construtor PaaScraper troca para o Chromium.

Quando usar, quando não usar

Use quando você está montando um mapa de assunto e quer as perguntas que o Google de fato mostra, quando precisa do conteúdo de resposta atrás de cada pergunta em vez da lista de perguntas, ou quando quer o grafo de perguntas de um assunto semente com profundidade controlada.

Não use como crawler em massa sem vigiar captcha: a camada anti-bot do README reduz gatilho, e não promete eliminar. Não use como fonte de dado de ranking também — o PAA te dá pergunta e fonte, não volume nem dificuldade. E lembre do controle de profundidade: recursão em largura expande mais rápido do que se espera, e profundidade é o que limita.

Sources

1. People Also Ask — repositório — os três diagnósticos, as cinco correções, recursos e requisitos citados acima.
2. README.md — comandos de instalação, início rápido, licença (MIT).

Página do projeto: People Also Ask scraper

Para o fluxo que transforma essas perguntas em plano de conteúdo priorizado, veja a skill de SEO, GEO e ASO.

O repositório tem licença MIT.

FAQ

Precisa de chave de API do Google? Não. Ele renderiza a página com Playwright e Chrome real, e o perfil persistente reduz gatilho de captcha.

Ele extrai resposta ou só a pergunta? Resposta: clicar na pergunta a expande e o scraper extrai o conteúdo de resposta e os links de fonte, e ainda descobre pergunta nova.

Dá para descer mais de um nível? Sim, com recursão em largura e controle de profundidade, que é o que limita o crawl.

O que ele gera de saída? JSON ou CSV com pergunta, resposta, fontes, profundidade e perguntas relacionadas, mais cache opcional em SQLite.