Pular para conteúdo

5. Setup do Projeto

Este guia mostra como configurar o ambiente com Poetry, instalar as dependências e executar a pipeline completa — da extração dos dados ao carregamento no PostgreSQL.


🧱 Requisitos


⚙️ Instalação com Poetry

# 1. Clone o repositório
git clone https://github.com/lenontorma/webscraping_selenium.git
cd webscraping_selenium

# 2. Instale as dependências com Poetry que estão no pyproject.toml
poetry install

# 3. Ative o ambiente virtual do Poetry
poetry shell (Deve ser instalada a extensão "poetry self add poetry-plugin-shell")

🛠️ Banco PostgreSQL

CREATE DATABASE webscraping;

\c webscraping

CREATE TABLE imoveis (
    id SERIAL PRIMARY KEY,
    url TEXT,
    endereco TEXT,
    aluguel TEXT,
    condominio TEXT,
    iptu TEXT,
    total TEXT
);

E não se esqueça, ajuste a conexão no load_data.py com suas credenciais PostgreSQL.

📚 Rodar a Documentação Local

poetry add mkdocs --group docs
poetry run mkdocs serve

Acesse via: http://localhost:8000