Eerder klantwerk · geen OmniTechs-case
Het registerproject bewaarde een bedrijf. Het legt niet uit hoe het langs een blokkade kwam.
Een klant wilde de bedrijven van één land als gestructureerde records. De code uit 2022 bewaart het bedrijf, de personen, de activiteit en de voortgang per pagina. Hoe verzoeken werden verspreid zodat een bron niet zou blokkeren, staat niet op deze pagina.
Wat er wel en niet wordt getoond
business_fetcher is een openbare Django-repository van 3 januari 2022, met 94 commits van één account. Het Business-model heeft een unieke URL, een registratiecode, rechtsvorm, btw-velden, personeelsaantal en een vlag of het record compleet is. Activity bewaart EMTAK- en NACE-codes. Page en URL houden bij welke pagina klaar is en welke URL faalde. Er is ook een Proxy-model.
EMTAK hoort bij Estland, en de containernaam in de deployhulp is rikfetcherapp. Dit is eerder klantwerk van vóór OmniTechs, geen klantcase van de studio, en geen handleiding om een bron te omzeilen. Het demo-wachtwoord en het serveradres uit de README worden hier niet herhaald.
Het record
Wat er per bedrijf bleef staan
De kolommen komen uit fetcher/models.py. Het is de vorm van de dataset, niet een export.
| Onderdeel | Velden in de code | Wat de pagina weglaat |
|---|---|---|
| Business | Naam, registratiecode, rechtsvorm, status, btw-nummer, personeel, e-mail, unieke URL, compleet of nog bezig | Geen export en geen omweg |
| Person | Naam, rol en een persoonskenmerk, gekoppeld aan het bedrijf | Geen persoonsgegevens uit een echt register |
| Activity | Gebied, EMTAK-code, NACE-code en een bronvermelding | Geen claim dat elk record compleet is |
| Voortgang | Paginanummer met een klaar-vlag, en een URL met een faal-vlag | Geen succespercentage |
De klus
Eén land, als rijen in plaats van als websites
De founder beschrijft een klant die alle bedrijven in één land wilde. De code maakt daar een hervatbare rij van: een pagina is klaar of niet, een URL is gefaald of niet, een bedrijf is compleet of staat nog op in_process.
Dat is het bruikbare deel voor een latere lezer. Een dataset is pas iets als je kunt zien wat ontbreekt.
Wat deze pagina weigert
Een proxytabel is geen methode die hier wordt uitgelegd
De founder zegt dat het ophalen in meerdere rondes gebeurde zodat de bron niet zou blokkeren. In de code staat daar een Proxy-tabel bij, met een laatst-gebruikt tijdstip. Deze pagina noemt dat feit en stopt daar.
OmniTechs publiceert niet hoe je verzoeken verspreidt, vermomt of herhaalt om een blokkade te ontlopen. Als een bron een toegestane API of een open bestand heeft, is dat de koppeling die eerst wordt onderzocht. Een register dat bulkverkeer weigert, is een grens van de bron, geen puzzel om te winnen.
Begin bij een bron die het ophalen toestaat.
Beschrijf welk register of welke API de gegevens al aanbiedt, en welke velden je echt nodig hebt.