Hacksenkessel's Blog

Hacking, Pentesting, Algorithms, Computer Science

Programming a Web-Spider —

A Web-Spider (or Web-Crawler) is a program that systematically scans the internet or a single website for web content.
 
This can be useful for:

  • search engines like Google to analyze web content for their search index
  • analyzing your entire website structure
  • finding certain kind of content on your website, such as all videos, all PDFs, all images or whatever you’re looking for.
  • web developers or CMS-developers, CMS-users to find broken links on their websites
  • hackers and pentesters to find HTTP GET-parameters on their websites’ URLs that could have SQL-injection vulnerabilities.

 
Let’s stick to the SQL-injection vulnerabilities for the sake of subjects like hacking and pentesting on this domain and let us develop a Web-Spider that:

  1. recursively analyzes a website / domain
  2. skips unnecessary content like broken URLS, URLs to other domains, multimedia content, downloadable files, javascript code, etc.
  3. stores the entire website structure without its content (as in only the URLs), the HTTP GET parameters and the list of skipped URLs to files
  4. uniquely stores each n-tuple of variable name and value in HTTP GET parameters.

 
I used the programming language python with urllib2 and urlparse for the Web-Spider development. Usage:

./webspider.py <your website>

 
You can change the source-code to your needs or do whatever you want to do with it. Here you go:

#!/usr/bin/python

''' webspider.py from hacksenkessel.com - programming a Web-Spider '''

import os
import re
import sys
import urllib2
import urlparse

''' class UniqueURLS: handles unique URLs '''
class UniqueURLs:  
  __urls = {}           # URL-hash Key = (Protocol, Link, (GET-parameter names)), Value = amount)
  __max_kind = 0        # max. number of unique links 
  
  def __init__(self, max_kind):
    n = max(max_kind, 1)     
    self.__max_kind = n
    
  ''' transforms URL to unique link '''
  def __transform(self, url):
    t = urlparse.urlparse(url)  
    # get GET-variables from PHP URL  
    q = re.findall("[?;]([^?=;]+)", url)
    # create unique hash from protocol, domain, url and GET variable names
    return (str(t[0]) + "://" + str(t[1]) + str(t[2]), tuple(q))
  
  ''' add URL '''
  def add(self, url):
    e = self.__transform(url)
    if not e in self.__urls:
      self.__urls[e] = 1
    else:
      if self.__urls[e] == self.__max_kind: return False
      self.__urls[e] += 1       
    return True
  
  ''' count URLs of the same kind or all URLs '''
  def count(self, url=''):
    if not url: return len(self.__urls)
    e = self.__transform(url)
    if not e in self.__urls: return 0
    return self.__urls[e]  
        
    
''' class Website: recursively scans websites and saves HTTP GET-parameter URLs '''
class Website:
  __domain             = ''    # website's domain name  
  __links              = set() # accepted URLs
  __http_get_urls      = set() # HTTP GET-URLs
  __skipped            = set() # skipped URLs  
  __max_urls           = 40000 # max URLs to evaluate
  __follow_links       = 20    # max. number of similar links to follow (see class UniqueURLs)
  __max_url_length     = 256   # max allowed length of URL
  __max_http_get_urls  = 300   # max amount of HTTP GET-URLS to collect  
  
  ''' Interface to class UniqueURLs '''  
  __unique_urls        = UniqueURLs(__follow_links)  

  ''' constructor accessing the website's URLs '''
  def __init__(self, url):
    http = "http://"
    https = "https://"
    c = 0
    fn = ''
    # reject invalid URLs
    if not str(url).startswith(http) and not str(url).startswith(https): url = http + url
    if not self.is_url(url): 
      sys.stderr.write("not a valid URL: " + url + "\n")
      return
    # get domain name 
    self.__domain = self.get_domain(url)    
    print "domain:", self.__domain
    # check URL 
    print "evaluating HTTP-code to URL '" + url + "' ... ",
    c = self.get_http_code(url)
    if c == 200: 
      print c, "O.K."
    else:
      if c == None: 
        sys.stderr.write("Wrong URL\n")
      else:
        sys.stderr.write("error code: " + c + "\n")
      return  
    # scan URL    
    self.__scan_page(url)
    # save content to files
    fn = str(urlparse.urlparse(url)[1])
    self.__save_content(fn + ".urls", self.__links)
    self.__save_content(fn + ".skipped", self.__skipped)
    self.__save_content(fn + ".get", self.__http_get_urls)
          
  ''' returns HTTP-code of specific URL '''    
  def get_http_code(self, link):
    if not self.is_url(str(link)): return None
    try:
      url = urllib2.urlopen(link)
    except:
      return None        
    return url.code
  
  ''' basic URL syntax check'''
  def is_url(self, link): 
    return bool(re.search("^http[s]?://[^ ]+\.[^ ]+$", str(link)))
  
  ''' gets the domain name from valid URL '''
  def get_domain(self, link):
    m = re.search("(^http[s]?://[^/]+)", str(link))
    if m: return m.groups()[0]
    return ''     
  
  ''' recursive algorithm to scan website and it's plain HTML-contents '''
  def __scan_page(self, link):
    # reject invalid URLs
    if not self.is_url(link): return    
    # reject already processed links    
    if link in self.__links or self.__unique_urls.count(link) > 1: return
    # reject exceeding max. amount of URLs
    if (len(self.__links) >= self.__max_urls): return
    # reject too long URLs
    if len(link) > self.__max_url_length: return
    # reject exceeding max. amount of HTTP GET-URLs
    if (len(self.__http_get_urls) >= self.__max_http_get_urls): return
    # reject recursive repetitions
    if re.search("\..+/", urlparse.urlparse(link)[2]): return
    # try to open the URL
    try:
      url = urllib2.urlopen(link)
    except:
      return
    # reject broken links and links that can't be accessed without errors    
    if not url or url.code != 200: return 
    # reject all destinations that are no web-pages    
    if not str(url.headers['content-type']).startswith('text/html'): return
    # strip final slash
    link = link.rstrip('/')
    # replace '&amp'
    link = link.replace("&amp;", "&")
    # save link
    print "scanning", link
    self.__links.add(link)
    self.__unique_urls.add(link)
    # add link to HTTP-GET URLs in case it contains GET-parameters
    if re.search("\?.+=", link): self.__http_get_urls.add(link)
    # scan html-content for URLs line by line 
    for u in url.read().split("\n"):
        for k in re.findall("\<a[ ]+href=\"([^\"]+)\"", u):          
          new_urls = []
          # reject backlink to domain
          if str(k) == '/': continue
          # reject anchor links
          if k.startswith('#'): continue
          # reject javascript code
          if 'javascript' in str(k): continue          
          # extend domain by relative link          
          if k.startswith('/'):
            # reject extending link after variable
            if '?' in link: continue 
            new_urls.append(str(self.__domain) + str(k))
          # extend current link by relative link  
          elif k.startswith('./'):
            # if variable set, replace file in URL
            if '?' in link:
              new_urls.append(link[:link.rfind('/')] + str(k)[1:])
            else:
              # append link
              new_urls.append(link + str(k)[1:])
          # absolute link to the same domain or any subdomain
          elif urlparse.urlparse(self.__domain)[1] in urlparse.urlparse(str(k))[1]:
            new_urls.append(k)
          # relative link without protocol
          elif not "://" in str(k):
            if link == self.__domain:
              # append domain by link
              new_urls.append(link + '/' + str(k))
            else:
              # replace current page by new page
              new_urls.append(link[:link.rfind('/')] + '/' + str(k))
          # reject everything else (like links to another domain)
          else:            
            if not str(k) in self.__skipped:
              sys.stderr.write("skipping " + str(k) + "\n")
              self.__skipped.add(str(k))
            continue
          # recursive call for new links
          for u in new_urls:
            # reject unique link kinds seen too often
            if not self.__unique_urls.add(u): continue
            self.__scan_page(u)
            
  ''' saves content to file '''
  def __save_content(self, filename, content):
    tmp = '/tmp/'
    try:
      f = open(filename, 'w')
      [ f.write("%s\n" %(c)) for c in sorted(content) ]
      f.close()
    except:
      sys.stderr.write("cannot write content to file: " + filename + "\n")
      if os.path.isfile(filename): os.remove(filename)
      if not filename.startswith(tmp): self.__save_content(tmp + os.path.basename(filename), content)      
      return
    print "file written:", filename
  
  
if __name__ == "__main__":
  if len(sys.argv) != 2:      
    print "usage:", os.path.basename(__file__), "URL"
    sys.exit(1)    
  site = Website(sys.argv[1])

 
Let’s take this domain as target via

./webspider.py http://hacksenkessel.com

and execute the code to see what happens:

domain: http://hacksenkessel.com
evaluating HTTP-code to URL 'http://hacksenkessel.com' ...  200 O.K.
scanning http://hacksenkessel.com
scanning http://hacksenkessel.com
scanning http://hacksenkessel.com/2014/brute-force-algorithm-in-c
scanning http://hacksenkessel.com/tag/algorithm
scanning http://hacksenkessel.com/2014/anonymity-on-the-internet
skipping http://www.kali.org/
skipping http://www.debian.org/
skipping http://www.privoxy.org/faq/misc.html#TOR
skipping http://www.truecrypt.org/
skipping http://code.google.com/p/cryptsetup/
skipping http://www.freebsd.org/doc/handbook/disks-encrypting.html
scanning http://hacksenkessel.com/tag/anonymity
scanning http://hacksenkessel.com/2014/hacksenkessel-says-howdy
scanning http://hacksenkessel.com/tag/howdy
scanning http://hacksenkessel.com/category/algorithm
scanning http://hacksenkessel.com/category/announcements
scanning http://hacksenkessel.com/category/hacking
scanning http://hacksenkessel.com/category/programming-languages
scanning http://hacksenkessel.com/category/programming-languages/cpp
scanning http://hacksenkessel.com/wp-login.php
skipping http://wordpress.org/
scanning http://hacksenkessel.com/wp-login.php?action=lostpassword
scanning http://hacksenkessel.com/tag/firewall
scanning http://hacksenkessel.com/tag/hacking
scanning http://hacksenkessel.com/tag/internet
scanning http://hacksenkessel.com/tag/iptables
scanning http://hacksenkessel.com/tag/kali
scanning http://hacksenkessel.com/tag/linux
scanning http://hacksenkessel.com/tag/pentesting
scanning http://hacksenkessel.com/tag/privoxy
scanning http://hacksenkessel.com/tag/tor
scanning http://hacksenkessel.com/tag/bruteforce
scanning http://hacksenkessel.com/tag/cpp
file written: hacksenkessel.com.urls
file written: hacksenkessel.com.skipped
file written: hacksenkessel.com.get

 
The program finally creates 3 files:

<website>.urls: Contains all URLs linking so the website’s content:

http://hacksenkessel.com
http://hacksenkessel.com/2014/anonymity-on-the-internet
http://hacksenkessel.com/2014/brute-force-algorithm-in-c
http://hacksenkessel.com/2014/hacksenkessel-says-howdy
http://hacksenkessel.com/category/algorithm
http://hacksenkessel.com/category/announcements
http://hacksenkessel.com/category/hacking
http://hacksenkessel.com/category/programming-languages
http://hacksenkessel.com/category/programming-languages/cpp
http://hacksenkessel.com/tag/algorithm
http://hacksenkessel.com/tag/anonymity
http://hacksenkessel.com/tag/bruteforce
http://hacksenkessel.com/tag/cpp
http://hacksenkessel.com/tag/firewall
http://hacksenkessel.com/tag/hacking
http://hacksenkessel.com/tag/howdy
http://hacksenkessel.com/tag/internet
http://hacksenkessel.com/tag/iptables
http://hacksenkessel.com/tag/kali
http://hacksenkessel.com/tag/linux
http://hacksenkessel.com/tag/pentesting
http://hacksenkessel.com/tag/privoxy
http://hacksenkessel.com/tag/tor
http://hacksenkessel.com/wp-login.php
http://hacksenkessel.com/wp-login.php?action=lostpassword

<website>.skipped: skipped URLs like foreign domains

http://code.google.com/p/cryptsetup/
http://wordpress.org/
http://www.debian.org/
http://www.freebsd.org/doc/handbook/disks-encrypting.html
http://www.kali.org/
http://www.privoxy.org/faq/misc.html#TOR
http://www.truecrypt.org/

<website>.get: uniquely sorted HTTP GET parameters for testing SQL injections

http://hacksenkessel.com/wp-login.php?action=lostpassword

 
Scanning websites with forums such as PHPBB makes the output more complex. Here is another example scanning that website and its forum:

domain: http://talaie-martial-arts-academy.de
evaluating HTTP-code to URL 'http://talaie-martial-arts-academy.de' ...  200 O.K.
scanning http://talaie-martial-arts-academy.de
scanning http://talaie-martial-arts-academy.de/kampfkunst.html
scanning http://talaie-martial-arts-academy.de/kampfkunst/tae-kwon-do.html
scanning http://talaie-martial-arts-academy.de/kampfkunst/kickboxen.html
scanning http://talaie-martial-arts-academy.de/kampfkunst/muay-thai.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/grossmeister-tala-talaie.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-hans-juergen-deiss.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-danny-gabrielwinn.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-mujo-japic.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meisterin-julia-talaie.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-kerem-goek.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-markus-seel.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-david-chiappa.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meisterin-katja-krahl.html
scanning http://talaie-martial-arts-academy.de/galerie.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte.html
scanning http://talaie-martial-arts-academy.de/training-und-kontakt.html
scanning http://talaie-martial-arts-academy.de/probetraining.html
scanning http://talaie-martial-arts-academy.de/forum/phpBB3
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/index.php?sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/ucp.php?mode=register&sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/faq.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/ucp.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=leaders&sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?&sid=e5b26b0a4532b4e0c4aba2fb6d2ae333&first_char=
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=&sid=8250e3b8b88839d59b613ee8fe56500f&sk=m&sd=a
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?author_id=3&sr=posts&sid=fa27d7d3fde25ca5706b6474bc42d94b
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?st=0&sk=t&sd=d&sr=posts&sid=d16369b2360d24ed84efe338a0de2ea4&author_id=3&start=15
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/viewforum.php?f=32&sid=d16369b2360d24ed84efe338a0de2ea4
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=group&g=20&sid=4deff7d6b1f0faeb091e1830119d8a01
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sid=4deff7d6b1f0faeb091e1830119d8a01
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sg=1&sid=4deff7d6b1f0faeb091e1830119d8a01
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sk=a&sd=a&sg=1&sid=200d0276b55c6affcdec7d3695d4dd24
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/weltmeisterschaft-tae-kwon-do-2011
scanning http://talaie-martial-arts-academy.de/partner.html
scanning http://talaie-martial-arts-academy.de/impressum.html
scanning http://www.talaie-martial-arts-academy.de
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/meisterschuelerin-kickthaiboxen-anke-schlapp
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/manus-trophy-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/trainerlizenzseminar-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/extratraining-kickthaiboxing-sommerferien-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-kickboxen-deutsche-meisterschaft-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/40-jahre-kampfsport-in-dreiech-sprendlingen.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/videos-40-jahre-kampfkunst-2011-tae-kwon-do.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/videos-40-jahre-kampfkunst-2011-kickthai-boxen.html
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/faq.php#f07
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/faq.php#f07/ucp.php?mode=register&sid=f27ad963b8b37f1bafed029f383567ab
scanning http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?search_id=unanswered&sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-hessenmeisterschaft-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/tae-kwon-do-weltmeisterschaft-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-bezirksmeisterschaft-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/erstehilfe-kurs-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-challenge-series-2013
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/kampfkunst-lehrgang-2012.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/trainerlizenzseminar.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/tae-kwon-do-meister-2012.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/neue-kickthaibox-meisterschueler-2012.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/fest-des-sports-2012.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/zwei-neue-tkd-meister-2011.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-challenge-series-2011.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/neue-wako-coaching-lizenzen.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/katja-krahl-erringt-den-1-dan-in-tae-kwon-do.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/gesundheitswoche-neu-isenburg-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/reebok-runners-womens-run-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-kickbox-hessenmeisterschaft-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-bezirksmeisterschaft-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/fest-des-sports-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/wako-challenge-series-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/erstehilfe-lehrgang-beim-roten-kreuz-2010.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/weltmeisterschaft-tae-kwon-do-2009.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/zwei-neue-internationale-meister-2009.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/61.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/meister-hans-juergen-deiss-erringt-den-3-dan-in-tae-kwon-do-2009.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/diverse-erfolge-deutsche-meisterschaft-kukkiwon-10-mai-2009.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/63.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/berufung-zur-sportlerin-des-jahres-2009.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/neue-2-dans-tae-kwon-do-2008.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/fest-des-sports-2008.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/deutsche-meisterschaft-tae-kwon-do-2008.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/77.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/78.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/79.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/80.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/82.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/83.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/84.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/85.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/86.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/87.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/88.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/89.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/90.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/91.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolgsberichte/92.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/118.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/93.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/53.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/54.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/55.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/56.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/57.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/58.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/59.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/60.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/61.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/62.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/63.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/74.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/76.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/75.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/77.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/78.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/79.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/80.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/82.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/83.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/84.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/85.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/86.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/87.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/88.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/89.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/90.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/91.html
scanning http://talaie-martial-arts-academy.de/galerie/bilder-sammlung/117.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/95.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/96.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/97.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/99.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/100.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/101.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/105.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/107.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/108.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/109.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/110.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/111.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/112.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/113.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/114.html
scanning http://talaie-martial-arts-academy.de/galerie/video-galerie/115.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/61.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/63.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/77.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/78.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/79.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/80.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/82.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/83.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/84.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/85.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/86.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/87.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/88.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/89.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/90.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/91.html
scanning http://talaie-martial-arts-academy.de/galerie/erfolge/92.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/118.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/93.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/53.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/54.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/55.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/56.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/57.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/58.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/59.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/60.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/61.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/62.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/63.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/74.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/76.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/75.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/77.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/78.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/79.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/80.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/82.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/83.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/84.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/85.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/86.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/87.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/88.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/89.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/90.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/91.html
scanning http://talaie-martial-arts-academy.de/galerie/bildersammlung/117.html
scanning http://talaie-martial-arts-academy.de/galerie/videos.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/95.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/96.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/97.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/99.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/100.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/101.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/105.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/107.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/108.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/109.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/110.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/111.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/112.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/113.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/114.html
scanning http://talaie-martial-arts-academy.de/galerie/videos/115.html
scanning http://talaie-martial-arts-academy.de/unsere-trainer/meister-danny-gabriel-winn.html
scanning http://talaie-martial-arts-academy.de/kampfkunst/47.html
scanning http://talaie-martial-arts-academy.de/kampfkunst/48.html
file written: talaie-martial-arts-academy.de.urls
file written: talaie-martial-arts-academy.de.skipped
file written: talaie-martial-arts-academy.de.get

And those URLs from file talaie-martial-arts-academy.get need to be tested for SQL-injections by PHPBB developers:

http://talaie-martial-arts-academy.de/forum/phpBB3/faq.php#f07/ucp.php?mode=register&sid=f27ad963b8b37f1bafed029f383567ab
http://talaie-martial-arts-academy.de/forum/phpBB3/faq.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
http://talaie-martial-arts-academy.de/forum/phpBB3/index.php?sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?&sid=e5b26b0a4532b4e0c4aba2fb6d2ae333&first_char=
http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=&sid=8250e3b8b88839d59b613ee8fe56500f&sk=m&sd=a
http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=group&g=20&sid=4deff7d6b1f0faeb091e1830119d8a01
http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?mode=leaders&sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
http://talaie-martial-arts-academy.de/forum/phpBB3/memberlist.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?author_id=3&sr=posts&sid=fa27d7d3fde25ca5706b6474bc42d94b
http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?search_id=unanswered&sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
http://talaie-martial-arts-academy.de/forum/phpBB3/search.php?st=0&sk=t&sd=d&sr=posts&sid=d16369b2360d24ed84efe338a0de2ea4&author_id=3&start=15
http://talaie-martial-arts-academy.de/forum/phpBB3/ucp.php?mode=register&sid=4cef24a8ec5fb8e1c3bee27a05b1b25e
http://talaie-martial-arts-academy.de/forum/phpBB3/ucp.php?sid=e5b26b0a4532b4e0c4aba2fb6d2ae333
http://talaie-martial-arts-academy.de/forum/phpBB3/viewforum.php?f=32&sid=d16369b2360d24ed84efe338a0de2ea4
http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sg=1&sid=4deff7d6b1f0faeb091e1830119d8a01
http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sid=4deff7d6b1f0faeb091e1830119d8a01
http://talaie-martial-arts-academy.de/forum/phpBB3/viewonline.php?sk=a&sd=a&sg=1&sid=200d0276b55c6affcdec7d3695d4dd24

Again, feel free to use this code and change it to your needs.

 

DARK HACKSE


Categorised as: Hacking | Python

Comments are disabled on this post