[PHP] Ściąganie demotywatorów na dysk

Nowa wersja skryptu

Wymagania

Wymagania na serio

Informacje dodatkowe

http://demotywatory.pl/page/

http://demotywatory.pl/poczekalnia/page/

Źródło skryptu

CREATE TABLE `graphic` (
  `address` varchar(100) collate utf8_polish_ci NOT NULL default '',
  PRIMARY KEY  (`address`),
  UNIQUE KEY `address` (`address`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_polish_ci; 

<?php
#--------------------------------------------+
# Author: CapaciousCore                      |
# Website: CapaciousCore.pl                  |
#                                            |
#               Wszystkie prawa zastrzeżone! |
#--------------------------------------------+

# Dir
$cfg['dir']['img'] = './graphic/'; // Naturalnie możemy podać ścieżkę do innej partycji włącznie
# MySQL
$cfg['mysql']['host'] = 'localhost'; // Host of database
$cfg['mysql']['database'] = 'demotywatory'; // Name of database
$cfg['mysql']['login'] = ''; // Login to database
$cfg['mysql']['password'] = ''; // Password to database
# Other
$cfg['url_name'] = 'http://demotywatory.pl/page/'; // Adres, z którego będziemy indeksować

// Łączenie z baza danych
mysql_connect($cfg['mysql']['host'], $cfg['mysql']['login'], $cfg['mysql']['password']);
mysql_select_db($cfg['mysql']['database']);
mysql_query("SET NAMES 'latin2'");
?>

<?php
#--------------------------------------------+
# Author: CapaciousCore                      |
# Website: CapaciousCore.pl                  |
#                                            |
#               Wszystkie prawa zastrzeżone! |
#--------------------------------------------+

include('./config.php');

/***********************************************************************************************
 * W dniu 16-11-2009 było 723 podstron demotywatorów,                                          *
 * patrz na dół Demotywatory.pl i sprawdź ostatnią zastronicowaną stronę                       *
 * dodałem kilka podstron (patrz warunek pętli głównej) celem wyeliminowania marginesu błędu   *
 ***********************************************************************************************/

for($h = 1; $h < 730; ++$h)
{
 $tmp['url_address'] = $cfg['url_name'].$h;
 $content = file_get_contents($tmp['url_address']);

 if(!empty($content))
 {
  // Wyciąganie adresów grafiki _^_
  preg_match_all('/<img.*src=\"(.*)\".*>/iU', $content, $catch);

  for($i = 0, $tmp['how'] = count($catch[1]); $i < $tmp['how']; ++$i)
  {
   $result = mysql_query("SELECT address FROM graphic WHERE address = '".$catch[1][$i]."'");

   if(mysql_num_rows($result) === 0)
   {
    mysql_query("INSERT INTO graphic VALUES ('".$catch[1][$i]."')");
   }
  }
 }
}

echo 'finished step 1';
?>

<?php
#--------------------------------------------+
# Author: CapaciousCore                      |
# Website: CapaciousCore.pl                  |
#                                            |
#               Wszystkie prawa zastrzeżone! |
#--------------------------------------------+

include('./config.php');
// Pobieramy listę plików
$result = mysql_query("SELECT address FROM graphic");

for($h = 0, $tmp['how'] = mysql_num_rows($result); $h < $tmp['how']; ++$h)
{
 $row = mysql_fetch_assoc($result);
 $tmp['file_name'] = explode('/', $row['address']);
 $tmp['file_location'] = $cfg['dir']['img'].end($tmp['file_name']);

 if(substr($row['address'], 0, 7) == 'http://' && !file_exists($tmp['file_location']))
 {
  $content = file_get_contents($row['address']);
  file_put_contents($tmp['file_location'], $content);
 }
}

echo 'finished step 2';
?>

Lista operacji

1. ściągniecie skryptu
2. skonfigurowanie
3. zaimportowanie tabeli do bazy danych
4. konfiguracja serwera
5. przywiązanie się do krzesła
6. odpalenie indexing.php
7. odpalenie download.php
8. długie czekanie
9. cieszenie się i marnowanie czasu oglądając parę tysięcy demotywatorów, z których 5% jest czegokolwiek warta

Rezultat

Nota

Komentarze

Ivek

Dodano 09.08.2010r. o 12:55

Nie ma najmniejszego problemu
http://www.dj-ivan.info/baza.sql
Tutaj jest to co się zapisało w bazie.
Wszystko zaczęło się psuć od momentu kiedy adres z http://demotywatory.pl na http://statichg.demotywatory.pl, a przynajmniej tak mi się wydaje, bo wcześniej nie było tego problemu.

Ivek

Dodano 09.08.2010r. o 10:48

Dzięki bardzo teraz już wszystko działa jak powinno

<?php
#--------------------------------------------+
# Author: CapaciousCore                      |
# Website: CapaciousCore.pl                  |
#                                            |
#               Wszystkie prawa zastrzeżone! |
#--------------------------------------------+

include('./config.php');
// Pobieramy listę plików
$result = mysql_query("SELECT address FROM graphic");

for($h = 0, $tmp['how'] = mysql_num_rows($result); $h < $tmp['how']; ++$h)
{
 $row = mysql_fetch_assoc($result);
 $tmp['file_location'] = $cfg['dir']['img'].md5($row['address']).'.jpg';

 if(substr($row['address'], 0, 7) == 'http://')
 {
  $content = file_get_contents($row['address']);
  file_put_contents($tmp['file_location'], $content);
 }
}

echo 'finished step 2';
?>

Ivek

Dodano 06.08.2010r. o 15:33

No więc będzie problem z tym, żebym sam napisał, bo w PHP jestem zielonkawy
Z innymi stronami nie ma takiego problemu, tylko właśnie z tą. Jeśli można to będę bardzo wdzięczny za informację/modyfikację

CapaciousCore

Dodano 06.08.2010r. o 01:57

@Ivek myślę, że przy pobieraniu z konkretnej strony po prostu wystarczy wsiąść adres, wyjąć ID strony i wrzucić jako nazwę pliku

Dasz rade sam czy napisać małą modyfikacje?

• 1

Dodaj komentarz

Podpis: (Wymagany)

E-mail: (Wymagany, niepublikowany)

Strona WWW: (Nie wymagana)

Token:

Treść tokena: (Przepisz tylko cyfry!)

Treść: (Wymagana)

Tagi