GetEmailFromMyWorld— це макрос для Excel будь-якої версії, який дозволяє отримувати поштові адреси користувачів. соціальної мережіМій Мир@Mail.Ru практично з будь-якої сторінки. Ви можете робити пошук в Моєму Світі за критеріями, що вас цікавлять, а потім витягувати пошти з результату. Ця програма-макрос є більш просунутою версією, але і коштує вона трохи дорожче, оплатити і отримати макрос можна за посиланням унизу сторінки. Перед покупкою настійно рекомендую скористатися демо-версією макросу, яка витягує лише Імена користувачів, і спробувати отримати за інструкцією нижче свій перший список із 450 контактів.

Але потім Мій Світ ввели захист від швидкого прокручування сторінки до упору вниз. І тому тепер треба або вручну або за допомогою скрипту це робити повільно, з інтервалами.

Отже, які знання потрібні, щоб отримати email з Мій Світ за допомогою макросу?

По-перше, потрібно вміти користуватися браузером (зокрема Хромом) і консоллю в ньому. Я не перевіряв як це працює (і чи працює) в інших браузерах, але принцип прокручування сторінки до самого кінця у Хромі наступний. Завантажуємо Мій Світ і здійснюємо пошук за критеріями, що нас цікавлять. Як показано на скріншоті нижче, я використовував такі надбудови: Пошукова строка- Михайло; Стать - Чоловіча; Країна Росія; Регіон - Москва; Місто Москва; Вік - 22..24.

Як видно зі скріншоту, пошук нам видав цифру 4549 знайдених людей, які задовольняють обраним критеріям. Але, як ви потім переконаєтеся самі, більше 450 контактів з одного пошукового запитузібрати неможливо. Не знаю, з чим це пов'язано, чи це такий маркетинговий хідтворців соцмережі, але не суть. Нам достатньо і цих 450 контактів для початку, а потім можна зробити інший запит і ще один, і ще.

За замовчуванням після пошуку сторінка завантажена не до кінця, а при спробі прокрутити її вниз, дані почнуть підвантажуватися. Але якщо ви постійно натискатимете кнопку End (PageDown) або прокручуватимете сторінку колесом миші, то на якомусь етапі весь вміст видачі пошуку раптово зникне. У цьому полягає введений захист. Щоб її обійти достатньо лише дотримуватися інтервалів між підвантаженням сторінки. Особисто я роблю це за допомогою скрипта, що виконується в консолі Хрому, що і вам раджу.

Сам скрипт дуже маленький і в перекладі людська мовайого дія полягає в тому, щоб прокручувати вниз до упору сторінку через певний проміжок часу. Досвідченим шляхом я встановив цей проміжок 10 секунд (у скрипті час вимірюється в мілісекундах, тому там встановлюємо 10000). Як же цей скрипт виконати? Для цього натискаємо у Хромі гарячу клавішу Ctrl+Shift+J. Внизу або праворуч з'явиться консоль з маленькою кутовою дужкою та курсором:

Замість тексту "Сюди вставляємо код скрипта" вставляємо сам скрипт:

function myScroll()
{
if (sh! = document.body.scrollHeight)
{
sh = document.body.scrollHeight;
scrollTo(0, sh);
setTimeout(myScroll, 10000);
}
}

І натискаємо клавішу Enter. Запуститься процес прокручування сторінки. Займає він десь близько 30 хвилин. У цей час ви можете займатися своїми справами, відкривати інші вкладки у Хромі, головне – не закривати вкладку з результатом пошуку Мій світ.

Коли сторінка довантажиться до кінця півгодини, консоль можна закривати, натиснувши клавішу F12. Всі інші дії практично не відрізняються від того, що показано у відео вище, але я таки розпишу їх докладніше трохи нижче.

Це був перший пункт рухів тіла, які повинен робити користувач макросу. Другий пункт полягає в тому, що потрібно в Excel дозволити виконання макросів. Розписую для різних версійяк це зробити.

Для Excel 2003 та нижче:

Зайдіть в меню "Сервіс" - "Макрос" - "Безпека"

і у вікні виберіть пункт «Низька».

Для Excel 2007 та вище:

Натискаємо кнопку «Office» (або пункт меню «Файл») та вибираємо «Параметри». У вікні зліва вибираємо пункт «Центр керування безпекою», а після цього праворуч натискаємо на кнопку «Параметри центру керування безпекою».

У вікні зліва виберіть пункт «Параметри макросів», а праворуч «Увімкнути всі макроси».

На цьому включення макросів у Excel завершено. Про всяк випадок рекомендую перезапустити Excel. Це робиться лише один раз і для наступних запусків макросу безпеку вже налаштовувати не треба. Тому переходимо безпосередньо до парсингу поштових адрес.

Повертаємось на нашу сторінку Мій Світ у Хромі, де вже результати пошуку прокручені до кінця. Виділяємо весь вміст сторінки, для цього можна скористатися поєднанням клавіш Ctrl+A. Копіюємо виділене - Ctrl + C або по-старому правою кнопкоюмиші - Копіювати. Потім запускаємо файл макросу GetEmailFromMyWorld.xls і в саму першу комірку вставляємо скопійоване (Ctrl + V). Вийде якась ось така некрасива картинка:

Але нічого, зараз ми запустимо макрос і ми матимемо чудовий список імен та поштових адрес. Для цього використовуємо гарячу клавішу Alt+F8, а в вікні, що з'являється, виділяємо макрос і запускаємо його на виконання. Це займе деякий час, а на виході у вас буде гарна табличка з двома стовпцями: Ім'я людини та її електронна пошта. Якщо ви використовуєте демо-версію макросу, то на виході буде лише один стовпець — Ім'я людини.

Іноді сторінка пошукової видачіМій світ відображає записи, що дублюються, тобто кілька людей з одним і тим же ім'ям, а після обробки макросом у них можуть бути і однакові адреси поштових скриньок. Але Excel допоможе нам у видаленні дублікатів. Докладно розписувати я не стану, наведу лише посилання на сторінку, де розписано, як це зробити для різних версій програми.

Ось, власне, і всі хитрощі у роботі макросу. За посиланням нижче можна скачати демо-версію макросу.

Якщо ж ви вже випробували демо-версію і хочете придбати повноцінний макрос, то скористайтеся посиланням нижче та дотримуйтесь інструкцій.

Парсер – програма, що реалізує процес збору необхідної інформаціїіз заданих джерел.Парсинг даних- один із напрямків автоматизації процесів в інтернеті, яким ми займаємося.

Для парсингу - ми розробляємо своїх роботів, яким довіряємо цю трудомістку і монотонну роботу. Ми розробляємо і прості та складні парсери – від збору email адресдо обчислення обсягів продажу позицій.
Ви можете замовити – ботів – і запускати їх самостійно, або замовити парсинг – як послугу – та отримати дані.

Для парсингу з популярних ресурсів найчастіше достатньо завантажити парсер - запустити і через деякий час у Вас буде файл з усіма необхідними даними.
Справа в тому, що не під всі необхідні завдання існують вже готові парсери, або працездатність парсера вже на нулі - через те, що на необхідному ресурсі може змінитися верстка, а в програмний кодпарсеру не внесено змін.
Новачкам у цьому питанні, звичайно, хотілося б скачати універсальний парсер, Що з…

Автоматизація на замовлення (шаблони zennoposter) від Архіпова Володимира

Детальніше про послугу - шаблони zennoposter на замовлення (парсери, постери, програми для seo, програми для smm та smo, автоматизація процесів для бізнесу)
Технологія успіху в Інтернет - "... автоматизуйте Ваш робочий процес у Internet, запустіть процес у цілодобову роботу, масштабуйте ефект рахунок збільшення одночасно працюючих потоків- і дивіться на профіт)
.

0. Бот (шаблон-програма) - для завантаження товарів (за Вашим алгоритмом) через адмінку на Ваш сайт.
1. Розробка алгоритмів шаблонів, груп шаблонів - схема логіки покроково
2. Шаблони для збору баз даних клієнтів за Вашим алгоритмом або базою даних іншої інформації (шаблони зенопостер)
3. Шаблони для автоматизації дій в інтернеті ( zennoposter шаблони)
4. Шаблони для перенесення інформації з однієї CRM в іншу (zennoposter шаблони)
5. Шаблони для розміщення інформації на своїх сайтах із заданих джерел
6. Шаблони для тестового навантаження сайту
7. Ваші дії в браузері, автоматизовані в Zennop…

Termidroid 2.0 - планове управління поведінковим фактором

Termidroid 2.0 -планове управління поведінковим фактором
(у продажу остання актуальна версія - 4.5)

Понад 100 активних користувачівпрограми, 12 - максимальна кількістькопій програми в одного користувача.
Програма Termidroid- це ефективний засібманіпуляції поведінковим фактором, з метою накрутки поведінкового чинникадо більш високого рівняніж у конкурентів. Накрутка поведінкових факторіввідбувається програмно, відповідно до заданого Вами плану кількості візитів за конкретними запитами, у вказаних Вами діапазонах часу перебування на сайті, глибин переглядів. Кожен візит, виконаний термідроїдом, яндекс метрика визначає як нового користувача – за рахунок тонкого налаштуванняанонімності - 5 браузерів, емуляція фінгерпринтів, заміна айпі адрес (рекомендується використовувати динамічні мобільні проксі від

Одним із найбільших майданчиків безкоштовної електронної пошти є Mail. ru (Мій Світ) . А Парсер Mail.ru здатний отримувати величезну кількість цінної інформаціїз цього інтернет ресурсу. Понад двадцять мільйонів людей щомісяця користуються цим сервісом. Він містить велику базу email адрес та іншу важливу інформацію про користувачів. І сьогодні їх понад сто мільйонів. Пошта має зручний інтерфейс для мобільних телефонівта планшетів, що робить її ще більш привабливою для користувачів. Мобільна поштапопулярна, тому що їй можна користуватися, перебуваючи далеко від комп'ютера. Доступ до цієї бази email адрес та іншої цінної інформації, дозволяє створювати проекти в різних сферах.

Існують програми Парсери Mail.ru , які здатні збирати інформацію з даного сервісу таку, як, наприклад, номери телефонів та електронні адреси. Такі програми можуть отримувати сотні та тисячі email адрес і номерів телефонів, а також імена та псевдоніми користувачів, які в процесі можуть бути використані для різних інтернетпроектів та збільшення продажів у певній сфері. Вилучення email адрес може відбуватися за ключовими словами, і так можна охопити цільову аудиторію. Також за допомогою цих програм, можна автоматизувати збір персональної інформації. Програма для вилучення email адрес та імен власників можуть відрізнятися функціонально. Оскільки пошта Mail. ru має безліч функцій, таких, як великий обсяг поштової скриньки, захист від вірусів, можливість редагування документів, і навіть можливість пересилати файли вагою до 20 Гб, цей сервіс користується великою популярністю. Реєстрація здійснюється дуже просто та швидко. І що важливо, має багато активних користувачів, завдяки всім цим факторам відвідуваність постійно йде нагору.

Програми Парсери Mail. ru дають користувачеві великий обсяг цінної інформації, яку можна застосовувати у різних сферах діяльності. Якщо цю інформаціюрозібрати по потрібним напрямкам, то вона виявиться дуже корисною. За роки існування сервіс Mail. ru зарекомендував себе як надійний партнер багатьох користувачів. І самі користувачі є реальними людьми, які застосовують дану інтернетмайданчик.

Ми живемо в інформаційному столітті, і інтернет повністю змінив перебіг подій на землі. І хто більше володіє необхідною інформацієюв тій чи іншій сфері, той і виявляється на крок попереду інших, і здатний досягати більших результатів. Програми Парсери mail. ru допомагають отримувати ту інформацію, яка потрібна користувачеві. А він уже застосовуватиме її у тих сферах, які для нього більш актуальні.

EmailFromMyWorld - програма для вилучення електронної поштикористувачів, які перебувають у групах у соціальній мережі Мій Мир@Mail.ru.

Як працювати з EmailFromMyWorld

EmailFromMyWorld вкрай проста у використанні. Потрібно зайти в Мій Світ на сторінку групи, що цікавить, і скопіювати її адресу (URL). Звертаю увагу, що програма розрахована на те, що заходити в Мій Світ ви будете анонімно, тобто, не будучи залогіненим під собою. Після копіювання адреси групи потрібно запустити EmailFromMyWorld і вставити в єдине доступне поле введення скопійовану адресу. Після цього потрібно натиснути кнопку «Вилучити» у програмі і цим запустити процес вилучення e-mail користувачів із групи. За часом цей процес займає близько 10 хвилин, але залежить від продуктивності комп'ютера та швидкості підключення до Інтернету.

Після завершення збору даних з'явиться кнопка «Зберегти», натиснувши яку можна записати отримані результати у файл. Доступні варіанти збереження в таблицю Excel, csv-файл та у звичайний текстовий формат. Якщо ви оберете таблицю Excel (як у відеоприкладі нижче), після збереження програма сама запустить Excel і повідомить про закінчення процесу.

Внаслідок роботи програми виходять зібраними близько 10 000 (десяти тисяч) поштових адрес. Якщо у вас виникає запитання: "Чому тільки 10 000, якщо в групі їх користувачів набагато більше?", то відповідь на нього дуже проста. Як відомо з відео, доступних для перегляду сторінок з користувачами всього 500 штук. На 501 сторінці вже буде помилка (мабуть, захист або недоробка соцмережі). Так що в сумі 500 сторінок по 20 користувачів на кожній якраз і дають наші 10 000 емейлів. Кажуть, що є спосіб витягти й інші, але поки що мене руки до цього не дійшли. Можливо, у наступних версіях програми все буде у кращому вигляді 😉

Детальніше можна побачити на відео нижче.

Програма платна, але для оцінки її можливостей демо-версії вам цілком вистачить. І вже потім ви зможете вирішити, реєструвати її чи ні.

Вітаю всіх читачів мого блогу. У цій статті я поміщу вихідник свого парсера пошти Mail.Ru Груп (Мій Світ) на сайті трохи поясню його дію. Цей скриптдопомагає вам зібрати величезні базиіснуючих E-Mail'ів від Mail.Ru для брутто, спаму та будь-яких інших дій. Вам не доведеться діяти навмання або шукати паблік бази.
Цей парсер працює з групами проекту "Мій Світ" від Mail.Ru. Благо працівники даного сервісурукожопи. Вони показують адреси пошти всіх учасників даного проекту. Тому їх так легко добути. Проте, вони здогадалися не показувати більше 10 000 учасників кожної групи. Мій парсер пошти Mail.Ru Груп (Мій Світ)зчитує html кодсторінки з учасниками груп за допомогою об'єкта WinHttp.WinHttpRequest, а далі трохи хитрих маніпуляцій та вуоля! Втім, дивіться сам код:

DimFSO,FileLink,arrLink(),i,Link_Line,GoodTxt,InetFile,Soderzh
DimAllUsers,PageUser,AllPageUser,LenPage,OstUser,Pages
Diml,i2,WinHttpRequest,RegExp,Mail,Dict,Start,Finish

SetFSO=CreateObject("Scripting.FileSystemObject")
SetRegExp=CreateObject("VBScript.RegExp")
SetWinHttpRequest=CreateObject("WinHttp.WinHttpRequest.5.1")" WinHttp.WinHttpRequest.5.1
SetDict=CreateObject("Scripting.Dictionary")

On ErrorResumeNext
Link_Line=0" початковий номер елемента масиву з посиланнями
SetFileLink=FSO.OpenTextFile("BaseLinks.txt",1,True)" відкриваємо файл із посиланнями груп
DoUntilFileLink.AtEndOfStream"поки не настане кінець файлу
RedimPreservearrLink(Link_Line)" запис зі збереженням результату
arrLink(Link_Line)=FileLink.ReadLine"присвоюємо кожне посилання масиву
Link_Line=Link_Line+1" оновлюємо номер елемента масиву
Loop
FileLink.Close"закриваємо файл із посиланнями

SetGoodTxt=FSO.CreateTextFile("good.txt",True)"створюємо файл, куди будуть зберігатися пошти
Fori=LBound(arrLink)toUBound(arrLink)"запускаємо цикл від нижньої межімасиву з посиланнями до верхньої

IfErr.Number=9Then
MsgBox"Фал BaseLinks.txt порожній!",16
WScript.Quit
Endif
InetLink=""&arrLink(i)&""" присвоюємо посилання змінної

RegExp.Pattern="profile__menuLinkCounter.(2).(1,)SetMatches=RegExp.Execute(Soderzh)"Створюємо колекцію з одного рядка
SetMatch=Matches.Item(0)"отримуємо єдиний елемент колекції
Str=Match.Value" Отримуємо потрібний підрядок
AllUsers=Mid(Str,27,Match.Length-31)" Забираємо зайве
AllUsers=Abs(AllUsers)" отримуємо абсолютне число. Видаляється пробіл
PageUser=Round(AllUsers/20,2)" дізнаємося скільки всього сторінок з передплатниками
AllPageUser=int(PageUser)" отримуємо цілу кількість сторінок передплатників
LenPage=Len(AllPageUser)" дізнаємося кількість знаків цілого числа сторінок
OstUser=Mid(PageUser,LenPage+2,2)" отримуємо залишки 2 знаки
IfisNumeric(OstUser)thenAllPageUser=AllPageUser+1" якщо залишилося число, то додаємо одну сторінку
ForPages=1toAllPageUser" від першої до останньої сторінки з передплатниками
InetLink=""&arrLink(i)&"/friends?page="&Pages&""" посилання на кожну сторінку з передплатниками
WinHttpRequest.Open"POST",InetLink,0"Параметри HTTP-запиту
WinHttpRequest.Send" Надсилання HTTP-запиту
Soderzh=WinHttpRequest.ResponseText" записуємо код сторінки як текст у змінну
RegExp.Pattern="(inviz.(2)).(1,)\.ru"" Шаблон е-майлу по якому шукаємо
RegExp.Global=True" шукати всі збіги
SetMatches=RegExp.Execute(Soderzh)" Створюємо колекцію
Fori2=0ToMatches.Count-1" Перебираємо колекцію
SetMatch=Matches.Item(i2)
Mail=Mid(Match.Value,8)"прибираємо зайве
IfDict.Exists("&Mail&"")Then" перевіряємо пошту на повторення
Else
Dict.Add Mail,0" додаємо нову пошту до колекції
GoodTxt.WriteLine(""&Mail&"")" записуємо отриману адресу у файл Good.txt
EndIf
Next
IfMatches.Count<20ThenExitFor" Если на странице было меньше 20 человек, значит это конец списка. Выходим
Робиться для підстрахування
IfPages=500thenExitFor" якщо 500 сторінка, то виходимо
Next" від першої до останньої сторінки з передплатниками - кінець
Next" цикл від нижньої межі масиву з посиланнями до верхньої - кінець

GoodTxt.Close" закриваємо Good.txt
Finish=Timer-Start
MsgBox"Парсинг мейлів закінчений за "&Finish&" сек.!"
Завантажити код ви можете тут, якщо вам зручніше

Якщо не на ту тему перемістіть:!
Від вас вимагається тільки один рух тіла: додавати посилання на потрібні вам групи в файл "BaseLinks.txt". Зверніть увагу, що вони пишуться без слішу на кінці (без \).

У цьому прикладі я використав об'єкт RegExpАле можна було й обійтися найпростішими рядковими функціями. Я пробував парсить групу на 500 чоловік і тим і іншим способом і за моїми спостереженнями, об'єкт RegExp виграє у звичайних функцій приблизно 2 секунди. Начебто небагато, але при великих обсягах роботи позначатиметься дуже сильно.

Даний приклад працює чудово! Звичайно, можна і так само потрібно зробити обробку помилок належним чином, але це вже не моє завдання. І звичайно він однопоточний! Також можна використовувати проксі, але сенсу в цьому я не бачу. Статистику робити не став. Цим ви можете зайнятися самі на дозвіллі.
Завантажити вихідник можна тут

Ви повинні бути зареєстровані, щоб побачити посилання.