Дані та Інтернет

Для роботи з інформацією в мережі потрібно підключати відповідні модулі. Так, модуль socket дозволяє працювати з ІР-адресами та портами; urllib.request опрацьовує адреси веб-ресурсів, а модуль webbrowser забезпечує взаємодію із браузером.

IP та браузер

Приклад 1. Отримати ІР-адресу сервера сайту

import socket
remote_host = 'www.python.org'
print ("IP address: ", socket.gethostbyname(remote_host))
Результат роботи:
IP address: 23.235.43.223

Показати код/Сховати код^

При роботі з веб-ресурсами часто виникають помилки - через помилкові написання адрес, чи недоступність у певний момент бажаного сервера. Тому варто застосовувати перевірку винятків, яка полягає у тому, що в програмі передбачено дії для невдалого виконання операцій:

Приклад 2. Обробка винятків

import socket
remote_host = 'www.python.org3'
try:
    print ("IP address: ", socket.gethostbyname(remote_host))
except:
    print ("error")

Показати код/Сховати код^

Приклад 3. Отримати файл з Інтернету (надрукувати на екрані його вміст)

import urllib.request
url= 'http://helloworldbook.com/data/message.txt'
file = urllib.request.urlopen(url)
message = file.read()
print (message)

Показати код/Сховати код^

Приклад 4. Скачати файл

import urllib.request
url= 'http://helloworldbook.com/data/message.txt'
file = urllib.request.urlopen(url)
message = file.read()
print (message)
f = open("downloaded_file.txt", "wb")
f.write(message)
f.close()

Показати код/Сховати код^

Приклад 5. Запустити браузер

import webbrowser
webbrowser.open('https://dystosvita.gnomio.com/')

Показати код/Сховати код^

Приклад 6. Відкрити сторінку сайту в браузері. Якщо такої сторінки немає, вивести повідомлення про помилку

import urllib.request
url = urllib.request.urljoin('http://python.org/', 'about.html')
print(url)
import webbrowser
webbrowser.open(url)
try: urllib.request.urlopen(url)
except urllib.error.URLError as e:
    print(e.reason)

Показати код/Сховати код^

Запит GET

Приклад 7. Внести дані у запит та відкрити браузер з результатами пошуку

import webbrowser
url="http://www.google.com.ua/search?q="
zapyt=input("Введіть запит: ")
url=url+zapyt
webbrowser.open(url)

Показати код/Сховати код^

Приклад 8. Пошук у Вікіпедії: статті, назва яких починаються на слово india. Результат зберігається у файлі

import urllib.request
url="http://en.wikipedia.org/w/api.php?action=opensearch&search=india"
file = urllib.request.urlopen(url)
message = file.read()
print (message)
f = open("downloaded_file.html", "wb")
f.write(message)
f.close()

Показати код/Сховати код^

Приклад. http://api.open-notify.org/astros.json - інформація про міжнародну космічну станцію (зокрема кількість та перелік космонавтів на орбіті)

Коли станція пройде над певною локацією: http://api.open-notify.org/iss-pass.json?lat=51.51&lon=-0.13

Щоб перевести число з цілого у дату, можна скористатись модулем datetime:

import datetime

дата=datetime.datetime.fromtimestamp( число )

При роботі з онлайновими даними, слід пам'ятати, що велика кількість запитів на сервер з одного комп'ютера може класифікуватися як DDoS атака:

Завдання. Дізнавшись ІР адресу сайту, скористайтесь сервісами з розділу Геокодування https://github.com/toddmotto/public-apis#geocoding, щоб дізнатись місце розташування сервера з цим сайтом (Наприклад, https://ip2country.info/)

Завдання. З'ясуйте погоду в Києві, Лондоні, Нью-Йорку та Лос-Анжелесі https://github.com/toddmotto/public-apis#weather (Наприклад, https://www.metaweather.com/api/)

Завдання. З'ясуйте перелік свят в Україні та США, і які з вихідних є спільними https://date.nager.at/

Збірка відкритих АРІ https://github.com/toddmotto/public-apis

Web Scrapping с помощью python https://habrahabr.ru/post/280238/

Дані CERN

http://opendata.cern.ch/

https://github.com/cms-opendata-education

Набори відкритих даних

https://www.kaggle.com/datasets