При скрапинге/кроулинге сайта админов может раздражать слишком большое число запросов, и они банят за такую активность. Вот нашёл советы, как скрыть повышенную активность.

ODSc

Мой индивидуальный проект в очень хорошем 4-месячном курсе обучения. Проект оценили на 36 балов из 40 возможных. Курс создан Юрием С. Кашницким.
Собственно, даю только ссылку.

Датасет был сложным - классификация на 3 класса, два целевых очень маленькие - 4.3 и 03%%. Но это и привлекло, хотелось попробовать разбалансированные выборки. Кроме того, надо был подобрать незаезженный учебный датасет + хотелось что-нибудь связанное с медициной.

Полученный результат нельзя назвать великим (по метрике recall 99%/57%/75%) но я изложил причины такой относительной неудачи, а также пути оптимизации результата. Видимо, это моим рецензентам и понравилось. 

В ближайшее время попробую улучшить результат, о чём здесь сообщу.

Года два назад написал API по доступу к сайту футбольной статистики Кулички. Это простенький сайт, чей дизайн не меняется уже 20 лет. Зато лёгкий, быстрый, умеренно информативный и очень популярный в России. API упаковано в виджет и даёт некоторые дополнительные возможности по сбору и анализу имеющейся на сайте информации. Всё происходит он-лайн за счёт парсинга.
Код представляет из себя пакет из 8 файлов, доступен на ГитХабе.

Первая функциональная вкладка: выбираем один из 12 чемпионатов, выбираем клуб из этого чемпионата, видим страны, чьи представители играют в этом клубе. Затем можно получить график для наглядности.

The system is running in low-graphics mode

История вопроса
Началось год назад. Система загружалась подолгу, потом появлялось предупреждение The system is running in low-graphics mode, потом пускала но без доступа к сети.  Возможно были ещё какие-то ограничения функциональности. В чём причина, осталось непонятным.
Помогала перезагрузка, потом нашёл кардинальное решение:

sudo apt-get install --reinstall unity-greeter
sudo dpkg-reconfigure lightdm

Стили для графиков

Настройки для графиков, небольшие но зрелищные.
Скорее всего, должны устанавливаться в глобальных настройках, я так и не разобрался где именно. Поэтому использую такие костыли.


sns.set(style="darkgrid")         # фоновая координатная сетка для графиков
data.plot(....edgecolor='black')      # цвет границ для диаграмм

Отключение предупреждений

Отключить предупреждения (например об устаревших модулях, которые скоро отменят)

import warnings
warnings.filterwarnings('ignore')

Конвертер дат

Написал конвертер дат.
Они бывают разные, обычно переводят с нашего юлианского календаря в мусульманский, иудейский, иранский, майя и т.д. Как старый франкофон, я сделал перевод даты во французский республиканский календарь.
Что это вообще такое 'французский республиканский календарь':
- статья в Википедии.
- статья ещё интересней.

Виджет готов к работе

В Linux не отображаются некоторые красивые детали из QtGui: например QGroupBox (группировка объектов), QFrame()  и ещё некоторые. Всё вместе это называется Менеджеры компоновки. Т.е. они компонуют (т.е. группируют или упаковывают, по русски используют разные термины), но красивой окантовки (либо 'утопленного' участка на виджете, либо чего-то ещё привлекательного в Windows)  не получается. Прежде чем понял, потерял пару часов.

Надо будет посмотреть, как тут (в Линуксе) работают стили, но ничего хорошего уже не жду 👿