jupyter_notebooks/II_machine_learning_intro_hw.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Введение в машинное обучение: линейная регрессия"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Загрузка исходных данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Фичи\n",
      "[[6.3200e-03 1.8000e+01 2.3100e+00 ... 1.5300e+01 3.9690e+02 4.9800e+00]\n",
      " [2.7310e-02 0.0000e+00 7.0700e+00 ... 1.7800e+01 3.9690e+02 9.1400e+00]\n",
      " [2.7290e-02 0.0000e+00 7.0700e+00 ... 1.7800e+01 3.9283e+02 4.0300e+00]\n",
      " ...\n",
      " [6.0760e-02 0.0000e+00 1.1930e+01 ... 2.1000e+01 3.9690e+02 5.6400e+00]\n",
      " [1.0959e-01 0.0000e+00 1.1930e+01 ... 2.1000e+01 3.9345e+02 6.4800e+00]\n",
      " [4.7410e-02 0.0000e+00 1.1930e+01 ... 2.1000e+01 3.9690e+02 7.8800e+00]]\n",
      "\n",
      "Целевая переменная y\n",
      "[24.  21.6 34.7 33.4 36.2 28.7 22.9 27.1 16.5 18.9]\n"
     ]
    }
   ],
   "source": [
    "from sklearn.datasets import load_boston\n",
    "\n",
    "boston_dataset = load_boston()\n",
    "\n",
    "features = boston_dataset.data\n",
    "y = boston_dataset.target\n",
    "print('Фичи')\n",
    "print(features)\n",
    "print('\\nЦелевая переменная y')\n",
    "print(y[:10])\n",
    "\n",
    "\n",
    "# текстовое описание датасета\n",
    "# print('\\n',boston_dataset.DESCR)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задание 1\n",
    "\n",
    "Реализуйте формулу матричного умножения для вычисления коэффициентов линейной регрессии на языке python \n",
    "\n",
    "Нужно написать код для аналитического вычисления коэффициентов линейной регрессии по формуле $\\overline{w} = \\left(X^TX\\right)^{-1}X^T\\overline{y}$\n",
    "\n",
    "\n",
    "Сравните по евклидовому расстоянию коэффициенты из класса `LinearRegression` и полученные аналитическим способом"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Аналитически определённые коэффициенты [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]\n"
     ]
    }
   ],
   "source": [
    "from numpy.linalg import inv, norm\n",
    "import numpy as np\n",
    "from sklearn.linear_model import LinearRegression\n",
    "from scipy.spatial import distance\n",
    "\n",
    "# вычисляем к-ты линейной регрессии\n",
    "w_analytic = np.zeros(features.shape[1])\n",
    "#-------- ВАШ КОД ТУТ -------------------\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "#----------------------------------------\n",
    "\n",
    "print(f'Аналитически определённые коэффициенты {w_analytic}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверка по евклидовой метрике"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "!ВАЖНО!: к матрице фичей X нужно добавить столбец, который состоит из единиц\n",
      "Это т.н. 'тривиальный' признак $x_0=1$\n"
     ]
    }
   ],
   "source": [
    "from numpy.linalg import inv, norm\n",
    "\n",
    "# обучаем модель \"из коробки\"\n",
    "reg = LinearRegression().fit(features, y)\n",
    "w_sklearn = np.append([reg.intercept_], reg.coef_)\n",
    "\n",
    "try:\n",
    "    linalg_norm = norm(w_sklearn - w_analytic)\n",
    "    print(f\"Коэффициенты, вычисленные моделью sklearn {w_sklearn}\")\n",
    "    print(f\"Евклидово расстояние между наборами коэффициентов {linalg_norm}\\n\")\n",
    "except:\n",
    "    print(\"!ВАЖНО!: к матрице фичей X нужно добавить столбец, который состоит из единиц\")\n",
    "    print(\"Это т.н. 'тривиальный' признак $x_0=1$\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверка на правильность"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import unittest\n",
    "\n",
    "\n",
    "class TestNotebook(unittest.TestCase):\n",
    "    def test_task(self):\n",
    "        self.assertAlmostEqual(linalg_norm, 0.000000, places=6)\n",
    "\n",
    "unittest.main(argv=[''], verbosity=2, exit=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задание 2\n",
    "\n",
    "Визуализируйте в виде \"столбиков\" коэффициенты \"из коробки\" (т.е. из sklearn) и полученные аналитически на одном графике. Для наглядности используйте различную \"прозрачность\" столбиков"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "\n",
    "#-------- ВАШ КОД ТУТ -------------------\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "#----------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задание 3\n",
    "\n",
    "Постройте предсказания двумя моделями\n",
    "\n",
    "* вашей моделью\n",
    "* моделью из библиотеки sklearn\n",
    "\n",
    "Посчитайте, какую ошибку $(\\hat{y}-y)$ даёт модели на каждом обучающем примере каждая из моделей и постройте две гистограммы на одном графике c наложением (одна должна \"просвечивать\" через другую)\n",
    "\n",
    "Если вы всё сделали правильно, гистограммы ошибок должны совпасть"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#-------- ВАШ КОД ТУТ -------------------\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "#----------------------------------------"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}