{ "cells": [ { "attachments": {}, "cell_type": "markdown", "metadata": {}, "source": [ "# Pandas `read_html`\n", "\n", "The `pandas` package provides us with one of the easiest ways to get data from web pages: `.read_html()`.\n", "\n", "However, this method only works if the data is already nicely formatted in an HTML table. For example, the unemployment rate data from BLS: \n", "https://data.bls.gov/timeseries/LNS14000000\n", "\n", "If we pass this URL to `.read_html()`, it will return a list of all of the `` elements it found on the page." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "import pandas as pd" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "2" ] }, "execution_count": 2, "metadata": {}, "output_type": "execute_result" } ], "source": [ "url = 'https://data.bls.gov/timeseries/LNS14000000'\n", "df_unemp = pd.read_html(url)\n", "\n", "len(df_unemp)" ] }, { "attachments": {}, "cell_type": "markdown", "metadata": {}, "source": [ "In this case it found two tables.\n", "We can print them out and see that the unemployment data we want is contained in the second table." ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "
\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
01
0Series Id:LNS14000000
1Seasonally AdjustedSeasonally Adjusted
2Series title:(Seas) Unemployment Rate
3Labor force status:Unemployment rate
4Type of data:Percent or rate
5Age:16 years and over
\n", "" ], "text/plain": [ " 0 1\n", "0 Series Id: LNS14000000\n", "1 Seasonally Adjusted Seasonally Adjusted\n", "2 Series title: (Seas) Unemployment Rate\n", "3 Labor force status: Unemployment rate\n", "4 Type of data: Percent or rate\n", "5 Age: 16 years and over" ] }, "execution_count": 3, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df_unemp[0]" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
YearJanFebMarAprMayJunJulAugSepOctNovDec
020128.38.38.28.28.28.28.28.17.87.87.77.9
120138.07.77.57.67.57.57.37.27.27.26.96.7
220146.66.76.76.26.36.16.26.15.95.75.85.6
320155.75.55.45.45.65.35.25.15.05.05.15.0
420164.84.95.05.14.84.94.84.95.04.94.74.7
520174.74.64.44.44.44.34.34.44.34.24.24.1
620184.04.14.04.03.84.03.83.83.73.83.83.9
720194.03.83.83.63.73.63.73.73.53.63.63.6
820203.53.54.414.713.211.010.28.47.96.96.76.7
920216.36.26.16.15.85.95.45.24.84.54.23.9
1020224.03.83.63.63.63.63.53.73.53.73.63.5
\n", "
" ], "text/plain": [ " Year Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec\n", "0 2012 8.3 8.3 8.2 8.2 8.2 8.2 8.2 8.1 7.8 7.8 7.7 7.9\n", "1 2013 8.0 7.7 7.5 7.6 7.5 7.5 7.3 7.2 7.2 7.2 6.9 6.7\n", "2 2014 6.6 6.7 6.7 6.2 6.3 6.1 6.2 6.1 5.9 5.7 5.8 5.6\n", "3 2015 5.7 5.5 5.4 5.4 5.6 5.3 5.2 5.1 5.0 5.0 5.1 5.0\n", "4 2016 4.8 4.9 5.0 5.1 4.8 4.9 4.8 4.9 5.0 4.9 4.7 4.7\n", "5 2017 4.7 4.6 4.4 4.4 4.4 4.3 4.3 4.4 4.3 4.2 4.2 4.1\n", "6 2018 4.0 4.1 4.0 4.0 3.8 4.0 3.8 3.8 3.7 3.8 3.8 3.9\n", "7 2019 4.0 3.8 3.8 3.6 3.7 3.6 3.7 3.7 3.5 3.6 3.6 3.6\n", "8 2020 3.5 3.5 4.4 14.7 13.2 11.0 10.2 8.4 7.9 6.9 6.7 6.7\n", "9 2021 6.3 6.2 6.1 6.1 5.8 5.9 5.4 5.2 4.8 4.5 4.2 3.9\n", "10 2022 4.0 3.8 3.6 3.6 3.6 3.6 3.5 3.7 3.5 3.7 3.6 3.5" ] }, "execution_count": 4, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df_unemp[1]" ] }, { "attachments": {}, "cell_type": "markdown", "metadata": {}, "source": [ "The same thing works for the treasury yield curve data, though it requires a bit of post-scraping clean up." ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [], "source": [ "url = 'https://home.treasury.gov/resource-center/data-chart-center/interest-rates/TextView?type=daily_treasury_yield_curve&field_tdr_date_value_month=202301'\n", "df_rates = pd.read_html(url)" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Date20 YR30 YRExtrapolation Factor8 WEEKS BANK DISCOUNTCOUPON EQUIVALENT17 WEEKS BANK DISCOUNTCOUPON EQUIVALENT.152 WEEKS BANK DISCOUNTCOUPON EQUIVALENT.2...4 Mo6 Mo1 Yr2 Yr3 Yr5 Yr7 Yr10 Yr20 Yr30 Yr
001/03/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.704.774.724.404.183.943.893.794.063.88
101/04/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.694.774.714.364.113.853.793.693.973.81
201/05/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.754.814.784.454.183.903.823.713.963.78
301/06/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.794.714.243.963.693.633.553.843.67
401/09/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.834.694.193.933.663.603.533.833.66
501/10/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.774.854.744.243.943.723.673.613.913.74
601/11/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.824.844.734.203.903.663.613.543.843.67
701/12/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.764.664.123.793.533.483.433.733.56
801/13/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.734.774.694.223.883.603.553.493.793.61
901/17/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.824.674.183.863.603.573.533.813.64
1001/18/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.794.634.063.723.433.403.373.653.54
1101/19/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.744.794.654.093.763.483.433.393.693.57
1201/20/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.754.804.684.143.833.563.513.483.773.66
1301/23/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.764.824.704.213.883.613.563.523.803.69
1401/24/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.754.844.704.123.863.583.523.463.733.62
1501/25/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.754.794.674.113.843.543.513.463.743.62
1601/26/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.764.794.684.173.883.583.543.493.753.62
1701/27/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.764.814.684.193.903.623.583.523.773.64
1801/30/2023NaNNaNNaNNaNNaNNaNNaNNaNNaN...4.764.824.714.253.963.683.623.553.793.66
\n", "

19 rows × 23 columns

\n", "
" ], "text/plain": [ " Date 20 YR 30 YR Extrapolation Factor 8 WEEKS BANK DISCOUNT \\\n", "0 01/03/2023 NaN NaN NaN NaN \n", "1 01/04/2023 NaN NaN NaN NaN \n", "2 01/05/2023 NaN NaN NaN NaN \n", "3 01/06/2023 NaN NaN NaN NaN \n", "4 01/09/2023 NaN NaN NaN NaN \n", "5 01/10/2023 NaN NaN NaN NaN \n", "6 01/11/2023 NaN NaN NaN NaN \n", "7 01/12/2023 NaN NaN NaN NaN \n", "8 01/13/2023 NaN NaN NaN NaN \n", "9 01/17/2023 NaN NaN NaN NaN \n", "10 01/18/2023 NaN NaN NaN NaN \n", "11 01/19/2023 NaN NaN NaN NaN \n", "12 01/20/2023 NaN NaN NaN NaN \n", "13 01/23/2023 NaN NaN NaN NaN \n", "14 01/24/2023 NaN NaN NaN NaN \n", "15 01/25/2023 NaN NaN NaN NaN \n", "16 01/26/2023 NaN NaN NaN NaN \n", "17 01/27/2023 NaN NaN NaN NaN \n", "18 01/30/2023 NaN NaN NaN NaN \n", "\n", " COUPON EQUIVALENT 17 WEEKS BANK DISCOUNT COUPON EQUIVALENT.1 \\\n", "0 NaN NaN NaN \n", "1 NaN NaN NaN \n", "2 NaN NaN NaN \n", "3 NaN NaN NaN \n", "4 NaN NaN NaN \n", "5 NaN NaN NaN \n", "6 NaN NaN NaN \n", "7 NaN NaN NaN \n", "8 NaN NaN NaN \n", "9 NaN NaN NaN \n", "10 NaN NaN NaN \n", "11 NaN NaN NaN \n", "12 NaN NaN NaN \n", "13 NaN NaN NaN \n", "14 NaN NaN NaN \n", "15 NaN NaN NaN \n", "16 NaN NaN NaN \n", "17 NaN NaN NaN \n", "18 NaN NaN NaN \n", "\n", " 52 WEEKS BANK DISCOUNT COUPON EQUIVALENT.2 ... 4 Mo 6 Mo 1 Yr 2 Yr \\\n", "0 NaN NaN ... 4.70 4.77 4.72 4.40 \n", "1 NaN NaN ... 4.69 4.77 4.71 4.36 \n", "2 NaN NaN ... 4.75 4.81 4.78 4.45 \n", "3 NaN NaN ... 4.74 4.79 4.71 4.24 \n", "4 NaN NaN ... 4.74 4.83 4.69 4.19 \n", "5 NaN NaN ... 4.77 4.85 4.74 4.24 \n", "6 NaN NaN ... 4.82 4.84 4.73 4.20 \n", "7 NaN NaN ... 4.74 4.76 4.66 4.12 \n", "8 NaN NaN ... 4.73 4.77 4.69 4.22 \n", "9 NaN NaN ... 4.74 4.82 4.67 4.18 \n", "10 NaN NaN ... 4.74 4.79 4.63 4.06 \n", "11 NaN NaN ... 4.74 4.79 4.65 4.09 \n", "12 NaN NaN ... 4.75 4.80 4.68 4.14 \n", "13 NaN NaN ... 4.76 4.82 4.70 4.21 \n", "14 NaN NaN ... 4.75 4.84 4.70 4.12 \n", "15 NaN NaN ... 4.75 4.79 4.67 4.11 \n", "16 NaN NaN ... 4.76 4.79 4.68 4.17 \n", "17 NaN NaN ... 4.76 4.81 4.68 4.19 \n", "18 NaN NaN ... 4.76 4.82 4.71 4.25 \n", "\n", " 3 Yr 5 Yr 7 Yr 10 Yr 20 Yr 30 Yr \n", "0 4.18 3.94 3.89 3.79 4.06 3.88 \n", "1 4.11 3.85 3.79 3.69 3.97 3.81 \n", "2 4.18 3.90 3.82 3.71 3.96 3.78 \n", "3 3.96 3.69 3.63 3.55 3.84 3.67 \n", "4 3.93 3.66 3.60 3.53 3.83 3.66 \n", "5 3.94 3.72 3.67 3.61 3.91 3.74 \n", "6 3.90 3.66 3.61 3.54 3.84 3.67 \n", "7 3.79 3.53 3.48 3.43 3.73 3.56 \n", "8 3.88 3.60 3.55 3.49 3.79 3.61 \n", "9 3.86 3.60 3.57 3.53 3.81 3.64 \n", "10 3.72 3.43 3.40 3.37 3.65 3.54 \n", "11 3.76 3.48 3.43 3.39 3.69 3.57 \n", "12 3.83 3.56 3.51 3.48 3.77 3.66 \n", "13 3.88 3.61 3.56 3.52 3.80 3.69 \n", "14 3.86 3.58 3.52 3.46 3.73 3.62 \n", "15 3.84 3.54 3.51 3.46 3.74 3.62 \n", "16 3.88 3.58 3.54 3.49 3.75 3.62 \n", "17 3.90 3.62 3.58 3.52 3.77 3.64 \n", "18 3.96 3.68 3.62 3.55 3.79 3.66 \n", "\n", "[19 rows x 23 columns]" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df_rates[0]" ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Date1 Mo2 Mo3 Mo4 Mo6 Mo1 Yr2 Yr3 Yr5 Yr7 Yr10 Yr20 Yr30 Yr
001/03/20234.174.424.534.704.774.724.404.183.943.893.794.063.88
101/04/20234.204.424.554.694.774.714.364.113.853.793.693.973.81
201/05/20234.304.554.664.754.814.784.454.183.903.823.713.963.78
301/06/20234.324.554.674.744.794.714.243.963.693.633.553.843.67
401/09/20234.374.584.704.744.834.694.193.933.663.603.533.833.66
501/10/20234.414.624.734.774.854.744.243.943.723.673.613.913.74
601/11/20234.424.624.724.824.844.734.203.903.663.613.543.843.67
701/12/20234.574.594.664.744.764.664.123.793.533.483.433.733.56
801/13/20234.584.594.674.734.774.694.223.883.603.553.493.793.61
901/17/20234.604.634.714.744.824.674.183.863.603.573.533.813.64
1001/18/20234.594.624.694.744.794.634.063.723.433.403.373.653.54
1101/19/20234.694.664.714.744.794.654.093.763.483.433.393.693.57
1201/20/20234.694.644.724.754.804.684.143.833.563.513.483.773.66
1301/23/20234.694.654.734.764.824.704.213.883.613.563.523.803.69
1401/24/20234.704.674.724.754.844.704.123.863.583.523.463.733.62
1501/25/20234.674.654.724.754.794.674.113.843.543.513.463.743.62
1601/26/20234.614.654.714.764.794.684.173.883.583.543.493.753.62
1701/27/20234.614.644.734.764.814.684.193.903.623.583.523.773.64
1801/30/20234.604.644.724.764.824.714.253.963.683.623.553.793.66
\n", "
" ], "text/plain": [ " Date 1 Mo 2 Mo 3 Mo 4 Mo 6 Mo 1 Yr 2 Yr 3 Yr 5 Yr 7 Yr \\\n", "0 01/03/2023 4.17 4.42 4.53 4.70 4.77 4.72 4.40 4.18 3.94 3.89 \n", "1 01/04/2023 4.20 4.42 4.55 4.69 4.77 4.71 4.36 4.11 3.85 3.79 \n", "2 01/05/2023 4.30 4.55 4.66 4.75 4.81 4.78 4.45 4.18 3.90 3.82 \n", "3 01/06/2023 4.32 4.55 4.67 4.74 4.79 4.71 4.24 3.96 3.69 3.63 \n", "4 01/09/2023 4.37 4.58 4.70 4.74 4.83 4.69 4.19 3.93 3.66 3.60 \n", "5 01/10/2023 4.41 4.62 4.73 4.77 4.85 4.74 4.24 3.94 3.72 3.67 \n", "6 01/11/2023 4.42 4.62 4.72 4.82 4.84 4.73 4.20 3.90 3.66 3.61 \n", "7 01/12/2023 4.57 4.59 4.66 4.74 4.76 4.66 4.12 3.79 3.53 3.48 \n", "8 01/13/2023 4.58 4.59 4.67 4.73 4.77 4.69 4.22 3.88 3.60 3.55 \n", "9 01/17/2023 4.60 4.63 4.71 4.74 4.82 4.67 4.18 3.86 3.60 3.57 \n", "10 01/18/2023 4.59 4.62 4.69 4.74 4.79 4.63 4.06 3.72 3.43 3.40 \n", "11 01/19/2023 4.69 4.66 4.71 4.74 4.79 4.65 4.09 3.76 3.48 3.43 \n", "12 01/20/2023 4.69 4.64 4.72 4.75 4.80 4.68 4.14 3.83 3.56 3.51 \n", "13 01/23/2023 4.69 4.65 4.73 4.76 4.82 4.70 4.21 3.88 3.61 3.56 \n", "14 01/24/2023 4.70 4.67 4.72 4.75 4.84 4.70 4.12 3.86 3.58 3.52 \n", "15 01/25/2023 4.67 4.65 4.72 4.75 4.79 4.67 4.11 3.84 3.54 3.51 \n", "16 01/26/2023 4.61 4.65 4.71 4.76 4.79 4.68 4.17 3.88 3.58 3.54 \n", "17 01/27/2023 4.61 4.64 4.73 4.76 4.81 4.68 4.19 3.90 3.62 3.58 \n", "18 01/30/2023 4.60 4.64 4.72 4.76 4.82 4.71 4.25 3.96 3.68 3.62 \n", "\n", " 10 Yr 20 Yr 30 Yr \n", "0 3.79 4.06 3.88 \n", "1 3.69 3.97 3.81 \n", "2 3.71 3.96 3.78 \n", "3 3.55 3.84 3.67 \n", "4 3.53 3.83 3.66 \n", "5 3.61 3.91 3.74 \n", "6 3.54 3.84 3.67 \n", "7 3.43 3.73 3.56 \n", "8 3.49 3.79 3.61 \n", "9 3.53 3.81 3.64 \n", "10 3.37 3.65 3.54 \n", "11 3.39 3.69 3.57 \n", "12 3.48 3.77 3.66 \n", "13 3.52 3.80 3.69 \n", "14 3.46 3.73 3.62 \n", "15 3.46 3.74 3.62 \n", "16 3.49 3.75 3.62 \n", "17 3.52 3.77 3.64 \n", "18 3.55 3.79 3.66 " ] }, "execution_count": 7, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df_clean = df_rates[0].drop(columns=['20 YR', '30 YR', 'Extrapolation Factor',\n", " '8 WEEKS BANK DISCOUNT', 'COUPON EQUIVALENT', '17 WEEKS BANK DISCOUNT',\n", " 'COUPON EQUIVALENT.1', '52 WEEKS BANK DISCOUNT', 'COUPON EQUIVALENT.2'])\n", "df_clean" ] } ], "metadata": { "kernelspec": { "display_name": "jbook", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.12" }, "orig_nbformat": 4, "vscode": { "interpreter": { "hash": "814dd97c9b1192d9c44b0b7e4745a589d51898d104c06e3c8aedab4dae542697" } } }, "nbformat": 4, "nbformat_minor": 2 }