Есть еще opt вариант, если нужно, чтобы парсер ходил за страницы аутентификации. Панду подключить, вместе с requests красивым получается. Пример кодика:
Программный код:
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'http://example.com'
payload = {'username': 'имя_пользователя', 'password': 'пароль'}
with requests.Session() as s:
p = s.post('http://example.com/login', data=payload)
response = s.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
data = []
for link in soup.find_all('a'):
data.append(link.get('href'))
df = pd.DataFrame(data, columns=['URLs'])
df.to_csv('output.csv', index=False)
Получишь на выходе csv-шку с ссылками. Удачи!