爬蟲實例之獲取豆瓣前250名電影名稱

代碼：

import requests from bs4 import BeautifulSoup import time#程序開始時時間stat stat = time.time() #請求頭信息，檢查目標網頁即可獲取 headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", 'Host': 'movie.douban.com' } #目標地址 url = 'https://movie.douban.com/top250' #創建列表 movie_list = [] #循環十頁 for i in range(0,10):#拼接出目標地址link = url+'?'+'start='+str(i*25)#檢查拼接結果print(link)# 發起請求，得到響應r，timeout=10十秒不響應就繼續執行res = requests.get(link,headers=headers,timeout=10)#輸出響應狀態print(res.status_code)soup = BeautifulSoup(res.text,'html.parser')#獲取標題divdiv_hd = soup.find_all('div',class_='hd')#獲取導演div_bd = soup.find_all('div', class_='bd')#遍歷標題div,找到所需信息for each in div_hd:#獲取div下的a下的spantest_list = each.a.find_all('span',class_='title')test_title = ''for j in range(len(test_list)):test_title += test_list[j].text.strip()movie_list.append(test_title)# 休息3秒，避免爬的太快封iptime.sleep(3)#解決gbk中文亂碼 with open('豆瓣250.txt',"a+",encoding="utf-8") as f:for i in range(len(movie_list)):#替換 字符串movie_list[i] = movie_list[i].replace(' ','')f.write(movie_list[i]+'\n') end = time.time() print('總時間是',end-stat)

結果：

肖申克的救贖/The Shawshank Redemption 霸王別姬 阿甘正傳/Forrest Gump 這個殺手不太冷/Léon 泰坦尼克號/Titanic 美麗人生/La vita è bella 千與千尋/千と千尋の神隠し 辛德勒的名單/Schindler's List 盜夢空間/Inception 忠犬八公的故事/Hachi: A Dog's Tale 星際穿越/Interstellar 楚門的世界/The Truman Show 海上鋼琴師/La leggenda del pianista sull'oceano 三傻大鬧寶萊塢/3 Idiots 機器人總動員/WALL·E 放牛班的春天/Les choristes 無間道/無間道 瘋狂動物城/Zootopia 大話西游之大圣娶親/西遊記大結局之仙履奇緣 熔爐/??? 教父/The Godfather 當幸福來敲門/The Pursuit of Happyness 龍貓/となりのトトロ 怦然心動/Flipped 控方證人/Witness for the Prosecution 觸不可及/Intouchables 末代皇帝/The Last Emperor 蝙蝠俠：黑暗騎士/The Dark Knight 尋夢環游記/Coco 活著 指環王3：王者無敵/The Lord of the Rings: The Return of the King 哈利·波特與魔法石/Harry Potter and the Sorcerer's Stone 亂世佳人/Gone with the Wind 何以為家/???????? 飛屋環游記/Up 素媛/?? 摔跤吧！爸爸/Dangal 十二怒漢/12 Angry Men 少年派的奇幻漂流/Life of Pi 哈爾的移動城堡/ハウルの動く城 鬼子來了 我不是藥神 大話西游之月光寶盒/西遊記第壹佰零壹回之月光寶盒 天空之城/天空の城ラピュタ 天堂電影院/Nuovo Cinema Paradiso 聞香識女人/Scent of a Woman 指環王2：雙塔奇兵/The Lord of the Rings: The Two Towers 羅馬假日/Roman Holiday 貓鼠游戲/Catch Me If You Can 辯護人/??? 指環王1：護戒使者/The Lord of the Rings: The Fellowship of the Ring 鋼琴家/The Pianist 大鬧天宮 讓子彈飛 教父2/The Godfather: Part Ⅱ 獅子王/The Lion King 死亡詩社/Dead Poets Society 搏擊俱樂部/Fight Club 黑客帝國/The Matrix 海蒂和爺爺/Heidi 綠皮書/Green Book 飲食男女/飲食男女 美麗心靈/A Beautiful Mind 竊聽風暴/Das Leben der Anderen 本杰明·巴頓奇事/The Curious Case of Benjamin Button 兩桿大煙槍/Lock, Stock and Two Smoking Barrels 情書/Love Letter 穿條紋睡衣的男孩/The Boy in the Striped Pajamas 看不見的客人/Contratiempo 西西里的美麗傳說/Malèna 飛越瘋人院/One Flew Over the Cuckoo's Nest 拯救大兵瑞恩/Saving Private Ryan 音樂之聲/The Sound of Music 小鞋子/??????? ????? 阿凡達/Avatar 海豚灣/The Cove 致命魔術/The Prestige 美國往事/Once Upon a Time in America 沉默的羔羊/The Silence of the Lambs 禁閉島/Shutter Island 蝴蝶效應/The Butterfly Effect 低俗小說/Pulp Fiction 心靈捕手/Good Will Hunting 布達佩斯大飯店/The Grand Budapest Hotel 哈利·波特與死亡圣器(下)/Harry Potter and the Deathly Hallows: Part 2 春光乍泄/春光乍洩 七宗罪/Se7en 摩登時代/Modern Times 喜劇之王/喜劇之王 被嫌棄的松子的一生/嫌われ松子の一生 致命ID/Identity 殺人回憶/??? ?? 加勒比海盜/Pirates of the Caribbean: The Curse of the Black Pearl 剪刀手愛德華/Edward Scissorhands 狩獵/Jagten 勇敢的心/Braveheart 請以你的名字呼喚我/Call Me by Your Name 紅辣椒/パプリカ 7號房的禮物/7??? ?? 斷背山/Brokeback Mountain 天使愛美麗/Le fabuleux destin d'Amélie Poulain 功夫 超脫/Detachment 幽靈公主/もののけ姫 小森林 夏秋篇/リトル?フォレスト 夏?秋 第六感/The Sixth Sense 唐伯虎點秋香/唐伯虎點秋香 重慶森林/重慶森林 陽光燦爛的日子 愛在黎明破曉前/Before Sunrise 人生果實/人生フルーツ 一一 菊次郎的夏天/菊次郎の夏 蝙蝠俠：黑暗騎士崛起/The Dark Knight Rises 哈利·波特與阿茲卡班的囚徒/Harry Potter and the Prisoner of Azkaban 小森林 冬春篇/リトル?フォレスト 冬?春 消失的愛人/Gone Girl 無人知曉/誰も知らない 入殮師/おくりびと 超能陸戰隊/Big Hero 6 倩女幽魂 側耳傾聽/耳をすませば 完美的世界/A Perfect World 借東西的小人阿莉埃蒂/借りぐらしのアリエッティ 甜蜜蜜 愛在日落黃昏時/Before Sunset 螢火之森/蛍火の杜へ 馴龍高手/How to Train Your Dragon 瑪麗和馬克思/Mary and Max 幸福終點站/The Terminal 哈利·波特與密室/Harry Potter and the Chamber of Secrets 天書奇譚 大魚/Big Fish 告白 陽光姐妹淘/?? 射雕英雄傳之東成西就/射鵰英雄傳之東成西就 怪獸電力公司/Monsters, Inc. 時空戀旅人/About Time 恐怖直播/? ?? ??? 神偷奶爸/Despicable Me 玩具總動員3/Toy Story 3 傲慢與偏見/Pride & Prejudice 教父3/The Godfather: Part III 釜山行/??? 一個叫歐維的男人決定去死/En man som heter Ove 哪吒鬧海 血戰鋼鋸嶺/Hacksaw Ridge 被解救的姜戈/Django Unchained 未麻的部屋/Perfect Blue 七武士/七人の侍 我是山姆/I Am Sam 頭號玩家/Ready Player One 喜宴/囍宴 電鋸驚魂/Saw 風之谷/風の谷のナウシカ 上帝之城/Cidade de Deus 新世界/??? 盧旺達飯店/Hotel Rwanda 三塊廣告牌/Three Billboards Outside Ebbing, Missouri 英雄本色 瘋狂原始人/The Croods 模仿游戲/The Imitation Game 諜影重重3/The Bourne Ultimatum 花樣年華/花樣年華 黑客帝國3：矩陣革命/The Matrix Revolutions 寄生蟲/??? 縱橫四海/緃橫四海 達拉斯買家俱樂部/Dallas Buyers Club 頭腦特工隊/Inside Out 心迷宮 你的名字。/君の名は。 歲月神偷/歲月神偷 記憶碎片/Memento 忠犬八公物語/ハチ公物語 海街日記/海街diary 荒蠻故事/Relatos salvajes 哈利·波特與火焰杯/Harry Potter and the Goblet of Fire 驚魂記/Psycho 爆裂鼓手/Whiplash 真愛至上/Love Actually 貧民窟的百萬富翁/Slumdog Millionaire 東邪西毒/東邪西毒 螢火蟲之墓/火垂るの墓 小偷家族/萬引き家族 綠里奇跡/The Green Mile 黑天鵝/Black Swan 無敵破壞王/Wreck-It Ralph 九品芝麻官 你看起來好像很好吃/おまえうまそうだな 愛在午夜降臨前/Before Midnight 冰川時代/Ice Age 瘋狂的石頭 雨人/Rain Man 戀戀筆記本/The Notebook 恐怖游輪/Triangle 雨中曲/Singin' in the Rain 魔女宅急便/魔女の宅急便 色，戒 2001太空漫游/2001: A Space Odyssey 虎口脫險/La grande vadrouille 奇跡男孩/Wonder 城市之光/City Lights 海邊的曼徹斯特/Manchester by the Sea 可可西里 人工智能/Artificial Intelligence: AI 初戀這件小事/???????????????????????...??? 羅生門/羅生門 房間/Room 終結者2：審判日/Terminator 2: Judgment Day 大佛普拉斯 二十二 遺愿清單/The Bucket List 牯嶺街少年殺人事件/牯嶺街少年殺人事件 源代碼/Source Code 波西米亞狂想曲/Bohemian Rhapsody 青蛇 新龍門客棧/新龍門客棧 魂斷藍橋/Waterloo Bridge 瘋狂的麥克斯4：狂暴之路/Mad Max: Fury Road 無恥混蛋/Inglourious Basterds 東京教父/東京ゴッドファーザーズ 步履不停/歩いても 歩いても 無間道2/無間道II 血鉆/Blood Diamond 燃情歲月/Legends of the Fall 海洋/Océans 彗星來的那一夜/Coherence 諜影重重2/The Bourne Supremacy 戰爭之王/Lord of War 穿越時空的少女/時をかける少女 阿飛正傳/阿飛正傳 千鈞一發/Gattaca 地球上的星星/Taare Zameen Par 完美陌生人/Perfetti sconosciuti 黑客帝國2：重裝上陣/The Matrix Reloaded 諜影重重/The Bourne Identity 東京物語/東京物語 崖上的波妞/崖の上のポニョ 香水/Perfume: The Story of a Murderer 我愛你/??? ????? 茶館 再次出發之紐約遇見你/Begin Again 朗讀者/The Reader 聚焦/Spotlight 驢得水 浪潮/Die Welle 猜火車/Trainspotting 愛樂之城/La La Land 小蘿莉的猴神大叔/Bajrangi Bhaijaan 背靠背，臉對臉

總結

以上是生活随笔為你收集整理的爬虫实例之获取豆瓣前250名电影名称的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。