风流洒脱、必要深入分析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250

《解脱》:小编的灵魂与自己里面包车型客车间隔如此遥远,而自己的存在却这么真实。

抓取字段:电影名称、评分、评价人数

《罗生门》

澳门蒲京娱乐 1

《罗生门》:撒谎是人之性格,在大许多时间里笔者么以致都不恩能对自身诚实,但那是因为大家太虚亏掉所以才撒谎,以致是对友好撒谎。

二、运行:
正在抓取第0页……
肖申克的救赎 9.6 8247陆11人
其黄金年代刺客不太冷 9.4 7913100位
霸王别姬 9.5 589027人
阿甘正传 9.4 678854位
赏心悦目人生 9.5 394009人
千与千寻 9.2 6304伍十七位
Schindler的花名册 9.4 364710位
泰坦Nick号 9.2 624624个人
盗梦空间 9.2 732346位
机器人总动员 9.3 480979位
海上海钢铁公司琴师 9.2 577308人
三傻大闹宝莱坞 9.1 641153个人
忠犬八公的传说 9.2 4303十十二位
放牛班的春天 9.2 432379个人
大话西游之大圣娶亲 9.2 4653三十四人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的社会风气 9.0 428408人
动荡的世道佳人 9.2 261189位
天堂电影院 9.1 2985拾二人
当幸福来敲门 8.9 5177柒十位
触不可及 9.1 350506人
搏击俱乐部 9.0 391456人
十七怒汉 9.3 1629四十八人
无间道 9.0 379235人
正值抓取第1页……
熔炉 9.2 230668人
手记王3:王者无敌 9.1 274579人
心跳得厉害 8.9 516556人
天上之城 9.0 3178九十八位
班加罗尔假期 8.9 3708陆10位
黄金时代派的美妙漂流 9.0 557922个人
大话西游之月光宝盒 8.9 3779三12人
鬼子来了 9.1 2158玖拾叁位
星际穿越 9.1 458154个人
蝙蝠侠:乌黑骑士 9.0 301300人
两杆大烟枪 9.0 2633捌13位
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 2669八十几位
窃听尘暴 9.1 2109陆拾肆位
海豚湾 9.3 175994人
闻香识女孩子 8.9 3068玖拾贰个人
V字仇杀队 8.8 3934贰21个人
神奇心灵 8.9 2920拾一人
教父2 9.1 177785人
哈尔的移位城阙 8.8 3294伍九人
戒指王2:双塔奇兵 8.9 2594十十二个人
戒指王1:魔戒重现 8.9 2894贰12人
精灵爱美貌 8.7 462796个人
情书 8.8 355630人
正值抓取第2页……
过逝诗社 8.9 26一九八12人
美利坚合众国历史 9.1 1657陆拾伍人
澳门蒲京娱乐,七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的今生今世 8.9 261601人
沉重魔术 8.8 3222六二十个人
控诉方证人 9.6 74344个人
勇敢的心 8.8 284477人
剪刀手Edward 8.7 461653人
人的本性 9.0 177610个人
小鞋子 9.2 127801人
音乐之声 8.9 2211捌20人
低级庸俗随笔 8.7 314235个人
入殓师 8.8 305490人
Benjamin·Barton奇事 8.7 3743六10位
沉默不语的羔羊 8.7 332710人
连锁反应 8.7 361870人
红客帝国 8.8 263794人
救救大兵瑞恩 8.8 221860个人
素媛 9.1 159897人
Mary和马克思 8.9 2243九十人
西西里的姣好传说 8.7 322478人
眼尖手快捕手 8.7 253549位
正在抓取第3页……
幽灵公主 8.8 221279人
第六感 8.8 219997人
阳光灿烂的光景 8.7 254633个人
让子弹飞 8.7 59一九八八人
春和景明乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 904玖拾玖人
射雕大侠传之东面有所成西面亦如意 8.7 259392位
洛桑树林 8.6 305208人
太阳姐妹淘 8.8 2522九十个人
老天爷之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
阿曼湾盗 8.6 3140九个人
爱在黎前几天亮前 8.7 2044二十八人
狩猎 9.0 112979人
奥克兰洲大学旅馆 8.7 2834九十八位
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 1918捌10个人
疯狂动物城 9.2 456022位
正值抓取第4页……
摩立刻代 9.2 80294位
爱在日落黄昏时 8.7 186450个人
猫鼠游戏 8.7 2023柒十四位
末代皇上 8.8 148112人
侧耳静听 8.8 155658位
哈利·Porter与法力石 8.6 229709人
驯龙高手 8.7 2671十两人
超脱 8.7 159754人
海洋 9.0 95004人
甜蜜终点站 8.6 213612个人
穿条纹睡衣的男孩 8.8 1274八十个人
菊次郎的夏日 8.7 1655捌十五位
燃情岁月 8.8 1423八十多人
冰释的心上人 8.7 3233一百人
聂小倩 8.6 228708人
神偷奶爸 8.5 3452九十一人
电锯惊魂 8.6 1861九十四个人
谍影重重3 8.7 1693柒十七人
岁太阴元君偷 8.6 2893五11人
真爱至上 8.5 2922玖拾位
借东西的小丑阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
化险为夷 8.9 101112个人
恐惧直播 8.7 壹玖肆玖伍拾一位
正在抓取第5页……
贫民窟的百万富翁 8.5 376458位
东邪西毒 8.6 233910人
回忆碎片 8.5 258782个人
疯癫原始人 8.7 3489四十多少人
杀人回忆 8.6 一九一零46位
怪兽电力公司 8.6 2210陆十七人
红辣椒 8.8 116235人
卢Wanda饭馆 8.8 1097三十八人
黑天鹅 8.5 390705人
穿越时间和空间的老姑娘 8.6 173268人
魂断蓝桥 8.8 1222陆14人
恋恋台式机 8.5 259855个人
猜火车 8.5 229628人
喜宴 8.8 125182人
英雄本色 8.7 136375个人
雨中曲 8.9 87275人
自高自大与一隅之见 8.4 2786陆拾人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
正剧之王 8.4 280152人
一应俱全的社会风气 9.0 72741人
驰骋四海 8.7 130695位
玩具总动员3 8.7 181582人
萤火之森 8.7 141371位
为者常成智能 8.6 1773叁拾个人
正在抓取第6页……
自家是萨姆 8.8 934叁21位
浪潮 8.7 120227人
香水 8.4 256627人
冰川年代 8.4 251944个人
7号房的礼物 8.7 155404人
撞车 8.6 163627人
哈利·波特与驾鹤归西圣器(下) 8.6 253239人
花样年华 8.5 2246五十三人
追随 9.0 72964人
朗读者 8.5 262929人
一遍别离 8.7 1222六十九位
碧浅莲红天 8.7 1032十三位
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 1026八十人
战多管闲事之王 8.5 162502人
荒蛮传说 8.7 1141玖拾陆个人
可可西里 8.6 119314人
心迷宫 8.6 138691人
唐伯虎点秋香 8.3 2891七十八个人
不凡陆战队 8.6 3359六二十个人
时间和空间恋旅人 8.6 1762捌十一个人
海盗广播台 8.6 157460位
地球上的星星 8.8 744四十三个人
谍影重重2 8.5 1472叁拾八人
正在抓取第7页……
蝙蝠侠:乌黑骑士崛起 8.5 271619个人
谍影重重 8.5 177829个人
阿飞正传 8.5 1631捌16个人
小森林 冬春篇 8.9 95803人
担惊受怕客轮 8.3 2854陆十八个人
迁徙的鸟 9.1 492贰17人
荒地生存 8.6 1184叁十位
勇闯夺命岛 8.5 1320八十八人
绿里不经常 8.7 979陆十几个人
惊魂记 8.8 74428人
杜塞尔多夫买家俱乐部 8.6 152990位
魔女宅急便 8.4 1764捌十四位
再一次出发之London遇见你 8.5 149095位
爆裂鼓手 8.6 212624个人
未麻的部屋 8.8 817二十八位
阿布扎比 8.6 115202人
燕尾蝶 8.6 102340人
东京物语 9.2 454肆拾一位
牯岭街少年杀人事件 8.7 940100位
这一个男人来自地球 8.5 1610贰拾几人
变脸 8.4 199136人
United Kingdom患儿 8.4 164078个人
被抢救的姜戈 8.5 240487个人
走头无路狂花 8.7 94801人
终结者2:审判日 8.5 130046人
正在抓取第8页……
E.T. 外星人 8.5 140618人
叫本身头名 8.6 100803人
忠犬八集体语 9.0 499二十八位
李哪吒闹海 8.8 719七十八个人
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 2150六拾贰位
白银三镖客 9.1 46238个人
红客帝国3:矩阵革命 8.5 1411拾几个人
新龙门旅舍 8.4 1670三十多少人
老大嫌疑犯 8.6 106124人
美利坚合资国靓妹 8.4 170162人
都市之光 9.2 38414位
天公也疯狂 8.6 89002人
劣迹斑斑混蛋 8.4 2059六拾十人
初恋这件小事 8.2 4213三十陆个人
勇士 8.9 80661人
爱·回家 9.0 43661人
金黄大门 8.2 256607人
曾经 8.3 190832人
无敌破坏王 8.6 1711八十五个人
麦兜遗闻 8.5 1185六十八人
暖暖内承影 8.4 133625个人
大卫·戈尔的百多年 8.7 788一百个人
正在抓取第9页……
蝴蝶 8.6 90229人
仿照游戏 8.5 228587个人
血钻 8.5 117306人
天子的解说 8.3 311855人
与狼同舞 8.9 526柒十二个人
遗愿清单 8.5 1141陆拾陆人
法国巴黎调皮帮 8.6 987十八人
荒岛余生 8.4 120699位
偷拐抢骗 8.5 1072叁19位
夜访吸血鬼 8.3 1839肆19人
发狂的石头 8.2 281234人
枪火 8.6 88708人
一触即发 8.7 74719人
爱在早晨光顾前 8.7 1027陆十位
爱在泰王国 8.3 207992人
中央车站 8.7 716四十多少人
月球 8.5 130528人
寿司之神 8.8 740三十四个人
我爱你 9.0 49781人
恩恩爱爱 8.1 300320个人
罪恶之城 8.4 131577个人
大桥遗梦 8.5 894叁拾七个人
设若爱有运气 8.2 214077个人
流星来的那风华正茂夜 8.3 1460四十八个人
黑鹰坠落 8.5 998九十几位
爬虫结束,总共耗费时间: 1.8951084s

《V字仇杀队》:事实上,经过那样多年之后,你起来失去的不仅仅是脾胃,你戴面具的年华太长,都不记得面具下的要好是怎么着样子了。

Process finished with exit code 0

《七武士》

澳门蒲京娱乐 2

《七勇士》:笔者像你那样大时,也想过凭技巧,应战立功然后当大器晚成城之王,但想着想着已白发斑斑,那时候您已错失双亲形影相吊。

澳门蒲京娱乐 3

《猜火车》

三、爬虫源代码

《猜轻轨》:选拔专门的学业,选用生活,选择职业,选用家庭,选她妈的大电视,选拔坐着,看令头脑麻木让心灵破碎的猜谜节目,嘴里塞满他妈的废料食物。

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "time"
    "os"
    "strconv"
)
//定义新的数据类型
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword.header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }
    return string(body)

}
func parse()  {
    header := map[string]string{
        "Host": "movie.douban.com",
        "Connection": "keep-alive",
        "Cache-Control": "max-age=0",
        "Upgrade-Insecure-Requests": "1",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Referer": "https://movie.douban.com/top250",
    }

    //创建excel文件
    f, err := os.Create("C:/haha3.xlsx")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    //写入标题
    f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")

    //循环每页解析并把结果写入excel
    for i:=0;i<10;i++{
        fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
        url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
        spider := &Spider{url, header}
        html := spider.get_html_header()

        //评价人数
        pattern2:=`(.*?)评价`
        rp2 := regexp.MustCompile(pattern2)
        find_txt2 := rp2.FindAllStringSubmatch(html,-1)

        //评分
        pattern3:=`property="v:average">(.*?)`
        rp3 := regexp.MustCompile(pattern3)
        find_txt3 := rp3.FindAllStringSubmatch(html,-1)

        //电影名称
        pattern4:=`img alt="(.*?)" src=`
        rp4 := regexp.MustCompile(pattern4)
        find_txt4 := rp4.FindAllStringSubmatch(html,-1)

        // 写入UTF-8 BOM
        f.WriteString("\xEF\xBB\xBF")
        //  打印全部数据和写入excel文件
        for i:=0;i<len(find_txt2);i++{
            fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
            f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")

        }
    }
}

func main() {
    t1 := time.Now() // get current time
    parse()
    elapsed := time.Since(t1)
    fmt.Println("爬虫结束,总共耗时: ", elapsed)

}

《Mary与马克思》

《Mary与马克思》:小编实际想不通为何诚实也算……不适时宜。

《Mary与马克思》

《Mary与马克思》:当自身年轻的时候,作者想产生任何一人除了自身要好。

《剪刀手Edward》

《剪刀手Edward》:抱作者,小编不可能

《新加坡乐与路》

《法国巴黎乐与路》:天公也以为那世界完美无瑕,以往还不是乱糟糟。

《 牯岭街少年杀人事件》

《牯岭街少年杀人事件》:那么些世界是

不会变的。

《独马上代》

《独马上代》:最轻松掩饰权利的不二秘籍,就是装的跟旁人近似。

《一一》

《意气风发风流倜傥》:你不在的时候,作者有个机会去过了大器晚成段年轻时候的光景,本来认为本人再活叁回的话只怕会有怎么样比相当小器晚成致,结果可能基本上没什么区别,只是忽地以为,再活三遍的话好像,真的没有极其供给。

《超脱》

《解脱》:你看得见自个儿?你能见到自个儿站在此?
是的,笔者见到了。哦天啊,小编就像是再度和那么些世界创设了联络,谢谢。