• <samp id="mz5ne"><acronym id="mz5ne"></acronym></samp>
      <ol id="mz5ne"></ol>
    1. <samp id="mz5ne"></samp>
      <mark id="mz5ne"></mark>

        <fieldset id="mz5ne"></fieldset>

        免费看又黄又无码的网站_久久久高清国产免费观看_亚洲一区二区三区在线免费观看_免费欧洲美女a视频一级毛片_日本最新免费二区三区

        ×

        網(wǎng)站的產(chǎn)品如何進(jìn)行防采集處理?

        • 作者:新網(wǎng)
        • 來源:新網(wǎng)
        • 瀏覽:100
        • 2018-04-10 13:28:13

        很多網(wǎng)站為了用戶體驗(yàn),通常會(huì)將一部分想看到的數(shù)據(jù),直接加載在頁面上,讓用戶進(jìn)行查看。這時(shí)候采集者只需要解析頁面的html結(jié)構(gòu),就能將頁面的信息全部采集下來。百度爬蟲、快照、頁面采集基本上都是用了這個(gè)原理。

        <div>很多網(wǎng)站為了用戶體驗(yàn),通常會(huì)將一部分想看到的數(shù)據(jù),直接加載在頁面上,讓用戶進(jìn)行查看。這時(shí)候采集者只需要解析頁面的html結(jié)構(gòu),就能將頁面的信息全部采集下來。百度爬蟲、快照、頁面采集基本上都是用了這個(gè)原理。

         
        51250_500x500.jpg
        直接盜取web數(shù)據(jù)庫這個(gè)就比較高級(jí)了,采集者通常會(huì)編寫一個(gè)爬蟲,讓爬蟲自動(dòng)發(fā)現(xiàn)網(wǎng)站上的查詢接口,并且模擬接口的數(shù)據(jù)標(biāo)準(zhǔn),向接口傳輸相應(yīng)的查詢指令,最后將返回的數(shù)據(jù)進(jìn)行整理處理,就完成了相應(yīng)的資源采集。
         
        手動(dòng)采集從字面上理解,就是通過人工進(jìn)行資源的采集,這種方式適用范圍比較靈活,可以通過資源下載、復(fù)制等人工方式進(jìn)行資源的采集。這種方式看著很low,效率很低。但往往這種采集方式,讓人無比頭疼。
         
        PS:1個(gè)用戶在A網(wǎng)站下載了一份word資料,經(jīng)過簡單編輯后,上傳到自己的網(wǎng)站上進(jìn)行使用。這個(gè)過程就無法通過技術(shù)手段進(jìn)行跟蹤(整個(gè)過程全是用戶的真實(shí)操作),即使發(fā)現(xiàn)了這種現(xiàn)象,也無法確定對方盜取了自己的資源,因?yàn)槟銢]有切實(shí)可行的證據(jù)。此處大家可以思考一下,百度文庫的一部分內(nèi)容是怎么來的。
         
        防采集方法策略
         
        上文中簡單介紹了部分采集者的采集手段,接下來我們聊聊該如何進(jìn)行防采集處理。
         
        應(yīng)對下載鏈接泄露的策略
         
        通過這個(gè)流程,我們發(fā)現(xiàn),如果采集者可以直接拿到步驟3的下載鏈接,是可以不需要經(jīng)過步驟2的驗(yàn)證,直接下載資源。這樣我們就清楚了,要防止這種采集方式的話,我們的重點(diǎn)在于不讓用戶拿到資源的下載鏈接。那我們就可以按照下面的方式進(jìn)行處理:
         
        將下載鏈接進(jìn)行加密
         
        程序猿在開發(fā)過程中,基本都會(huì)進(jìn)行下載鏈接的加密處理。加密就好比一把鑰匙,沒有鑰匙就開不了鎖,加密一樣的,不知道解密方式,是無法破解你的下載鏈接,這樣便實(shí)現(xiàn)了資源的防采集。
         
        解密是需要知道加密規(guī)則的,所以在做加密處理的時(shí)候,最好不要使用第三方機(jī)加密規(guī)則,自己做最安全。定期維護(hù)加密規(guī)則,也是有必要的。
         
        防止采集者攔截下載鏈接
         
        有一部分采集者,會(huì)在步驟3與步驟4之間,攔截傳輸出去的下載鏈接。這樣他不需要經(jīng)過步驟2,一樣能拿到我們返回的下載鏈接進(jìn)行下載。遇到這種情況的時(shí)候,我們可以考慮在下載url加入用戶驗(yàn)證。在瀏覽器解析url的時(shí)候,驗(yàn)證當(dāng)前用戶是否是我們的下載用戶,達(dá)到防采集的目的。除非用戶能拿到我們的賬戶信息,否則是不能采集到我們的內(nèi)容。但是這種方法無法支持?jǐn)帱c(diǎn)下載。
         
        以上就是小編對于網(wǎng)站的產(chǎn)品如何進(jìn)行防采集處理的解答。
         

        免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請發(fā)送郵件至:operations@xinnet.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。

        免費(fèi)咨詢獲取折扣

        Loading
        国产精品视频白浆免费视频_久久久高清国产免费观看_亚洲一区二区三区在线免费观看_免费欧洲美女a视频一级毛片
      1. <samp id="mz5ne"><acronym id="mz5ne"></acronym></samp>
          <ol id="mz5ne"></ol>
        1. <samp id="mz5ne"></samp>
          <mark id="mz5ne"></mark>

            <fieldset id="mz5ne"></fieldset>
            邮箱| 宁晋县| 即墨市| 陆良县| 通州市| 罗源县| 永平县| 新平| 曲阳县| 景东| 广河县| 庆安县| 中山市| 兴安县| 女性| 固镇县| 莱芜市| 财经| 南平市| 尼勒克县| 遵义县| 黎川县| 民丰县| 郎溪县| 屏山县| 房山区| 丰宁| 西畴县| 类乌齐县| 大港区| 定西市| 康乐县| 内黄县| 敦煌市| 芦溪县| 淳安县| 松阳县| 德保县| 大关县| 和田县| 南宁市|