爬取新聞版權

❶ 通過爬蟲爬取互聯網公開新聞信息等，並做展現，打開會直接打開原網站，這種涉及侵權嗎

可以的，首先要復自己會制寫代碼學習爬蟲可以從下面一些知識點入手學習。 1、http相關知識。 2、瀏覽器攔截、抓包。 3、python2 中編碼知識，python3 中bytes 和str類型轉換。 4、抓取javascript 動態生成的內容。 4、模擬post、get，header等 5、cookie處理，登錄。 6、代理訪問。 7、多線程訪問、python 3 asyncio 非同步。 8、正則表達式、xpath等等等。。。。還有scrapy requests等第三方庫的使用。

❷ 問下，現在很多的新聞app是抓取的別的網站的實時新聞，那麼就算寫上出自xx新聞，這樣就合法了嗎

你說的問題涉及幾方面，第一，在我國，有資格刊載新聞的網路媒體並不多版，大部分其實都是權違法的。第二，按理轉載別人的新聞是應當尊重別的版權的，必要的時候需要支付費用，但版權保護在我國尚不完善。第三，避風港原則是國際慣例，版權方只要告知侵權方的侵權行為，侵權方立即停止侵權行為且沒有對版權方造成損失，侵權方也不算違法。

❸ java 對爬取到的N個新聞頁面如何做統一解析，最終拿到新聞標題和內容，因為頁面布局可能不一樣

新聞頁面不一樣，那麼布局就很可能不一樣。你想統一處理，這個很難。

兩種方回案：

1. 每個答頁面，外部傳入標題，正文的xpath或者css path這樣你根據傳入的參數就可以動態抽取了，對於你來說就是統一處理，代碼寫起來簡單。缺點就是上萬個網站需要一一配置，很煩。

2. 就是寫一個新聞正文和標題自動抽取的演算法，目前網上有不少這樣的演算法，有根據字數最多的一段內容來算的，有根據HTML標簽來計算的等等，這樣既不用外部手動配置，也不用你分開處理。缺點，既然是演算法自動抽取，那麼存在一個准確率的問題，沒法保證100%正確，畢竟HTML的使用太靈活了，各種用法都有。
   

❹ 我畢業設計選了新聞發布管理系統，我想利用網路爬蟲抓取其他網站的新聞，這個可以實現嗎

爬蟲的可以用python寫，python爬蟲的話你用一個禮拜 左右差不都多就可以掌握了，畢竟網上源碼一抓一版大把權。
爬蟲這塊你用 java其實也是可以處理的，但是還是建議使用python.
Web那塊用spring struts2都是可以的。
整個流程無非是python抓取新聞內容入庫，然後javaweb作展示，然後寫個簡單點的後台管理系統就行了

❺ 爬取javascript代碼 算侵權嗎

個人使用的話不算，要是用於商業就算了，公司不會找你，但是你要是來這個來賺錢，商業目的，你就等著法律吧

❻ 爬取政府官網公開的數據放到自己網站上商用，違法嗎

這個要看你抓取的是什麼信息，另外要看你用來干什麼，怎麼用的？一般來說公開的信息是不會違法的！

❼ python爬取新聞需要什麼軟體

1 import re # 正則表達式
2 import bs4 # Beautiful Soup 4 解析模塊
3 import urllib2 # 網路訪問模塊
4 import News #自己定義的新聞結構
5 import codecs #解決編碼問題的關鍵 ，使用codecs.open打開文件
6 import sys #1解決不同頁面編碼問題！

❽ 在網上抓取到的新聞難免會有重復的，爬蟲抓取到不同網站的數據怎麼進行去重，哪位大神可以教教我嗎

一般來說每個新聞都會有一個對應的ID，比如樓主的這個問題，1899746449221212820就是它對應的ID。在版同一網站下，比如權網路知道，這個ID是唯一的，只要是這個ID，那打開的頁面肯定就是這個問題。所以，可以嘗試按照ID去去重。
但是不同網站，就比較麻煩了，比如網易新聞和騰訊新聞。首先，不同新聞網站的ID編號可能不同，其次，可能會出現不同新聞網站相互抄襲，轉載，所以也許看似兩個不同的ID，內容卻是一樣的。或者再考慮新聞標題，但是這個也不排除有些新聞網站轉載之後改個標題之後又重新上線了。
所以我的想法是，同一個網站按照ID去重，不同網站還是算了吧。
至於按照時間去重，資料庫上做個限制就好了，用ID+時間作為組合鍵,uniq去重。
如有幫助，望採納。。。

❾ python3 怎麼爬取新聞網站

需求：

從門戶網站爬取新聞，將新聞標題，作者，時間，內容保存到本地txt中。

用到的python模塊：

importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題

其中bs4需要自己裝一下，安裝方法可以參考：Windows命令行下pip安裝python whl包

程序：

#coding=utf-8
importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題

reload(sys)#2
sys.setdefaultencoding('utf-8')#3

#從首頁獲取所有鏈接
defGetAllUrl(home):
html=urllib2.urlopen(home).read().decode('utf8')
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'
links=soup.find_all('a',href=re.compile(pattern))
forlinkinlinks:
url_set.add(link['href'])

defGetNews(url):
globalNewsCount,MaxNewsCount#全局記錄新聞數量
whilelen(url_set)!=0:
try:
#獲取鏈接
url=url_set.pop()
url_old.add(url)

#獲取代碼
html=urllib2.urlopen(url).read().decode('utf8')

#解析
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'#鏈接匹配規則
links=soup.find_all('a',href=re.compile(pattern))

#獲取URL
forlinkinlinks:
iflink['href']notinurl_old:
url_set.add(link['href'])

#獲取信息
article=News.News()
article.url=url#URL信息
page=soup.find('div',{'id':'page'})
article.title=page.find('h1').get_text()#標題信息
info=page.find('div',{'class':'article-info'})
article.author=info.find('a',{'class':'name'}).get_text()#作者信息
article.date=info.find('span',{'class':'time'}).get_text()#日期信息
article.about=page.find('blockquote').get_text()
pnode=page.find('div',{'class':'article-detail'}).find_all('p')
article.content=''
fornodeinpnode:#獲取文章段落
article.content+=node.get_text()+'
'#追加段落信息

SaveNews(article)

printNewsCount
break
exceptExceptionase:
print(e)
continue
else:
print(article.title)
NewsCount+=1
finally:
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break

defSaveNews(Object):
file.write("【"+Object.title+"】"+"	")
file.write(Object.author+"	"+Object.date+"
")
file.write(Object.content+"
"+"
")

url_set=set()#url集合
url_old=set()#爬過的url集合

NewsCount=0
MaxNewsCount=3

home='http://jia..com/'#起始位置

GetAllUrl(home)

file=codecs.open("D:\test.txt","a+")#文件操作

forurlinurl_set:
GetNews(url)
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break

file.close()

新聞文章結構

#coding:utf-8
#文章類定義
classNews(object):
def__init__(self):
self.url=None
self.title=None
self.author=None
self.date=None
self.about=None
self.content=None

對爬取的文章數量就行統計。