爬取新闻版权

❶ 通过爬虫爬取互联网公开新闻信息等，并做展现，打开会直接打开原网站，这种涉及侵权吗

可以的，首先要复自己会制写代码学习爬虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识，python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get，header等 5、cookie处理，登录。 6、代理访问。 7、多线程访问、python 3 asyncio 异步。 8、正则表达式、xpath等等等。。。。还有scrapy requests等第三方库的使用。

❷ 问下，现在很多的新闻app是抓取的别的网站的实时新闻，那么就算写上出自xx新闻，这样就合法了吗

你说的问题涉及几方面，第一，在我国，有资格刊载新闻的网络媒体并不多版，大部分其实都是权违法的。第二，按理转载别人的新闻是应当尊重别的版权的，必要的时候需要支付费用，但版权保护在我国尚不完善。第三，避风港原则是国际惯例，版权方只要告知侵权方的侵权行为，侵权方立即停止侵权行为且没有对版权方造成损失，侵权方也不算违法。

❸ java 对爬取到的N个新闻页面如何做统一解析，最终拿到新闻标题和内容，因为页面布局可能不一样

新闻页面不一样，那么布局就很可能不一样。你想统一处理，这个很难。

两种方回案：

1. 每个答页面，外部传入标题，正文的xpath或者css path这样你根据传入的参数就可以动态抽取了，对于你来说就是统一处理，代码写起来简单。缺点就是上万个网站需要一一配置，很烦。

2. 就是写一个新闻正文和标题自动抽取的算法，目前网上有不少这样的算法，有根据字数最多的一段内容来算的，有根据HTML标签来计算的等等，这样既不用外部手动配置，也不用你分开处理。缺点，既然是算法自动抽取，那么存在一个准确率的问题，没法保证100%正确，毕竟HTML的使用太灵活了，各种用法都有。
   

❹ 我毕业设计选了新闻发布管理系统，我想利用网络爬虫抓取其他网站的新闻，这个可以实现吗

爬虫的可以用python写，python爬虫的话你用一个礼拜 左右差不都多就可以掌握了，毕竟网上源码一抓一版大把权。
爬虫这块你用 java其实也是可以处理的，但是还是建议使用python.
Web那块用spring struts2都是可以的。
整个流程无非是python抓取新闻内容入库，然后javaweb作展示，然后写个简单点的后台管理系统就行了

❺ 爬取javascript代码 算侵权吗

个人使用的话不算，要是用于商业就算了，公司不会找你，但是你要是来这个来赚钱，商业目的，你就等着法律吧

❻ 爬取政府官网公开的数据放到自己网站上商用，违法吗

这个要看你抓取的是什么信息，另外要看你用来干什么，怎么用的？一般来说公开的信息是不会违法的！

❼ python爬取新闻需要什么软件

1 import re # 正则表达式
2 import bs4 # Beautiful Soup 4 解析模块
3 import urllib2 # 网络访问模块
4 import News #自己定义的新闻结构
5 import codecs #解决编码问题的关键 ，使用codecs.open打开文件
6 import sys #1解决不同页面编码问题！

❽ 在网上抓取到的新闻难免会有重复的，爬虫抓取到不同网站的数据怎么进行去重，哪位大神可以教教我吗

一般来说每个新闻都会有一个对应的ID，比如楼主的这个问题，1899746449221212820就是它对应的ID。在版同一网站下，比如权网络知道，这个ID是唯一的，只要是这个ID，那打开的页面肯定就是这个问题。所以，可以尝试按照ID去去重。
但是不同网站，就比较麻烦了，比如网易新闻和腾讯新闻。首先，不同新闻网站的ID编号可能不同，其次，可能会出现不同新闻网站相互抄袭，转载，所以也许看似两个不同的ID，内容却是一样的。或者再考虑新闻标题，但是这个也不排除有些新闻网站转载之后改个标题之后又重新上线了。
所以我的想法是，同一个网站按照ID去重，不同网站还是算了吧。
至于按照时间去重，数据库上做个限制就好了，用ID+时间作为组合键,uniq去重。
如有帮助，望采纳。。。

❾ python3 怎么爬取新闻网站

需求：

从门户网站爬取新闻，将新闻标题，作者，时间，内容保存到本地txt中。

用到的python模块：

importre#正则表达式
importbs4#BeautifulSoup4解析模块
importurllib2#网络访问模块
importNews#自己定义的新闻结构
importcodecs#解决编码问题的关键，使用codecs.open打开文件
importsys#1解决不同页面编码问题

其中bs4需要自己装一下，安装方法可以参考：Windows命令行下pip安装python whl包

程序：

#coding=utf-8
importre#正则表达式
importbs4#BeautifulSoup4解析模块
importurllib2#网络访问模块
importNews#自己定义的新闻结构
importcodecs#解决编码问题的关键，使用codecs.open打开文件
importsys#1解决不同页面编码问题

reload(sys)#2
sys.setdefaultencoding('utf-8')#3

#从首页获取所有链接
defGetAllUrl(home):
html=urllib2.urlopen(home).read().decode('utf8')
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'
links=soup.find_all('a',href=re.compile(pattern))
forlinkinlinks:
url_set.add(link['href'])

defGetNews(url):
globalNewsCount,MaxNewsCount#全局记录新闻数量
whilelen(url_set)!=0:
try:
#获取链接
url=url_set.pop()
url_old.add(url)

#获取代码
html=urllib2.urlopen(url).read().decode('utf8')

#解析
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'#链接匹配规则
links=soup.find_all('a',href=re.compile(pattern))

#获取URL
forlinkinlinks:
iflink['href']notinurl_old:
url_set.add(link['href'])

#获取信息
article=News.News()
article.url=url#URL信息
page=soup.find('div',{'id':'page'})
article.title=page.find('h1').get_text()#标题信息
info=page.find('div',{'class':'article-info'})
article.author=info.find('a',{'class':'name'}).get_text()#作者信息
article.date=info.find('span',{'class':'time'}).get_text()#日期信息
article.about=page.find('blockquote').get_text()
pnode=page.find('div',{'class':'article-detail'}).find_all('p')
article.content=''
fornodeinpnode:#获取文章段落
article.content+=node.get_text()+'
'#追加段落信息

SaveNews(article)

printNewsCount
break
exceptExceptionase:
print(e)
continue
else:
print(article.title)
NewsCount+=1
finally:
#判断数据是否收集完成
ifNewsCount==MaxNewsCount:
break

defSaveNews(Object):
file.write("【"+Object.title+"】"+"	")
file.write(Object.author+"	"+Object.date+"
")
file.write(Object.content+"
"+"
")

url_set=set()#url集合
url_old=set()#爬过的url集合

NewsCount=0
MaxNewsCount=3

home='http://jia..com/'#起始位置

GetAllUrl(home)

file=codecs.open("D:\test.txt","a+")#文件操作

forurlinurl_set:
GetNews(url)
#判断数据是否收集完成
ifNewsCount==MaxNewsCount:
break

file.close()

新闻文章结构

#coding:utf-8
#文章类定义
classNews(object):
def__init__(self):
self.url=None
self.title=None
self.author=None
self.date=None
self.about=None
self.content=None

对爬取的文章数量就行统计。