‘壹’ 大数据技术有哪些 核心技术是什么
随着大数据分析市场迅速扩展,哪些技术是最有需求和最有增长潜力的呢?在Forrester Research的一份最新研究报告中,评估了22种技术在整个数据生命周期中的成熟度和轨迹。这些技术都对大数据的实时、预测和综合洞察有着巨大的贡献。
1. 预测分析技术
这也是大数据的主要功能之一。预测分析允许公司通过分析大数据源来发现、评估、优化和部署预测模型,从而提高业务性能或降低风险。同时,大数据的预测分析也与我们的生活息息相关。淘宝会预测你每次购物可能还想买什么,爱奇艺正在预测你可能想看什么,百合网和其他约会网站甚至试图预测你会爱上谁……
2. Nosql数据库
NoSQL,Not Only SQL,意思是“不仅仅是SQL”,泛指非关系型数据库。NoSQL数据库提供了比关系数据库更灵活、可伸缩和更便宜的替代方案,打破了传统数据库市场一统江山的格局。并且,NoSQL数据库能够更好地处理大数据应用的需求。常见的NoSQL数据库有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知识发现
支持来自于多种数据源(如文件系统、数据库、流、api和其他平台和应用程序)中的大型非结构化和结构化数据存储库中自助提取信息的工具和技术。如,数据挖掘技术和各种大数据平台。
4. 大数据流计算引擎
能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的数据的高吞吐量的框架,可以采用任何数据格式。现今流行的流式计算引擎有Spark Streaming和Flink。
5. 内存数据结构
通过在分布式计算机系统中动态随机访问内存(DRAM)、闪存或SSD上分布数据,提供低延迟的访问和处理大量数据。
6. 分布式文件存储
为了保证文件的可靠性和存取性能,数据通常以副本的方式存储在多个节点上的计算机网络。常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph等。
7. 数据虚拟化
数据虚拟化是一种数据管理方法,它允许应用程序检索和操作数据,而不需要关心有关数据的技术细节,比如数据在源文件中是何种格式,或者数据存储的物理位置,并且可以提供单个客户用户视图。
8. 数据集成
用于跨解决方案进行数据编排的工具,如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 数据准备
减轻采购、成形、清理和共享各种杂乱数据集的负担的软件,以加速数据对分析的有用性。
10. 数据质量
使用分布式数据存储和数据库上的并行操作,对大型高速数据集进行数据清理和充实的产品。
‘贰’ :中国到底有没有核心技术
中国在各领域都掌握了一些核心技术。比如高铁,核电,空间技术等等,基本上都是世界领先的。在其它方面也有许多核心技术,在企业,一些自己不觉得的技术,也可能就是别人不掌握的。所以,专利很重要,在及时申请专利保护。
‘叁’ 大数据方面核心技术有哪些
简单来说,从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说:
大数据采集
数据库采集:流行的有Sqoop和ETL,传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。当然了,目前对于开源的Kettle和Talend本身,也集成了大数据集成内容,可实现hdfs,hbase和主流Nosq数据库之间的数据同步和集成。
网络数据采集:一种借助网络爬虫或网站公开API,从网页获取非结构化或半结构化数据,并将其统一结构化为本地数据的数据采集方式。
文件采集:包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。
大数据预处理
数据清理:指利用ETL等清洗工具,对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。
数据集成:是指将不同数据源中的数据,合并存放到统一数据库的,存储方法,着重解决三个问题:模式匹配、数据冗余、数据值冲突检测与处理。
数据转换:是指对所抽取出来的数据中存在的不一致,进行处理的过程。它同时包含了数据清洗的工作,即根据业务规则对异常数据进行清洗,以保证后续分析结果准确性。
数据规约:是指在最大限度保持数据原貌的基础上,最大限度精简数据量,以得到较小数据集的操作,包括:数据方聚集、维规约、数据压缩、数值规约、概念分层等。
大数据存储,指用存储器,以数据库的形式,存储采集到的数据的过程,包含三种典型路线:
大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。
大数据预处理,指的是在进行数据分析之前,先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作,旨在提高数据质量,为后期分析工作奠定基础。数据预处理主要包括四个部分:数据清理、数据集成、数据转换、数据规约。
1、基于MPP架构的新型数据库集群
采用Shared Nothing架构,结合MPP架构的高效分布式计算模式,通过列存储、粗粒度索引等多项大数据处理技术,重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点,在企业分析类应用领域有着广泛的应用。
较之传统数据库,其基于MPP产品的PB级数据分析能力,有着显着的优越性。自然,MPP数据库,也成为了企业新一代数据仓库的最佳选择。
2、基于Hadoop的技术扩展和封装
基于Hadoop的技术扩展和封装,是针对传统关系型数据库难以处理的数据和场景(针对非结构化数据的存储和计算等),利用Hadoop开源优势及相关特性(善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等),衍生出相关大数据技术的过程。
伴随着技术进步,其应用场景也将逐步扩大,目前最为典型的应用场景:通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑,其中涉及了几十种NoSQL技术。
3、大数据一体机
这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统,以及为数据查询、处理、分析而预安装和优化的软件组成,具有良好的稳定性和纵向扩展性。
四、大数据分析挖掘
从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面,对杂乱无章的数据,进行萃取、提炼和分析的过程。
1、可视化分析
可视化分析,指借助图形化手段,清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析,即借助可视化数据分析平台,对分散异构数据进行关联分析,并做出完整分析图表的过程。
具有简单明了、清晰直观、易于接受的特点。
2、数据挖掘算法
数据挖掘算法,即通过创建数据挖掘模型,而对数据进行试探和计算的,数据分析手段。它是大数据分析的理论核心。
数据挖掘算法多种多样,且不同算法因基于不同的数据类型和格式,会呈现出不同的数据特点。但一般来讲,创建模型的过程却是相似的,即首先分析用户提供的数据,然后针对特定类型的模式和趋势进行查找,并用分析结果定义创建挖掘模型的最佳参数,并将这些参数应用于整个数据集,以提取可行模式和详细统计信息。
3、预测性分析
预测性分析,是大数据分析最重要的应用领域之一,通过结合多种高级分析功能(特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等),达到预测不确定事件的目的。
帮助分用户析结构化和非结构化数据中的趋势、模式和关系,并运用这些指标来预测将来事件,为采取措施提供依据。
4、语义引擎
语义引擎,指通过为已有数据添加语义的操作,提高用户互联网搜索体验。
5、数据质量管理
指对数据全生命周期的每个阶段(计划、获取、存储、共享、维护、应用、消亡等)中可能引发的各类数据质量问题,进行识别、度量、监控、预警等操作,以提高数据质量的一系列管理活动。
以上是从大的方面来讲,具体来说大数据的框架技术有很多,这里列举其中一些:
文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapRece、Spark
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie
‘肆’ 紫晶存储在核心技术上的突破,都包括哪些方面
紫晶存储通过持续技术研发创新,构筑了大数据智能分层存储核心技术体系,覆盖介质、硬件及软件技术等不同层面。
‘伍’ 大数据核心技术有哪些
大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
一、数据采集与预处理
对于各种来源的数据,包括移动互联网数据、社交网络的数据等,这些结构化和非结构化的海量数据是零散的,也就是所谓的数据孤岛,此时的这些数据并没有什么意义,数据采集就是将这些数据写入数据仓库中,把零散的数据整合在一起,对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候,可以写个定时的脚本将日志写入存储系统,但随着数据量的增长,这些方法无法提供数据安全保障,并且运维困难,需要更强壮的解决方案。
Flume NG作为实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时,对数据进行简单处理,并写到各种数据接收方(比如文本,HDFS,Hbase等)。Flume NG采用的是三层架构:Agent层,Collector层和Store层,每一层均可水平拓展。其中Agent包含Source,Channel和 Sink,source用来消费(收集)数据源到channel组件中,channel作为中间临时存储,保存所有source的组件信息,sink从channel中读取数据,读取成功之后会删除channel中的信息。
NDC,Netease Data Canal,直译为网易数据运河系统,是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验,将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外,NDC的设计遵循了单元化和平台化的设计哲学。
Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择,可以在同一时间从众多常用的数据来源捕捉事件,能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop,用来将关系型数据库和Hadoop中的数据进行相互转移的工具,可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中,也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算是行业研究的一个热点,流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析,可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈,目前大数据流分析工具有很多,比如开源的strom,spark streaming等。
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定或者在运行时动态选举,nimbus与supervisor都是Storm提供的后台守护进程,之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上,如果由supervisor启动的某个worker因为错误异常退出(或被kill掉),supervisor会尝试重新生成新的worker进程。
当使用上游模块的数据进行计算、统计、分析时,就可以使用消息系统,尤其是分布式消息系统。Kafka使用Scala进行编写,是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心,Kafka可以有许多的生产者和消费者分享多个主题,将消息以topic为单位进行归纳;Kafka发布消息的程序称为procer,也叫生产者,预订topics并消费消息的程序称为consumer,也叫消费者;当Kafka以集群的方式运行时,可以由一个服务或者多个服务组成,每个服务叫做一个broker,运行过程中procer通过网络将消息发送到Kafka集群,集群向消费者提供消息。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作,如果需要将流式数据从Kafka转移到hadoop,可以使用Flume代理agent,将Kafka当做一个来源source,这样可以从Kafka读取数据到Hadoop。
Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置,那么对这个地方的配置感兴趣的所有的都可以获得变更,省去了手动拷贝配置的繁琐,还很好的保证了数据的可靠和一致性,同时它可以通过名字来获取资源或者服务的地址等信息,可以监控集群中机器的变化,实现了类似于心跳机制的功能。
二、数据存储
Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。
HBase,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统,部署在hdfs上,克服了hdfs在随机读写这个方面的缺点,与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
Phoenix,相当于一个Java中间件,帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn是一种Hadoop资源管理器,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成:一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos是一款开源的集群管理软件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis是一种速度非常快的非关系数据库,可以存储键与5种不同类型的值之间的映射,可以将存储在内存的键值对数据持久化到硬盘中,使用复制特性来扩展性能,还可以使用客户端分片来扩展写性能。
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来,Atlas相当于连接它的客户端,在前端应用看来,Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的客户端和服务端协议,同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节,同时为了降低MySQL负担,它还维护了连接池。Atlas启动后会创建多个线程,其中一个为主线程,其余为工作线程。主线程负责监听所有的客户端连接请求,工作线程只监听主线程的命令请求。
Ku是围绕Hadoop生态圈建立的存储引擎,Ku拥有和Hadoop生态圈共同的设计理念,它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API,同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储,既可以进行随机读写,也可以满足数据分析的要求。Ku的应用场景很广泛,比如可以进行实时的数据分析,用于数据可能会存在变化的时序数据应用等。
在数据存储过程中,涉及到的数据表都是成千上百列,包含各种复杂的Query,推荐使用列式存储方法,比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项,显着减少磁盘上的存储。
三、数据清洗
MapRece作为Hadoop的查询引擎,用于大规模数据集的并行计算,”Map(映射)”和”Rece(归约)”,是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统中。
随着业务数据量的增多,需要进行训练和清洗的数据会变得越来越复杂,这个时候就需要任务调度系统,比如oozie或者azkaban,对关键任务进行调度和监控。
Oozie是用于Hadoop平台的一种工作流调度引擎,提供了RESTful API接口来接受用户的提交请求(提交工作流作业),当提交了workflow后,由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业),然后向Oozie提交Workflow,Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因,用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式,再将workflow对应的Action提交给hadoop执行。
Azkaban也是一种工作流的控制引擎,可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成:Relational Database,Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中,Azkaban Web Server提供了Web UI,是azkaban主要的管理者,包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务,记录工作流或者任务的日志。
流计算任务的处理平台Sloth,是网易首个自研流计算平台,旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台,其特点是易用、实时、可靠,为用户节省技术方面(开发、运维)的投入,帮助用户专注于解决产品本身的流计算需求。
四、数据查询分析
Hive的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据,它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具,将SQL操作转换为相应的MapRece jobs,然后在hadoop上面运行。Hive支持标准的SQL语法,免去了用户编写MapRece程序的过程,它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的,Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece,则会有更多的写中间结果。由于MapRece执行框架本身的特点,过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中,用户只需要创建表,导入数据,编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala是对Hive的一个补充,可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop,用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据,同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。Impala将整个查询分成一执行计划树,而不是一连串的MapRece任务,相比Hive没了MapRece启动时间。
Hive 适合于长时间的批处理查询分析,而Impala适合于实时交互式SQL查询,Impala给数据人员提供了快速实验,验证想法的大数据分析工具,可以先使用Hive进行数据转换处理,之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说:Impala把执行计划表现为一棵完整的执行计划树,可以更自然地分发执行计划到各个Impalad执行查询,而不用像Hive那样把它组合成管道型的map->rece模式,以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF,能处理的问题有一定的限制。
Spark拥有Hadoop MapRece所具有的特点,它将Job中间输出结果保存在内存中,从而不需要读取HDFS。Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。
Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口,用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。
Elasticsearch是一个开源的全文搜索引擎,基于Lucene的搜索服务器,可以快速的储存、搜索和分析海量的数据。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
还涉及到一些机器学习语言,比如,Mahout主要目标是创建一些可伸缩的机器学习算法,供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等,常用的机器学习算法比如,贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
五、数据可视化
对接一些BI平台,将分析得到的数据进行可视化,用于指导决策服务。主流的BI平台比如,国外的敏捷BI Tableau、Qlikview、PowrerBI等,国内的SmallBI和新兴的网易有数(可点击这里免费试用)等。
在上面的每一个阶段,保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos,用来在非安全网络中,对个人通信以安全的手段进行身份认证,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接。
‘陆’ 大数据的核心技术有哪些
简单点来说就三个核心技术:拿数据,算数据和买数据。兴润达
‘柒’ 紫晶存储的核心技术优势都有哪些
紫晶存储是国内具有较强竞争水平的光存储科技企业,面向大数据时代冷热数据分层存储背景下的光磁电混合存储的应用需求,以及政府、军工等领域对自主可控和数据存储安全提升的需求,开展蓝光数据存储系统核心技术的研发、设计、开发,提供基于蓝光数据存储系统核心技术的光存储介质、光存储设备和解决方案的生产、销售和服务。蓝光数据存储系统是一套融合底层光存储介质、硬件设备和软件,实现数据自动写入、存储和自动读取的安全可靠、长寿命、绿色节能、低成本存储系统。
‘捌’ 中国做不了存储芯片吗
一直在努力中研发中,可以关注宏旺半导体~
宏旺半导体是一家做存储芯片的公司,深耕存储行业15年,一直致力于自主研发存储芯片,有自己的存储芯片品牌“ICMAX”,旗下产品线分为六大类:嵌入式、移动存储、微存储、SSD、内存、车载电子,产品型号包含了EMMC、EMCP、UFS、UMCP、SPI、LPDDR、DDR、SSD、内存、TF。
宏旺半导体成立于2004年,有自己的Design、研发、封装、测试、销售服务中心,总部在深圳,IC设计中心、研发及封测中心位于韩国、台湾,并在香港、美国、新加坡等地设立办事机构。
国内自主研发的中国芯实现完全自主是一定是,就是时间问题了。
‘玖’ 中国掌握多少核心技术
2018年4月25日,2017年度中国药学发展奖颁奖典礼在北京中国科技会堂隆重举行。第十一届全国人大常委会副委员长、中国工程院院士、国家“重大新药创制专项”技术总师桑国卫、相关政要、医药行业专家、企业家代表共约150余人出席了本次大会。此次颁奖典礼受到新华社、科技日报及三大医药报刊、网络媒体的及时跟踪报道,为广大医药学者瞩目。
中国药学发展奖是国家科技部首批批准设立的奖励科技人物的全国药学领域奖项,迄今已成功举办13届。该奖项设立22年来获奖总人数220名,其中院士18名。该奖项旨在奖励在创新药物研发领域作出突出贡献或取得重大科技成果的科研工作者,同时促进创新型药物研究和发展,振兴我国药学事业,赶超世界先进水平。
微芯生物董事长鲁先平博士作为中国创新药领域的领军人物,本次荣获“中国创新药物突出成就奖”殊荣,这正彰显了医药行业对微芯过去十七年在原创 研发领域所取得成果的高度认可。组委会为鲁博士致辞:“鲁先平博士带领团队历经12年研发创制的西达本胺,是微芯生物自主设计的全新分子体(NME),填补了我国T细胞淋巴瘤治疗药物的空白,为中国患者提供优效安全性更优、价格可承受的创新机制药物,曾获得国家十一五“863”分子设计专项、“重大新药创制”及“创新药孵化基地”等项目支持,获选“十一五”科技部重大科技专项之重大成果。同时,西达本胺也是中国首个授权美国等发达国家专利使用的原创新药。”
中国创新药的领头军——微芯生物
微芯生物自2001年创立以来,始终秉承:“原创、安全、优效、中国——并致力于为患者提供可承受的创新机制和治疗药物的理念,以自主创建的“基于化学基因组学的集成式药物发现及早期评价平台”为其核心竞争力,专注于原创小分子药物研发,是第一批国家级“创新药物孵化基地”,现已成为中国创新药领军企业。公司也是“国家高新技术企业”,迄今为止,微芯生物独立承担了多项国家“863”计划、“十五”、“十一五”、“十二五”等国家重大科技专项及“重大新药创制”项目。与此同时,公司通过对国外制药公司实施专利授权,建立起国际临床联合开发以及与高水准跨国药企合作研究的商业模式,实现了中国原创新药的全球同步开发。
核心技术高平台 ,“仿制”“创新”大转型
化学新药的创制过程十分艰难和复杂,包括治疗靶标的基础研究与确认、先导化合物体内外筛选的生物模型和方法学建立、药代药动特征与靶标的关系、临床前安全性评价与人体的可能差异、动物病理模型是否反映人体发病的病因等等,使得整个药物研发过程极其漫长且充满风险,绝大多数的先导化合物都因药效不理想或毒副作用太大,或者与已上市药物相比没有明显的优势和改进而在研发的后期被淘汰。因此,如何建立一套快速、有效的早期综合评价体系,及早发现并预测具有生物活性的先导化合物的潜在安全性和可能的临床有效性,如何使新药研发的科学家和管理人员能尽快地做出有科学依据的决定:即什么样的先导化合物进入临床前以及在后续的临床试验中才能最大限度地降低新药开发风险,是目前国际新药研发领域中的重大挑战。
微芯生物在国际上率先构建了基于化学基因组学的集成式药物创新和早期评价体系这一核心技术平台。化学基因组学技术利用大量已知的基因表达数据及其功能意义分析,通过对各种已知化合物(好药物或者失败的药物)及任何新化合物对全基因表达的影响进行相关性的并行研究,对新化合物可能的分子药理和毒理进行评价和预测,不断优化候选化合物结构,使综合评价指标最好的先导化合物进入下一个阶段的开发,从而对降低新药开发风险具有重要的价值,这也正是美国FDA为提高创新药物开发的成功率而提倡的关键路径行动(Critical Path Initiative)。
基于化学基因组学的集成式药物发现及早期评价平台
该平台体系是微芯生物的核心竞争力,为提升公司持续自主创新药物研发能力,探索适合国情国力的新药研发国际化之路,提供了强有力的技术支撑。同时,奠定了微芯生物在新药研发领域的领先地位,为微芯生物接下来的新药研发打下了坚实基础。目前,公司已形成了六个系列,从实验室到临床研究阶段具有全球知识产权保护的先导化合物和创新药物产品线。
国际市场破禁门 本土新药大开发
事实上,微芯生物正是借助“化学基因组学药物发现及早期评价平台”,赢得了与国际同行的赛跑机会。当时国内许多药企还在通过解构国外化学药物的专利结构来研制所谓的抗肿瘤药物,而微芯通过核心技术平台,发现了西达本胺等一系列针对重大疾病的全新分子实体(new molecular entity,NME)。历经12年研发的西达本胺,成功见证了中国仿制药到中国创新药的开端和发展,同时也为创新药全球同步开发喊出了来自中国的声音——西达本胺是中国首个授权美国等发达国家专利使用的原创新药。
2015年1月,微芯生物在深圳召开新闻发布会,对外宣布:中国自主知识产权的原创抗癌新药西达本胺获CFDA批准上市,首批适应症为复发及难治的外周T细胞淋巴瘤(PTCL)。这不仅改变了中国PTCL患者无药可用的现状,填补了中国PTCL治疗药物的空白,而且让中国的PTCL患者仅需负担1/10的成本就可用上全球作用机制最新、疗效和安全性更优的创新药物。
至今,已有三千余名外周T细胞淋巴瘤患者接受了西达本胺治疗并从中获益。上市后的西达本胺没有停止研发的脚步,目前其针对血液肿瘤、实体瘤和HIV等多种疾病的临床研究工作正在美国、日本、中国及中国台湾等国家和地区同步展开。2018年3月,联合使用西达本胺于自体移植治疗复发难治、高危淋巴瘤新探索的研究在第44届欧洲骨髓移植年会上被选作大会报告发言,西达本胺增加淋巴瘤对化疗的敏感性,进一步提高了CGB方案对淋巴瘤的杀伤作用,在移植治疗中显现了极大成效,受到了越来越多国际专家的关注和认可。在台湾,TFDA同意以西达本胺中国关键性II期临床试验数据批准其上市。在日本,西达本胺已获得孤儿药资格认定并正在开展PTCL和ATL的注册性II期临床研究。在美国,西达本胺联合免疫检查点抑制剂针对实体瘤的II期试验进展顺利,联合方案二线治疗未使用过PD-1的黑色素瘤患者有效率在50~60%,优于历史对照数据。去年12月13日,西达本胺摘得第十九届“中国专利金奖”,向世界证实了中国原创新药的研发水平。
风雨兼程同舟渡,不忘初心砥砺行
十七年的创新发展,微芯生物已形成了以深圳为总部/研发中心/GMP生产基地、成都区域总部/研发中心/GMP生产基地、北京临床研究中心及上海商业中心四位一体的现代生物医药集团版块。十七年来,微芯生物始终坚持“药品是一种特殊商品,关系人命,应立足科学而非政治、宗教和商业利益”的理念,对药品的全生命周期——从新药临床试验的志愿者到获准上市使用药品的患者,进行安全性进行监测、分析和报告,以确保患者用药安全。
西达本胺上市后,微芯生物药物警戒团队按照国家相关法规要求和伦理准则,并借鉴国制药企的先进经验,利用自发报告系统和主动监测项目开展了西达本胺上市后药品安全性监测。迄今累积了全球PTCL真实世界研究中最大的数据库。受到了包括WHO-UMC监测中心和国家ADR监测中心在内的国内不良反应监测机构专家和国际的关注和赞许。
与此同时,微芯生物主动承担起企业的社会责任,对PTCL患者开展了后续免费用药项目和慈善捐赠项目,至今,援助患者已累计近千名,援助药品价值超过一亿元人民币,实现了公司用创新科技成果为造福中国患者的初衷!
风雨兼程,不忘初心。砥砺奋进的微芯人,用深情谱写着对祖国创新药事业的坚韧和执着。未来,在国家创新政策、行业及社会各界的支持下,更具创新动力的微芯生物将继续致力于为患者提供安全、优效、可承受的创新机制的治疗药物,持续为推动中国医药行业创新发展而不懈奋斗。