㈠ 全球四个最大的四个开源库
开源数据库MysqlMySQL是一个开放源码的小型关联式数据库管理系统，开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源...开源数据库MySQLMySQL是一个开放源码的小型关联式数据库管理系统，开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。盘点：开源社区那些免费的数据库软件MySQL为多种编程语言提供了API，包括C、C++、C#、Delphi、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等。而其自身是采用C和C++编写的，使用了多种编译器进行测试，所以，MySQL能够保证源代码具有很强的可移植性。这样的一款数据库，自然能够支持几乎所有的操作系统，从Unix、Linux到Windows，具体包括AIX、BSDi、FreeBSD、HP-UX、Linux、Mac OS、Novell Netware、NetBSD、OpenBSD、OS/2 Wrap、Solaris、SunOS、Windows等多种操作系统。最重要的是，它是一个可以处理拥有上千万条记录的大型数据库。与此同时，MySQL也产生了很多分支版本的数据库也非常值得推荐。首先是MariaDB，它是一个采用Maria存储引擎的MySQL分支版本，是由原来MySQL的作者 Michael Widenius创办的公司所开发的免费开源的数据库服务器。与MySQL相比较，MariaDB更强的地方在于它拥有更多的引擎，包括Maria存储引擎、PBXT存储引擎、XtraDB存储引擎、FederatedX存储引擎，它能够更快的复制查询处理、运行的速度更快、更好的功能测试以及支持对Unicode的排序等。其次是rcona，它为MySQL数据库服务器进行了改进，在功能和性能上较MySQL有着很显着的提升。该版本提升了在高负载情况下的InnoDB的性能，同时，它还为DBA提供一些非常有用的性能诊断工具，并且提供很多参数和命令来控制服务器行为。第三是Percona Server，它使用了诸如google-mysql-tools、Proven Scaling和 Open Query对MySQL进行改造。并且，它只包含MySQL的服务器版，并没有提供相应对 MySQL的Connector和GUI工具进行改进。非关系型数据库NoSQL从NoSQL的字面上理解，NoSQL就是Not Only SQL，被业界认为是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于目前铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。盘点：开源社区那些免费的数据库软件当然，NoSQL也是随着互联网Web2.0网站的兴起才能取得长足的进步。关键的需求在于，传统的关系数据库在应付Web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。首先推荐的是Oracle NoSQL Database，这是一个社区版。Oracle的这个NoSQL Database， 是在10月4号的甲骨文全球大全上发布的Big Data Appliance的其中一个组件，Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。其次推荐的是Membase。Membase是NoSQL家族的一个新的重量级的成员。Membase是开源项目，源代码采用了Apache2.0的使用许可。该项目托管在GitHub.Source tarballs上，目前可以下载beta版本的Linux二进制包。该产品主要是由North Scale的memcached核心团队成员开发完成，其中还包括Zynga和NHN这两个主要贡献者的工程师，这两个组织都是很大的在线游戏和社区网络空间的供应商。并且，Membase容易安装、操作，可以从单节点方便的扩展到集群，而且为memcached(有线协议的兼容性)实现了即插即用功能，在应用方面为开 发者和经营者提供了一个比较低的门槛。做为缓存解决方案，Memcached已经在不同类型的领域(特别是大容量的Web应用)有了广泛的使用，其中 Memcached的部分基础代码被直接应用到了Membase服务器的前端。通过兼容多种编程语言和框架，Membase具备了很好的复用性。在安装和配置方面，Membase提供了有效的图形化界面和编程接口，包括可配置 的告警信息。Membase的目标是提供对外的线性扩展能力，包括为了增加集群容量，可以针对统一的节点进行复制。 另外，对存储的数据进行再分配仍然是必要的。第三推荐的是Hibari。Hibari在日语中意思为“云雀”，它是一个专为高可靠性和大数据存储的数据库引擎，可用于云计算环境中，例如 webmail、SNS和其他要求T/P级数据存储的环境中。同时，Hibari也支持Java，C/C++，Python，Ruby和Erlang语言的客户端。第四推荐的是memcachedb。这是一个由新浪网的开发人员开放出来的开源项目，给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制，让memcached具备了事务恢复能力、持久化能力和分布式复制能力，非常适合于需要超高性能读写速度，但是 不需要严格事务约束，能够被持久化保存的应用场景，例如memcachedb被应用在新浪博客上面。第五推荐的是Leveldb。这是一个Google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计，特别是LSM算法。LevelDB是单进程的服务，性能非常之高，在一台4个Q6600的CPU机器上，每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。XML数据库的优势XML数据库是一种支持对XML格式文档进行存储和查询等操作的数据管理系统。在系统中，开发人员可以对数据库中的XML文档进行查询、导出和指定格式的序列化。目前XML数据库有三种类型：XMLEnabledDatabase(XEDB)，即能处理XML的数据库;NativeXMLDatabase(NXD)，即纯XML数据库;HybridXMLDatabase(HXD)，即混合XML数据库。关系数据库中的第一代XML支持是切分(或分解)文档，以适应关系表格或将文档原封不动地存储为字符或二进制大对象(CLOB 或 BLOB)。这两个方法中的任一种都尝试将XML模型强制转换成关系模型。然而，这两种方法在功能和性能上都有很大的局限性。混合型模型将XML存储在类似于DOM的模型中。XML数据被格式化为缓冲数据页，以便快速导航和执行查询以及简化索引编制。在这里，首要要推荐的XML数据库是Sedna。它号称是一款原生态的XML数据库，提供了全功能的核心数据库服务，包括持久化存储、ACID事务、索引、安全、热备、UTF8等。实现了 W3C XQuery 规范，支持全文搜索以及节点级别的更新操作。第二款XML数据库是BaseX。这款数据库用来存储紧缩的XML数据，提供了高效的 XPath和XQuery的实现，同时，它还提供一个前端操作界面。盘点：开源社区那些免费的数据库软件第三款推荐的是XMLDB。这款数据库使用了关系型数据库来存储任意的XML文档，因为所采用的存储机制，所以文档的搜索速度特别快，同时执行XSL转换也相当快。XMLDB同时还提供了一个PHP的模块，可以应用在Web应用中。第四块推荐的是X-Hive/DB。它是一个为需要高级XML数据处理和存储功能的软件开发者设计的强大的专属XML数据库。X-Hive/DB Java API包含存储、查询、检索、转换和发表XML数据的方法。与传统关系型数据库相比，XML数据库具有以下优势：第一，XML数据库能够对半结构化数据进行有效的存取和管理。如网页内容就是一种半结构化数据，而传统的关系数据库对于类似网页内容这类半结构化数据无法进行有效的管理。第二，提供对标签和路径的操作。传统数据库语言允许对数据元素的值进行操作，不能对元素名称操作，半结构化数据库提供了对标签名称的操作，还包括了对路径的操作。第三，当数据本身具有层次特征时，由于XML数据格式能够清晰表达数据的层次特征，因此XML数据库便于对层次化的数据进行操作。XML数据库适合管理复杂数据结构的数据集，如果己经以XML格式存储信息，则XML数据库利于文档存储和检索;可以用方便实用的方式检索文档，并能够提供高质量的全文搜索引擎。另外XML数据库能够存储和查询异种的文档结构，提供对异种信息存取的支持。
㈡ 来了解 Github 当前最火开源项目 RecyclerView 的缓存机制
最近在网上看到许多关于 RecyclerView 缓存相关的技术文章，也是在其中看到了许多的知识点，我将之收集了起来进行汇总和整理，利用自己的见解来分析 RecyclerView 的缓存机制的相关问题
首先 RecyclerView 是由 Google 推出来对 GridView 和 ListView 进行取代的列表方案，RecyclerView 本身它是不关心视图相关的问题的，由于 ListView的紧耦合的问题， google 的改进就是 RecyclerView 自身不用参与任何视图有关的问题，它不用在意应该将子 View 放在合适的位置，也不在意如何进行分割这些子 View，更不在意每个子View所显示的外观，本质上来说就是 RecyclerView 它只负责回收和重用的工作
● 能够替代 Listview 和 GridView ，不仅可以加载列表同时也能够加载表格
● 能够支持瀑布流这种高级的显示方式
● 内置了强劲的垃圾回收机制
● 规范了其 Viewholder 的使用
在 RecyclerView 中，是没有 onItemClickListener 方法的，所以只能在适配器中处理事件，如果要从适配器上添加或移除条目，就必须要明确通知适配器。这跟先前的 notifyDataSetChanged 方法有略微不同
整体总结了几点如下：
● Adapter：包装数据集合且为每个条目创建视图
● ViewHolder：对每个用于显示数据条目的子View进行保存
● LayoutManager：在适当的位置放置于每个条目的视图
● ItemDecoration：绘制一些装饰视图在每个条目的视图的周围或上面
● ItemAnimator：在条目被添加、移除或者重排序时对其添加动画效果
RecyclerView 的缓存可以分为四级，也有的人将之分成三级，但大致的理解是一样的
● mAttachedScrap 和 mChangedScrap ，用来缓存其还在屏幕内的 ViewHolder
● mAttachedScrap 对当前还在屏幕中的 ViewHolder进行存储；从 id 和 position 来对 ViewHolder进行查找
● mChangedScrap 表达数据已经改变的 ViewHolder 列表, 存储 notifyXXX 方法时必须对 ViewHolder进行改变
● mCachedViews ，是用来缓存移除屏幕之外的 ViewHolder，通常其缓存容量是 2，但可以通过 setViewCacheSize 方法来改变缓存的容量大小，假如mCachedViews 的容量已满，那么则会根据 FIFO 其中的规则来对旧 ViewHolder 进行移除处理
● ViewCacheExtension ，是开发给用户的自定义扩展缓存，是需要用户自己管理 View 的创建和缓存
● RecycledViewPool ，ViewHolder 缓存池，如果在有限的 mCachedViews 中存不下新的 ViewHolder 时，那么就会把 ViewHolder 存入RecyclerViewPool 中
● 根据 Type 来对进行 ViewHolder 查找
● 每个 Type 基本上默认最多缓存 5 个
● 具有可以多个 RecyclerView 共享 RecycledViewPool
onCreateViewHolder 用于对 item.xml 进行机芯实例化，并会以 ViewHolder 的形式呈现
onBindViewHolder 致用在初始和滑动 RecyclerView 时，给予item里面的子控件赋值
在我的理解中， onCreateViewHolde r和 onBindViewHolder 加起来就类似于 ListView adapter 里面的
虽然getView()里面既有parent可以用来实例化 item.xml ，又有 position 可以找到item位置来赋值，但是本质上还是如同 onCreateViewHolder 和 onBindViewHolder 的功能！
差异区别就只是在item的表示形式从View变成了 ViewHolder
以上就是关于 RecyclerView 缓存的所有内容
关于RecyclerView的缓存，总的来说，Scrap是屏幕内的缓存一般我们不怎么需要特别注意；Cache可直接拿来复用的缓存，性能高效
ViewCacheExtension 需要开发者自定义的缓存，API设计比较奇怪，慎用
RecycledViewPool 四级缓存，可以避免用户调用onCreateViewHolder 方法，提高性能，在 ViewPager+RecyclerView 的应用场景下可以大有作为
如果喜欢文章中的内容欢迎大家点赞和评论，你们的鼓励将是我前进的动力
有需要文章中的源码，或者想要了解更多关于Android开发相关的进阶资料
欢迎大家在评论区下发留言，或者私信我
㈢ 开源数据库有哪些
- 01
MongoDB——是一个基于分布式文件存储的数据库，由C++语言编写，其目的是为WEB应用提供可扩展的高性能数据存储解决方案，最大的特点在于它支持的查询语言非常强大，局域高性能、易部署、存储数据方便、模式自由等特点。
- 02
Cassandra——是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，具有模式灵活、多数据中心识别，可扩展性强等特点 。
- 03
Hadoop HBASE——采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上。
- 04
Couchbase——是一个集群化的、基于文档的数据库系统，它使用一个缓存层来提供非常快的数据访问，将大部分数据都存储在 RAM 中。
- 05
Neo4j——是面向网络的数据库。也就是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但它将结构化数据存储在网络上而不是在表中。
㈣ 有哪些比较好的 Android SQLite 开源工具类
ThinkAndroid是一个免费的开源的、简易的、遵循Apache2开源穗培协议发布的Android开发框架，其开发宗旨是简单、快速的进行Android应答厅用程序的开发，包含Android mvc、简易sqlite orm、ioc模块、封装Android httpclitent的http模块,具有快速构建文件缓存功能，无需考虑缓存文件的格式，都可以非常轻松的实现缓存，它还基于文件缓存模块实现了图片缓存功能，在android中加载的图片的时候，对oom的问题，和对加载图片错位的问题都轻易解决。他还包括了一个手机开发中经常应用的实用工具类，如日志管理，配置文件管理，android下载器模块，网络切换检测等等工具。
目前ThinkAndroid主要有以下模块：
MVC模块：实现视图与模型的分离。
ioc模块：android中的ioc模块，完全注解方式就可以进行UI绑定、res中的资源的读取、以及对象的初始化。
数据库模块：android中的orm框架，使用了线程池对sqlite进行操作。
http模块：通过httpclient进行封装http数据清族隐请求，支持异步及同步方式加载。
缓存模块：通过简单的配置及设计可以很好的实现缓存，对缓存可以随意的配置
图片缓存模块：imageview加载图片的时候无需考虑图片加载过程中出现的oom和android容器快速滑动时候出现的图片错位等现象。
配置器模块：可以对简易的实现配对配置的操作，目前配置文件可以支持Preference、Properties对配置进行存取。
日志打印模块：可以较快的轻易的是实现日志打印，支持日志打印的扩展，目前支持对sdcard写入本地打印、以及控制台打印
下载器模块:可以简单的实现多线程下载、后台下载、断点续传、对下载进行控制、如开始、暂停、删除等等。
网络状态检测模块：当网络状态改变时，对网络状态进行检测。
㈤ android studio添加本地 图片
今天要介绍的是Github上一个使用非常广泛的图片异步加载库Android-Universal-Image-Loader，该项目的功能十分强大前配，可以说是我见过的目前功能最全、性能最优的图片异步加载解决方案。做Android的同学都知道，Android加载大量图片时，由于系统分配给图片加载的内存大小有限，所以，如果加载图片量非常大的话容易报OOM异常，关于这个异常已经有不少解决方案了，我就不赘述。下面就简要介绍下这个开源项目的主要功能和使用： 一、功能概要 多线程图片加载； 灵活更改ImageLoader的基本配置，包括最大线程数、缓存方式、图片显示选项等； 图片异步加载缓存机制，包括内存缓存（软引用）及本地缓存； 对加载过程实现监听和事件处理； 慧肆指能够配置加载图片的显示选项，包括图片圆角处理和加载完成显雹尺示动画等； 二、基本使用 下载jar包universal-image-loader-1.8.5-with-sources.jar并导入工程（这应该不用教了吧） 配置Manifest文件，添加网络请求和访问外部存储的权限，因为要进行网络请求和本地缓存 [html] view plain <uses-permission android:name="android.permission.INTERNET" /> <!-- Include next permission if you want to allow UIL to cache images on SD card --> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> 3. 实现自定义的MyApplication类，并初始化ImageLoader，注意要在Manifest的Application标签注明 android:name=".MyApplication"，否则还是使用的默认的Application类。 [java] view plain public class MyApplication extends Application { @Override public void onCreate() { super.onCreate(); // This configuration tuning is custom. You can tune every option, you may tune some of them, // or you can create default configuration by // ImageLoaderConfiguration.createDefault(this); // method. ImageLoaderConfiguration config = new ImageLoaderConfiguration.Builder(getApplicationContext()) .threadPriority(Thread.NORM_PRIORITY - 2) .() .discCacheFileNameGenerator(new Md5FileNameGenerator()) .tasksProcessingOrder(QueueProcessingType.LIFO) .enableLogging() // Not necessary in common .build(); //Initialize ImageLoader with configuration ImageLoader.getInstance().init(config); } } 4. 配置图片加载及显示选项，此处有多种自定义配置选项，可以查看doc文档一一了解，这里就不赘述（实在太多） [java] view plain DisplayImageOptions options = new DisplayImageOptions.Builder() .showStubImage(R.drawable.ic_launcher) .showImageForEmptyUri(R.drawable.ic_launcher) .showImageOnFail(R.drawable.ic_launcher) .cacheInMemory(true) .cacheOnDisc(false) .displayer(new RoundedBitmapDisplayer(20)) .build(); 5. 使用ImageLoader加载图片，这里以在ListView中为每个item异步加载图片为例，只要在Adapter的getView方法中调用如下方法即完成了异步列表图片加载，其中options是之前定义的图片加载和显示选项，animateFirstListener是当图片第一次加载的监听事件，目的在于显示一个淡入的显示效果动画，可以添加其他事件 另外，本例还实现了当列表滑动过程中暂停加载和在用户手放开时才开始加载的功能，这样的好处是保证在列表图片异步加载的过程中不出现卡顿的现象，保证加载的顺滑性。实现这一功能的手段是使ListView监听一个由ImageLoader包含的监听事件PauseOnScrollListener。 若设置cacheOnDisc(true)的话，则缓存的文件可以在/sdcard/Android/data/[package_name]/cache目录下看到。不过建议定期清理缓存，否则时间一长，SD卡就会被占满了，同时也可以在ImageLoaderConfiguration中配置SD的缓存策略，有限制缓存文件数量的，有限制缓存文件最大尺寸等选项。 如果在使用过程中遭遇OOM异常，则建议在ImageLoaderConfiguration中设置threadPoolSize在1-5之间合适。在DisplayOption配置时使用。
㈥ 浅析 Haystack 图片存储系统
Facebook在2010年的时候发表过一篇在分布式存储系统领域很有名的一篇文章《Finding a needle in Haystack》来描述他们的图片存储系统，Haystack 存储了超过2600亿张图片，大约占了20TB的数据，用户每周都会上传10亿张图片，高峰时期的并发量在100万以上（这是2010年的数据，现在很有可能上了一个数量级)。
在这个数量级之下，需要考虑的问题不仅仅是高吞吐，低延时，保证数据的一致性，还要考虑如何能节省流量，容易扩展，容错等等。下面我们就来看下Haystack是怎样满足这些分布式系统的要素的。
图片存储系统的最大特点是数据只写一次，读取频繁，不会修改，很少删除。Facebook 一开始的存储系统是基于NFS的NAS(Network Attached Storage), 但这种基于 POSIX 的文件系统无法支撑如此大的负载。其中主要的问题在于在图片寻址的过程中会产生过多的磁盘操作。
我们知道从传统文件系统里面读取一个文件需要至少三次磁盘操作，第一次从硬盘中读取目录的 metadata 到内存中，然后读取inode到内存，最后才从磁盘中读取文件内容。
再者这些metadata里面包含了大量比如权限控制这些对于图片存储系统来说无用的信息，也浪费了大量的磁盘空间。当像图片这样的静态资源服务出现瓶颈的时候，自然就会想到使用 CDN (Content Delivery Networks) 系统。在传统的设计中，一个图片的 HTTP 请求发送后， 如果 CDN 有这个资源的缓存，就会立马返回，反之 ，CDN 会将根据请求的 URL 从存储系统里面读取图片，更新缓存，然后再返回。在这样的设计中，CDN 确实可以很有效地处理热点图片的请求。
但像 Facebook 这样的社交网络中，有大量的请求是针对那些非热点或者老内容的，用户在请求那些长尾 (long tail) 内容时将没有优化。当然，有些同学会说，那我可以将所有的图片都缓存到 CDN，那确实会解决这个问题，但将会极大地增加资源的开销。
为了减少那些直接 hit 到存储系统的请求的磁盘操作，他们想到在第一次读取文件的时候把filename到 file handle 的映射缓存到内存，在下一次读取文件的时候，会调用自定义的open_by_filehandle来减少磁盘操作，但这对于long tail的读取问题依然存在，因为这些文件的映射关系没有提前放在内存中。
于是，Facebook 决定从头研发图片存储系统，从前面我们可以看出，Haystack 的核心任务就是在处理每一次的请求中尽可能地减少磁盘操作。我们先来描述下 Haystack 读取和上传图片流程是怎样的，然后再来看其中的细节是如何处理的。
当发起一次图片读取请求的时候会通过一个事先构建好的 URL
http://///这个 URL 实际上显示出了访问的顺序，先从外部 CDN 读取，如果没有，访问内部 Cache，如果还是没有，就直接访问 Store Machine.（URL最后一部分提供了图片的唯一标识）
用户上传图片的时候先会上传到 web 服务器, 然后服务器从Directory中找到一个可写的physical volume,最后服务器会给这个图片生成一个唯一ID, 然后写入到这个logical volume 所对应的所有physical volume中。
上面的过程中出现了几个陌生的名词，别着急，我们一个个来看。我们先来介绍 Haystack 的三个主要组件:
Store,Directory,Cache.
Store 是核心组件，负责图片的存储。Store 的容量决定了这个存储系统的容量，整个 Store 组件由很多个 store machine 组成，store machine 的容量又由一系列的 physical volume 决定。
例：要提供 10TB容量，我们可分摊到 100 个 physical volume，每个 physical volume 提供 100 GB 的容量。这时候有的同学会问，那么数据冗余是怎么解决的呢？Haystack 借鉴了普通硬盘中的 logical volume 的概念，将不同机器上的多个 physical
volume 组成了一个虚拟的 logical volume。
当存储一张图片的时候，实际上是存储到了 logical volume 对应的所有 physical volume中。它们之间的映射关系连同其它的metadata都存储在 Directory组件中。每个physicalvolume 中都存储了上百万张图片，可以把它想象成一个巨大的 append-only 文件，然后通过 offset 来访问文件。
我们来详细看下这个文件到底是如何存放的，如何来达到减少磁盘操作目的的。对于每个这样超大的文件，都由一个 superblock 和一系列的 needles 组成，每个 needle 就是每张图片的信息。看下下面这张图，它的结构就一目了然了。
每个needle包含的细节信息有图片ID，图片大小，图片数据等等，还会有数据校验的属性。每个 store machine 都有若干个physical volume大文件， 为了提高检索needles 的速度，在内存里为每个physical volume都维护了一张图片I 到needle之间的映射表。
当store machine接收到读取请求时，首先从内存映射表中找到相应的metadata， 然后通过offset从硬盘中读取到整个needle， 通过数据校验后返回。如果接收到的是上传请求，会把组织好的needle追加到所有对应的physical volume文件中，并且更新内存里的映射表。如果是删除操作的话，我们注意到下图中有个Flags标志位其实就是用来标记是否是删除的状态，这样一来就很简单，直接在这个位置标记好，系统会在后面执行compaction 操作回收这些空间。
讲到这里，一个正常流程的存储过程已经很清楚了。这时候我们就需要考虑分布式系统一个必不可少的特性：容错性。当一个 store machine 宕机的时候，理论上我们可以读取所有的 physical volume 来重新构建内存映射表，但这就需要从磁盘重新读取 TB 级别的数据，显然是非常耗时和不高效的。为了解决这个问题，每个 store machine 为每个 physical volume 都维护了一个索引文件。这个索引文件类似于游戏中的存档点 (checkpoint)，它的结构和 physical volume 文件类似，保存了查找每个 needle 所需的属性。为了性能，索引文件是异步更新的（写的时候异步更新，删的时候压根不会更新），这就会带来一个问题：索引文件有可能不是最新的。之前我们提到过，physical volume 文件是一个 append-only 的文件，索引文件也是。所以我们只需要在重启 store machine 的时候，从后向前扫描 physical volume 文件找到那几个没有被索引的文件，加到索引里去就行了。对于被删除的文件，在真正读取完整 needle 数据的时候，通过检查删除标志位来更新内存映射表。
我们之前提到可以使用 CDN 来缓解系统压力，但它无法很好地解决非热点图片的问题，并且如果 CDN 节点出现故障的话，没有 Cache 这一层会对底层的存储系统 Store 产生巨大的压力。Cache 组件主要缓存了最近上传的图片，它的概念很简单，实际上是一个分布式 hash table，通过图片的 ID 为 key 可以找到对应的数据。Cache 接收从 CDN 或者浏览器直接发来的 HTTP 请求，但只有在以下两个条件都满足的情况下才会缓存图片：
1) 请求来自用户浏览器而不是来自 CDN
2) 请求的 store machine 是可写的
这听上去有些费解，条件 1 的原因是如果一个请求在 CDN 缓存中 miss 其实也会在 Cache 中 miss (如果一张图片成为热门的话，那也能在 CDN 找到)，条件 2 的原因则是避免让可写的 store machine 进行大量读操作，因为图片通常在刚刚上传后会被大量读取，文件系统通常在只读或者只写而不是既读又写的时候性能比较好。
如果没有 Cache 的话，可写的 store machine 将会同时处理写操作以及大量的读操作，会导致性能的急剧下降。
现在我们只剩下 Directory 组件没有讲了。除了之前我们提到的存储了 physical volume 到 logical volume 的映射关系以及图片 ID 到 logical physical 的映射关系，它还提供负载均衡服务以及为每个操作选择具体的 volume (因为写操作的对象是 logical volume，读操作的对象是 physical volume), 它还决定了一个请求是被 CDN 处理还是被 Cache 处理。Directory 还可以标记逻辑卷的状态，在运维需要或者空间满了的时候可以标记为只读状态。当往 Store 加新机器的时候，这些机器就会标记成可写的，只有可写的机器才能接受图片上传请求。这里有一个细节需要注意，图片 ID 到 logical physical 的映射表肯定无法存放在单机内存，文章中也没有交代具体实现。我们猜想可以使用 MySQL 分片集群和加上 Memcached 集群来实现。总的来讲，Directory 实际上根据 metadata，然后结合各种策略，实现了整个系统的调度器。
本文描述了 Haystack 图片存储系统的主要脉络，当然还有许多细节没有提到，比如整个系统的容错机制，如何实现批量写操作等等。经过这几年的发展，我们相信 Haystack 肯定也进行了更多的优化，现在一些开源的分布式存储系统也被应用到实际的生产系统中，比如淘宝的 TFS，MooseFS 等等。我们会在后续的文章中比较这些系统之间的异同，总结出解决其中典型问题的通用方法。
㈦ java现在开源的缓存框架那个最好！
mvnForum 点击次数：7210
mvnForum是基于javaJ2EE 技术(Jsp/Servlet)的一个开源论坛.,安装简单。mvnForum兼容任何Servlet容器，支持Jsp 1.2 and Servlet 2.3。
JForum 点击次数：6633
JForum 是一个功能强大 ，易于管理的论坛。它的设计完全遵从MVC设计模式，能够在任何Servlet容器与EJB服务器上运行。而且可以轻松的定制与扩展JForum论坛。
xforum 点击次数：7789
国人开发的一个开源论坛，基于 Struts 技术，是学习 Struts 的一个非常好的范例。它用到 JAAS 实现 Security ，中文问题的解决，数据层用到 DAO ，以及基于 Struts 应用的基本架构，都是个非常好的学习。
jGossip 点击次数：2583
jGossip是一个简单,功能强大的java论坛。可运用j2EE在平台上。采用Struts framework技术。
FreeForums 点击次数：2164
一个基于XML的Java2企业级的论坛解决方案。FreeForums页面采用CSS, DHTML 与JavaScript等技术。这样用户可以定制自已喜欢的界面。它还提供一个在Windows下的客户端程序。
Sk Forum 点击次数：1549
SK Forum是一个开源的基于web的J2EE论坛应用程序。它是一个功能比较齐全的系统，包括很多功能比如：投票，wiki，定时跟踪,地址薄，好友薄以及其它一些小的功能。
JsForum 点击次数：1488
JsForum是只用到jsp与Servlet技术的论坛，容易使用。具有一般论坛的功能。但是目前只能支持MYSQL数据库。
nemesis-forum 点击次数：1197
一个使用J2EE技术的论坛。它的功能包括用户与用户组权限管理，支持i18n，内容过滤，综合搜索引擎，支持多种数据库。
Yazd 点击次数：1499
Yazd是一个使用JDBC连接数据库的论坛。它的特性包括：
1.提供在线安装和配置。
2.内容过滤（把Html代码转换成可显示的文件,自定义关键字过滤列表,隐藏urls的实现路径）。
3.集成Lucene1.3提供关键字搜索功能。
4.支持的数据库包括：Oracle,MySQL,DB2,Microsoft SQLServer,Sybase,Interbase,Hypersonic SQL,Pointbase,Informix和Postgres
5.还有其它一些一个论坛应具备的基本功能。
这个论坛提供多语言支持其中包括简体中文。
JavaBB 点击次数：2275
JavaBB基于java技术的类似于phpbb的论坛。
JForumFusion 点击次数：2295
JForumFusion是一个Java开源论坛。它主要的一些功能包括常规论坛功能，文件附件上传，个人信息，基于web的管理工具，UBBCode，和高性能的搜索引擎等。支持主流数据库包括：Oracle, DB2, MySQL, PostgreSQL, Sybase, SAP DB, HypersonicSQL, Microsoft SQL Server...
jzForum 点击次数：1745
这是一个利用Java开发的简单论坛.以下列出它的几点特性:
* 完全支持BBCode,
* 在新贴提交时利用AJAX技术提供无刷新页面预览功能.
* 利用lucene提供全文本搜索功能.
* 用户可监控主题.
* 可以容易更改样式(利用CSS几乎没有用到table).
* 安装简单只有一个war文件没有数据库(其实是内嵌hypersonic数据库)但 也支持其它数据库.
* 包括一个投票系统.
* jzForum还提供RSS阅读功能并利用缓存技术提高整个论坛的速度.
BBS-CS 点击次数：4336
天乙社区是一套基于JAVA技术的网络虚拟社区，采用了Hibernate+Spring+Struts的轻量级J2EE框架.
1、全文检索：天乙社区6.0采用Lucene全文检索，并支持完全国际化多语言的全文检索。
2、MVC框架：天乙社区6.0继续了5.x的Struts框架，但经过优化，WEB端更加简洁高效。
3、集群支持：系统可以运行在集群上。
4、功能方面：大大加强了管理功能，用户可以多样化的定制系统的各项信息，包括用户级别、封锁IP、过滤字等等，论坛功能上主要增加了投票帖、上传附件类型多样、帖子中显示用户信息等等功能等。
EasyJF 点击次数：650
简易java框架开源论坛系统拥有常用论坛系统的基本功能，集前台后台代码为一体，支持UBB。该论坛系统使用基于OO的方法设计，采用多层B/S构架，数据库持久层主要使用简易数据库开源框架EasyDBO，Web层使用EasyJWeb框架，java代码与页面完全分离，易扩展。
㈧ ecshope开源系统和zencart开源系统哪个建设商城好
zencart是国外开发的，面向的客户是全球，支持多种货币，信用卡等，是按模块开发的思想，版权比较开放，可以自己随意修改。
缺桐燃点是代局族虚码可读性不高，结构复杂，上手较慢，如果一味的最求模块化开发的思想，会更慢。在图片的存储方面未做优化，缓存方面比较差。对于一个长期运行的电子商务网站来说后期会逐渐臃肿。
ecshop 是国内的，面向的主要是中国用户，代码注释等都是中文，且易理解，非常容易上手穗告。个别计划任务和模块也可以开发，而且多多模板支持的很好。缓存和数据库读取方面效率很高。界面很友好。但是版权比较严格，一般不允许你作为商业目的二次开发。
㈨ 如何使用Docker开源仓库建立代理缓存仓库
开源Docker仓库v2 的其中一个最新特性：能够被用作代理缓存仓库,以缓存Docker Hub上的镜像。运行一个缓存仓库允许你在本地储存镜像,减少过多的通过互联网从Docker Hub拉取镜像,这个特性对于一些在他们环境中拥有数量庞大的Docker引擎的用户来说很有用。跟着本篇教程,你可以让Docker引擎从本地代理缓存仓库拉取镜像,而不是让每个引擎总是从Docker Hub拉取,从而节省时间和带宽。
你可以这样开始：
####要求：
- Docker引擎1.8.3
- Docker仓库v2
- 足够储存Docker镜像的磁盘空间
- TLS证书和密钥
持久化数据
在这个例子中,我们会假设你会储存所有持久化数据在本地文件系统的<code>/data</code>路径下,这个路径下包含TLS证书和密钥文件,配置文件和镜像缓存文件。我们之后会用卷挂载这个目录进运行仓库的容器。
保护你的代理缓存仓库安全
代理缓存仓库需要一个TLS证书来保证Docker引擎和缓存仓库之间的连接安全,在这个例子中,我们会放置我们证书文件(<code>domain.crt</code>)和密钥文件(<code>domain.key</code>)在主机的<code>/data</code>目录。
更多关于使用TLS加强仓库安全的信息,请参照 Docker仓库2.0文档 。
创建代理缓存仓库配置文件
下一步你需要创建一个配置文件,来把这个仓库用作代理缓存。你可以用cat命令把<code>registry:2</code>镜像中的缺省配置文件重定向输出到一个文件中：
sh
$ docker run -it --rm --entrypoint cat registry:2 \
/etc/docker/registry/config.yml > /data/config.yml
<code>我强烈建议从Docker镜像中获得这个默认配置,而不是使用例子中的配置,因为将来这个默认配置可能会有更新。</code>
默认的config.yml例子：
yaml
version: 0.1
log:
fields
service: registry
storage:
cache:
layerinfo: inmemory
filesystem:
rootdirectory: /var/lib/registry
http:
addr: :5000
修改'http'这节配置上TLS:
yaml
http:
addr: :5000
tls:
certificate: /var/lib/registry/domain.crt
key: /var/lib/registry/domain.key
在配置文件中新加一节'proxy'来开启缓存：
点击打开文档（ https://github.com/docker/dist ... or.md ）
yaml
proxy:
remoteurl: https://registry-1.docker.io
username: [username]
password: [password]
'username'和'password'这两个选项是可选的,这是Docker Hub账号的用户名和密码，设置上这两个选项，会使代理缓存仓库获取到这个账号的同等权限,也就是说,这个用户有权限获取的镜像,这个缓存仓库同样有权限获取。
<code>请确保完全理解设置这个Docker Hub账号背后意味着什么,并且确保你镜像的安全还有严格的访问权限!如果你不确定,请不要再配置包含用户名和密码,那么你的代理缓存仓库就只会缓存公共镜像。</code>
启动代理缓存仓库的容器：
sh
$ docker run -d --restart=always -p 5000:5000 --name v2-mirror \
-v /data:/var/lib/registry registry:2 /var/lib/registry/config.yml
以上命令使用一个卷把宿主机上的/data挂载进了容器中,使容器能使用持久储存镜像缓存,TLS证书和密钥,还有自定义的仓库配置文件。
验证你的代理缓存仓库已经启动并正常运行：
sh
$ curl -I https://mycache.example.com:5000/v2/
HTTP/1.1 200 OK
Content-Length: 2
Content-Type: application/json; charset=utf-8
Docker-Distribution-Api-Version: registry/2.0
Date: Thu, 17 Sep 2015 21:42:02 GMT
配置你的Docker引擎使用代理缓存仓库
修改Docker守护进程的启动参数,加上<code>--registry-mirror</code>选项：
sh
--registry-mirror=https://<my-docker-mirror-host>:<port-number>
例如,如果你的缓存仓库的主机名为mycache.example.com并且仓库服务端口为5000,你需要加上以下选项到守护进程的参数：
sh
--registry-mirror=https://mycache.example.com:5000
参考 在各种的Linux分发版中配置运行Docker 了解更多信息关于如何添加Docker守护进程参数。
测试你的代理缓存仓库
从Docker Hub上拉取一个你本地没有的镜像。例如,busybox:latest镜像：
sh
$ docker pull busybox:latest
检查缓存仓库中的目录,验证busybox镜像是否被缓存：
sh
$ curl https://mycache.example.com:5000/v2/_catalog
{"repositories":["library/busybox"]}
你也可以验证latest标签是否被缓存：
sh
$ curl https://mycache.example.com:5000/v2/library/busybox/tags/list
{"name":"library/busybox","tags":["latest"]}
现在开始当你拉取镜像时,镜像将被缓存到你的代理缓存仓库,之后拉取相同的镜像时会更快,并且这些镜像缓存会维护自身,当他们不再被使用时将会自动清除。