1. 前端如何聯系自己處理數據能力
您是想問「前端如何練習自己的處理數據能力」這個問題嗎？除了扎實的基礎知識還需要通過大量實操實踐，孰能生巧。
從數據處理來說，資料庫比前端優秀太多了。資料庫的核心任務是儲存數據，保證效率。但是在其他高級語言，包括JS中，明顯比sql語言擁有更高的靈活度，卻在管理數據，聚合數據等都遠比在資料庫中處理麻煩。
優秀的前端工程師只有具有扎實的基礎知識和完善的體系結構，才能在實際工作中靈活應用很好的解決實際問題，寫出高質量的代碼。隨著前端技術的飛速發展，前端領域所涉及的知識越來越多。基礎知識、工程化知識、框架和工具的使用等知識雜亂的散落在網路上，亂花漸欲迷人眼。其實，對於前端工程師而言，HTML、CSS、JavaScript是最為基礎也是最為重要的知識體系。前端的崗位職責主要包括頁面製作和交互實現兩部分。頁面製作，主要是由HTML和CSS技術來實現頁面的靜態展示效果。交互實現，主要是由JavaScript技術來實現的頁面的交互效果。其中交互主要包括用戶與頁面的交互（由DOM技術實現）和瀏覽器與伺服器的數據交互（通常由Ajax等技術實現）。
2. 前端圖表如果處理大量數據該怎麼辦
淺談一下Cognos處理大數據的思路，僅針對10.2.1以下的版本，對於10.2.1當中引入的hadloop等分布式數據倉庫等不做介紹。我們主要從一個一般中等項目當中，用怎樣的思路來優化我們的查詢。
我們主要從3個思路來思考大數據的處理
一、資料庫層次
現在主流的Cognos項目，主要的開發模式還是基於rolap的dmr報表建模。因此，資料庫的優化就顯得由為重要。主要通過以下幾個方面優化我們的資料庫：
(1)維度id，維度層次id等關鍵減縮欄位建立索引建立、維護。
(2)根據數據量的大小，按時間等進行分區優化。
(3)高速緩沖表MQT的使用
(4)表空間、緩沖池設置等
(5)資料庫性能優化
二、Cognos Server優化
Cognos優化包括對配置文件的優化，集群的搭建，服務和日誌的開啟等基於cognos 軟體安裝，配置的優化，主要包括以下幾個方面：
2.1 apache 配置優化
Timeout（超時）/MaxKeepAliveRequests（最大的請求數）/KeepAliveTimeout（請求超時）的優化配置
2.2Cognos自帶tomcat配置調優
(1)可修改TOMCAT配置文件CRN_ROOT\tomcat.\conf\server.xml。其參數集中在行：
可以對maxProcessors（最大進程數）/AcceptCount(最大連接數) ConnectionTimeout（連接超時）進行修改
(2)文件路徑：CRN_ROOT\tomcat.\conf\web.xml
可以對session-timeout進行修改.
2.3Cognos sever配置文件優化
2.3.1 reportservice.xml優化
文件路徑：CRN_ROOT\ webapps\p2pd\WEB-INF\services\ reportservice.xml
註：修改文件後，重啟服務後配置生效。
包括以下參數 max_process(交互報表處理進程數，和cpu有關) inger_process(交互報表初始化進程數，和cpu優關)
max_non_affine_connections_per_process(交互報表所佔線程數) idle_process_check_interval_ms(空閑檢測時間)
queue_time_limit_ms(報表服務隊列時間限制) async_wait_timeout_ms(Dispatcher請求等待同步時間)
2.3.2 batchreportservice.xml
文件路徑：CRN_ROOT\ webapps\p2pd\WEB-INF\services\ batchreportservice.xml
註：修改文件後，重啟服務後配置生效。
包括以下參數 max_process(服務批量報表處理所佔進程數) linger_process(服務批量報表處理初始化進程數)
max_non_affine_connections_per_process(服務批量報表處理所佔線程數) idle_process_check_interval_ms(空閑進程檢測時間間隔)
idle_process_max_idle_ticks(空閑進程檢測標記) queue_time_limit_ms(批量報表處理排隊時間限制) async_wait_timeout_ms(Dispatcher請求等待同步時間)
2.3.3 CQEConfig.xml
主要是與資料庫參數設置，文件路徑：CRN_ROOT\configuration\ CQEConfig.xml.sample
註：將CQEConfig.xml.sample文件名修改為CQEConfig.xml後，重啟服務後配置生效。
可以修改以下參數：Timeout(應用資料庫連接超時設置) PoolSize(應用資料庫連接池最大連接數設置) queryReuse(查詢緩沖設置)
2013-07-08 0
分享
答案對人有幫助，有參考價值1
曾力 - Cognos講師、Cognos獨立顧問、數據倉庫架構師 2013-07-08 回答
2.3.4 ppds_cfg.xml
主要進行緩存和日誌參數設置，文件路徑：\cognos\c8\configuration\ ppds_cfg.xml
註：重啟服務後配置生效。
可以修改以下參數：ReadCacheSize(可減少用戶訪問時伺服器的磁碟IO。提高訪問速度。) pcQueryLogFile(建議生產環境關閉該日誌的跟蹤，一般默認也是關閉狀態)
2.4 Cognos content store優化
2.4.1優化內容庫連接服務
內容庫最好外配為db2 oracle等資料庫，不要用自帶的derby.因為項目中的日誌信息會非常多，嚴重影響內容庫的效率。
Cognos Administration，在系統下選擇選擇對應的服務，選擇ContentManagerService的屬性，設置相應的連接參數信息。
2.4.2日誌優化
適當開啟各個cognos服務的日誌級別，越高級的級別對應更詳細，更明確的日誌，但也會影響整個系統的效率。
這是一把雙刃劍，需要適當調整。日誌級別設置得越高，就越降低系統性能。通常情況下，您可以將級別設置為
「最小」或「基本」來收集錯誤，或設置為「請求」來收集錯誤和警告。
2.5提高訪問資料庫速度
Cognos和資料庫間參數在cer\bin\cogdm.ini文件中,(根據版本不同是安裝目錄的數字，根據連接的資料庫不同，是對應資料庫名稱的關鍵字)
以oracle資料庫為例,參數在cogdmor.ini文件中，打開這個文件查找字元串Fetch Number of Rows=去掉這行前面的分號，將10改成2000；
這樣這行就成了Fetch Number of Rows=2000，表示是每次從資料庫取2000條數據。其他資料庫基本上都有類似的配置。用以提高從資料庫中提取數據的速度。
2.6加大緩存
cer\bin\Cer.ini(*根據版本不同是安裝目錄的數字)：
SortMemory=5120
（這里 SortMemory 單位是 2kbytes，5120代表 2k x 5120 = 10M）（技巧：一般 SortMemory 取空閑內存的十分之一到八分之一大小）
2.7修改cognos configuration中的參數來優化
在cognos configuration中有很多參數可以優化來提高整體軟體的運行效率，比如增加內存、增加查詢緩存
2.8分布式部署
分布式部署可以大大提升Cognos伺服器的負載能力，同時容錯保護功能可以使伺服器更為穩定的運行，很好的支持大用戶量的並發使用。
2013-07-08 0
答案對人有幫助，有參考價值1
曾力 - Cognos講師、Cognos獨立顧問、數據倉庫架構師 2013-07-08 回答
3.報表設計優化
Cognos報表作為一個工具，在非cube模式下，最終我們執行報表查詢的時候，我們的報表發送到資料庫進行查詢的本質還是sql，所以，在我們製作一張報表的時候，我們要盡可能的利用fm,rs當中的功能，優化報表最終執行生成的SQL實現整個報表的優化。而CUBE模式下，我們更多要考慮配置、存放和資料庫大小所造成的影響，下面我會細細說來。
2013-07-08 0
答案對人有幫助，有參考價值1
曾力 - Cognos講師、Cognos獨立顧問、數據倉庫架構師 2013-07-08 回答
3.1 FM建模優化
3.1.1手寫SQL定製查詢主題
右鍵點擊查詢主題的菜單項Edit Definition…可以進入SQL語句編寫框，調整查詢主題的SQL語句。默認情況下，這里的SQL語句為Cognos SQL類型。如果需要編寫應用資料庫可以直接運行的本地SQL需要將這里的SQL類型進行設置。點擊右上方的Options按鈕，選擇SQL Settings標簽頁，選擇SQL Type為Native。這個時候，我們手寫SQL就非常注重這個SQL的優化，盡量避免SELECT *,用EXISTS替代IN,多使用DECODE來進行判斷，條件語句注意點等常用SQL優化策略，編寫對應的SQL.
3.1.2盡量使用特定數據的資料庫函數
在菜單項Actions中選擇Specify Package Function List…指定報表定製中可以使用的資料庫函數列表。將除應用資料庫意外的其他資料庫類型從Selected function sets中選到Available function sets中，盡量使用特定資料庫的自帶函數可以提高查詢效率。
3.1.3表關聯設定
在建立表關聯盡量避免使用外關聯關系（包括左外關聯、右外關聯、全外關聯）。外關聯的使用會使資料庫的查詢壓力驟增，從而影響前端報表的生成。在星型結構、雪花型結構的數據倉庫模型中，盡量按照一對一、一對多的關聯關系設定維表與實事表之間的關聯，Cognos Server會依照這里的關聯關系自動優化提交給資料庫的SQL語句。如果關聯關系中出現了環狀連接關系，可以通過別名表或是快捷鍵的方式解決環狀連接問題.
3.1.4Edit Governors查詢性能設置
在菜單項Project中選擇Edit Governors，可以設置查詢的查詢性能
Report table limits 該屬性設置報表中運行SQL所涉及的TABLE數量
Data retrieval limits 該屬性設置報表中運行SQL返回結果的數量
Query execution time limits 該屬性設置報表中運行SQL的執行時間
Large text items limit 該屬性設置報表中運行SQL返回大文字塊的字元數量限制
2013-07-08 0
答案對人有幫助，有參考價值1
曾力 - Cognos講師、Cognos獨立顧問、數據倉庫架構師 2013-07-08 回答
3.2 RS報表調優
3.2.1報表函數的使用
在報表函數的使用上，盡可能使用應用資料庫能夠解析的本地資料庫函數，函數列表中的通用函數，在處理時會將函數放在報表伺服器進行運算，從而增大了報表伺服器的性能開銷。
3.2.2 觀察查詢的SQL
我們選擇查詢頁面，GENERATE SQL/MDX觀察這個報表生成的SQL並進行不斷優化，
3.3.33.2 RS報表調優
3.2.1報表函數的使用
在報表函數的使用上，盡可能使用應用資料庫能夠解析的本地資料庫函數，函數列表中的通用函數，在處理時會將函數放在報表伺服器進行運算，從而增大了報表伺服器的性能開銷。
3.2.2 觀察查詢的SQL
我們選擇查詢頁面，GENERATE SQL/MDX觀察這個報表生成的SQL並進行不斷優化，
3.3.3查詢欄位、查詢表順序調整
根據資料庫的優化策略，可能需要將查詢欄位的順序進行調整，可以在Data Items窗口中進行設置。查詢SQL語句中，From關鍵字後面的表順序是按照select關鍵字後出現的欄位順序進行設置的。在為表順序進行設置時，屬性為Identifier或Attribute的欄位比屬性為Fact的欄位在為表排序時的優先順序要高，即，先以Identifier、Attribute欄位的出現順序為表進行排序，如果沒有上述兩類欄位，才以Fact欄位的出現順序為表進行排序。
3.3.4聚合前後設置過濾條件
將過濾條件的Application屬性設置為After aggregation或Before aggregation可以調整過濾條件在聚合前或是聚合後生效。After aggregation生成過濾條件的SQL語句使用的是關鍵字having，而Before aggregation生成過濾條件的SQL語句使用的是關鍵字where。
3.3.5取消報表自動分組提高明細報表查詢速度
如果報表要展現明細數據，不想使用任何匯總，我們可以到此報表對應的查詢中將自動分組屬性定義為否。修改地方：對象的屬性Auto Group & Summarize可以設置當前SQL語句的查詢中是否加入distinct、sum、group by這樣的關鍵字。默認情況下，該屬性設置為Yes，可以根據查詢情況關掉此開關項，減少SQL語句的復雜度。
3.3.6自動排序設置
在Query的Auto-sort屬性中可以為查詢設置是否自動排序。如果選擇是，則會在生成的SQL語句中自動加入Order By關鍵字，排序欄位將自動根據數據項的屬性進行設置（如果查詢欄位的usage屬性為Attribute、Identifier則排序，如果為Fact則不排序）；如果選擇否、則不排序；如果選擇最小，則根據數據項的排序屬性進行排序設置。默認值為最小。
3.3.7報表Processing設置
在Query的Processing屬性中可以為查詢設置SQL的處理設置。Cognos Report Studio會將報表的所有設置首先轉換為Cognos SQL提交給報表伺服器，伺服器在進行必要處理後，會將SQL語句轉換為應用資料庫本地執行的SQL語句，進行資料庫處理。為提高報表的處理速度，要盡可能的將報表的處理運算放在資料庫進行，以保證其運行速度。將該屬性設置為Database only會將報表頁面生成的Cognos SQL不經報表伺服器處理全部轉換為資料庫能夠執行的本地資料庫SQL，如果將該屬性設置為Limited Local，則將報表頁面生成的Cognos SQL先進行必要的報表伺服器運算，然後再將剩餘的部分提交給資料庫進行本地SQL的處理。默認值為Framework中為Datasource對象的設置的queryProcessing屬性。
3.3.8使用With子句
在Query的Use SQL With Clause屬性中可以為查詢設置是否使用With子句。部分資料庫例如Oracle支持With關鍵字，當查詢中嵌套子查詢時，可以通過With子句的使用，減輕報表伺服器對Cognos SQL的處理，從而提升報表的運行性能。如果將該屬性設置為Yes，則允許使用With關鍵字，查詢中生成的Native SQL將出現With子句；如果將該屬性設置為No，雖然拒絕使用With關鍵字。默認值為Framework中Edit Governors下的Use WITH clause when generating SQL屬性設置。
3.3.9報表伺服器本地緩存設置
在Query的Use Local Cache屬性中可以為查詢設置是否使用本地緩存。如果將該屬性設置為Yes，則啟用伺服器的本地緩存，伺服器將為查詢結果保存在session中，當用戶在瀏覽器內再次打開同一張報表時，查詢結果將取自緩存，從而減輕了資料庫的負載壓力；如果將該屬性設置為No，則禁用伺服器的本地緩存，查詢結果全部取自資料庫的實時數據。默認值為Framework中Edit Governors下的Allow usage of local cache屬性設置。
我用的是finereport，比這個方便
3. 給前端傳了1萬條數據，前端怎麼處理才不至於頁面卡頓
前端只有「玩命」處理才能不卡頓……
這個負擔是由後端造成的，什麼要前端去承擔呢？用戶不可能一次瀏覽一萬條數據，那麼就完全應該分頁處理。每次只返回幾十條數據，大家是不是都輕鬆了？
4. 現在處理器一秒可以處理上GB的數據量嗎
在不考慮內存頻率和CPU外頻的關系的時候，就是CPU外頻控制內存頻率的情況下。 INTEL CPU是 前端匯流排*64/8等於數據流的帶寬，例如如果是800MHZ的前端匯流排的CPU，帶寬就是800MHZ * 64BIT /8 = 6.4GB/S。 也就是說如果內存也能提供6.4GB/S帶寬的話，那1秒鍾最大可以在兩者中傳輸的數據是6.4GB。 AMD CPU看的是HT匯流排，HT1.0提供最大是800MHZ，HT2.0提供最大是1400MHZ，HT3.0提供最大是2600MHZ。而對應最大的帶寬例如HT1.0的話，就是800*2*2*32BIT/8=12.8GB/S。 如果內存能提供這么多的帶寬的話，就是1秒鍾能有12.8GB的數據在CPU和內存之間傳送。
滿意請採納
5. node 後端發送大量數據給前端怎麼處理效率最高
拿到數據，把數據存起來，分頁顯示。
再說後端一下子給那麼多數據，那得多大啊，也會佔用http響應時間。
最合理應該是 前端發給請求拿多少條，如果用戶有滾動到底或者點分頁的話，前端再去請求拿數據。就不會說你一下子拿那麼多，可能用戶只看了一兩條就不看了。造成資源浪費。
6. bootstrap table 前端分頁支持多大的數據量
前端分頁？
據我所知，分頁主要靠後端來實現，
前端只是設置分頁的樣式。
bootstrap 的分頁樣式還是比較不錯的。
7. 大廠前端對演算法的要求如何
作為一個畢業多年小前端，表示演算法什麼的早就還給老師了...
相比較演算法，我覺得數據結構和設計模式對前端來說更重要，理由有三：
1）js可以原生提供的數據類型的確有限。很多時候我們都是用對象和數組來簡單粗暴的解決問題，並寫一堆復雜的業務代碼來支撐邏輯。
比如，我們想做一個輪播圖，很自然的就會想到用數組來記錄輪播圖片的列表數據，我們這里時髦一把，用vue數據驅動視圖的思想來實現，每次輪播翻頁後我們需要改變數組中圖片的順序，看似沒有問題。但是當業務復雜的時候呢，比如我們需要支持循環播放和雙向播放，就需要數組的邊界值進行特殊判斷了，這種特殊判斷就降低了代碼的可維護性。
那如果我們換個角度思考，一開始我們就不用數組來定義圖片列表，而改用一個雙向鏈表呢？問題就會簡單很多。而鏈表這個數據結構在js裡面是沒有原生實現的，需要我們自己來完成。
因此掌握常用的數據結構以及其相關方法還是很有必要的。
2）設計模式是在某個場合下對某個問題的一種優雅的解決方案。這里我加粗了優雅，沒錯，要解決一個問題，往往有不止一個答案。
比如，我想給頁面上一連串按鈕綁定點擊事件，要求點擊按鈕的時候彈出按鈕的內容。一個簡單粗暴的方法是給每個按鈕添加一個onclick事件。那假設按鈕個數非常多或者本身這個按鈕還有其它點擊事件要執行呢，這個方案就不那麼可行了。有的同學想到了可以用事件委託，沒錯，這里你就用到了一種設計模式，代理模式。孰優孰劣，一目瞭然。
我認為每個業務場景都有一種合適的優雅的解決方案，而這就是設計模式。
3）通常情況下，前端需要處理的數據量和計算復雜度都不高。比如我想找到一個數組中的最大值，一般我會直接用數組的排序方法而不會考慮自己寫個冒泡或者快排。如果真要處理大量的數據，恐怕這個處理過程是否應該放在前端就值得商榷了。
問題需要不斷抽象，抽象的水平和經驗能力成正比。
8. 前端能處理多大數據，以及後端能傳給前端多大數據
1 前段使用bootstrap table 顯示數據表格（包括分頁功能），後端返回類型為PageBean時 前無需做特殊處理
部分代碼為
maplist=customerService.search(map);
int count = customerService.searchCount(map);
PageBean pageBean = new PageBean();
pageBean.setTotal(count);
pageBean.setRows(maplist);
return pageBean;
2 後端返回類型為List時，前段獲取方式為result.length
後端java：
public List> search(){
return domainService.search();
}
前段js:
success : function(result) {
for(var i =0;i
result[i].id
}
}
3 後端返回類型為PageBean>>時，前段獲取方式為result.rows
後端java：
PageBean>> pageBean = new PageBean>>();
pageBean.setTotal(count);
pageBean.setRows(result);
return pageBean;
前段js:
success : function(result) {
var result= result.rows;
for(var i =0;i
result[i].name
}
}
4 後端返回類型為Map時，前段獲取方式為result
後端java：
public Map register(HttpServletRequest request){
return map.put("result ", 「成功」);
}
前段js:
success : function(result) {
result.result
}
9. 前端怎麼優化大數據頁面
來源:前端的性能優化都有哪些東西?作者:野次前端性能優化是個巨大的課題,如果要面面俱到的
10. 針對前端大數據量處理（如10W+）
一般對兩個數組做做交集和並集處理用遍歷方法一般就是通過遍歷for等方法，但是如果遇到大數據量（10萬條數據）就會用到很長的時間和耗費內存，因為javascrip為單線程，會影響到用戶的體驗和頁面渲染、邏輯處理等問題！
使用定時器去讓大數據遍歷的時候能分成很多個非同步方法(每個非同步方法去遍歷大數據數組的一部分數據)去執行，互相也不影響，並監聽到所有非同步方法執行完成再進行下一步處理！豈不美滋滋！
之前方法
使用for循環一次性遍歷0W條數據來查找交集和並集，發現使用的時間能達到10S左右（相當影響體驗感受和邏輯處理）
方法優化 DataProcessing 類
// 測試數據
63毫秒！ 可以對DataProcessing進行更多的擴展！
多學習、多看報、多運動，不對的地方望指出來，謝謝