一个招式带你改变单一收入结构

究竟，招式假酒关于一个品牌损伤确实是非常大的，还有点良知的仅仅为了赚点钱，仅仅用一般白酒充任。

该模型在多学科问答（MMMU）等使命上表现出色，带单而且具有处理多种模态数据的才能。可是自身AX650N、改变AX630C核算ViT模型的功率是十分高的，后续实在会继续优化推理耗时。

支撑多种下流使命：收入虽然是较小类型，收入InternVL2-1B应该依然可以履行一系列根本的视觉-言语使命，比方图画描绘生成、视觉问答等，为用户供给了必定程度的功用多样性。布景InternVL2是由上海人工智能实验室OpenGVLab发布的一款多模态大模型，结构中文名称为墨客·万象。在针对第三代、招式第四代NPU架构进行了深度定制优化的一起，也扩展了算子&模型支撑的才能及规划，对Transformer结构的网络也有较好的支撑。

集成了八核Cortex-A55CPU，带单高能效比NPU，支撑8K@30fps的ISP，以及H.264、H.265编解码的VPU。实在趁便核算了224与448两种输入尺度选用U8、改变U16量化后的推理耗时，提高仍是很明显。

一键编译qtang@gpux2:~/huggingface$pulsar2llm_build--input_pathOpenGVLab/InternVL2-1B/--output_pathOpenGVLab/InternVL2-1B-ax650--kv_cache_len1023--hidden_state_typebf16--prefill_len128--chipAX650Config(model_name=InternVL2-1B,model_type=qwen2,num_hidden_layers=24,num_attention_heads=14,num_key_value_heads=2,hidden_size=896,intermediate_size=4864,vocab_size=151655,rope_theta=1000000.0,max_position_embeddings=32768,rope_partial_factor=1.0,rms_norm_eps=1e-06,norm_type=rms_norm,hidden_act=silu,hidden_act_param=0.03,scale_depth=1.4,scale_emb=1,dim_model_base=256,origin_model_type=internvl_chat)2024-10-310030.400|SUCCESS|yamain.command.llm_build109-preparellmmodeldone!buildingvisionmodel━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━1/1024buildingllmdecodelayers━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━24/24013buildingllmpostlayer━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━1/10272024-10-310036.175|SUCCESS|yamain.command.llm_build185-buildllmmodeldone!2024-10-310051.955|SUCCESS|yamain.command.llm_build364-checkllmmodeldone!embed提取和优化chmod+x./tools/fp32_to_bf16chmod+x./tools/embed_process.sh./tools/embed_process.shOpenGVLab/InternVL2-1B/OpenGVLab/InternVL2-1B-ax650终究InternVL2-1B-ax650目录下包含以下内容：收入qtang@gpux2:~/huggingface$tree-lhOpenGVLab/InternVL2-1B-ax650/[1.6K]OpenGVLab/InternVL2-1B-ax650/├──[325M]intervl_vision_part_224.axmodel//vit-lmodel├──[259M]model.embed_tokens.weight.bfloat16.bin//embedfile├──[16M]qwen2_p128_l0_together.axmodel//llmlayer├──[16M]qwen2_p128_l10_together.axmodel├──[16M]qwen2_p128_l11_together.axmodel├──[16M]qwen2_p128_l12_together.axmodel......├──[16M]qwen2_p128_l5_together.axmodel├──[16M]qwen2_p128_l6_together.axmodel├──[16M]qwen2_p128_l7_together.axmodel├──[16M]qwen2_p128_l8_together.axmodel├──[16M]qwen2_p128_l9_together.axmodel└──[141M]qwen2_post.axmodel上板示例相关资料为了便利实在快速试用，收入实在在网盘中现已供给好了预编译模型和根据AX650N、AX630C两种芯片渠道的预编译示例：大尺度根据AX650N，展现输入图片尺度为448*448的示例，图片信息量大，解读更具体，乃至展现了其OCR、中英翻译的才能。

模型获取gitclonehttps://github.com/AXERA-TECH/ax-llm-build.gitcdax-llm-buildpipinstall-Uhuggingface_hubhuggingface-clidownload--resume-downloadOpenGVLab/InternVL2-1B/--local-dirOpenGVLab/InternVL2-1B/ax-llm-build：结构用于暂存编译LLM、结构VLM时所依靠的各种辅佐小东西、脚本文件（继续更新）。上下文机制从规范事务履行模版的示例代码中实在值勤看到，招式除了各个规范进程的办法声明之外，招式规范事务履行模版还经过泛型变量界说了履行器接纳的恳求参数类型、回来值类型以及上下文方针类型，其间上下文是规范事务履行器模版中的中心要素，事务数据便是经过它在各个规范进程之间流通的。

该才干被方便为处理单个构思的绑定操作，带单而批量构思绑定范畴服务却需求在一次恳求中完结多个构思的绑定操作，带单因而实在经过cmdFlatMap才干编列API界说了将范畴服务参数中的待绑定构思列表展开成多个单构思绑定才干参数的规矩，规范事务模版履行引擎将据此遍历每一个单构思绑定参数并调用单构思绑定才干然后完结批量构思绑定。2.上下文初始化：改变依据校验后的入参查询数据概况并填充到上下文中，改变如依据入参中的单元ID查询单元概况、依据userId获取账户概况等，这些数据将会在后续流程中运用。

客观：收入传统架构面临高杂乱度的事务时毫无应对之法作为一个典型的Web运用，收入广告投进专心长时间以来选用的都是传统的三层架构，这种没有架构的架构极端简略、易上手，因而一向以来都是业界的干流。范畴驱动方便思维作为一种方便的辅导思维其实并不会束缚运用某种特定的架构，结构在传统的分层架构上也值勤完结范畴驱动方便思维的落地。

本文地址：http://wuxi.meichubang.com/list/8981